Fix test-scheduler build bugs.
[bottlenecks.git] / monitor / monitoring.sh
1 #!/bin/bash
2 ##############################################################################
3 # Copyright (c) 2017 Huawei Tech and others.
4 #
5 # All rights reserved. This program and the accompanying materials
6 # are made available under the terms of the Apache License, Version 2.0
7 # which accompanies this distribution, and is available at
8 # http://www.apache.org/licenses/LICENSE-2.0
9 ##############################################################################
10 MONITOR_CONFIG="/home/opnfv/bottlenecks/monitor/config"
11 DISPATCH="/home/opnfv/bottlenecks/monitor/dispatch"
12 OPENSTACK_ENV=${MONITOR_CONFIG}/openstack_exporter.conf
13
14 usage="Script to run the tests in Bottlenecks.
15
16 usage:
17     bash $(basename "$0") [-h|--help] [-i|--installer <installer typer>] [-o|--openstack-env <openstack env>]
18
19 where:
20     -h|--help         show the help text
21     -i|--installer    specify the installer for the system to be monitored
22       <installer type>
23                       one of the following:
24                               (apex, compass)
25     -o|--opentack-env specify the openstack env file for openstack monitoring
26                       defalt value is \"${MONITOR_CONFIG}/openstack_exporter.conf\"
27
28 examples:
29     $(basename "$0") -i compass"
30
31
32 info () {
33     logger -s -t "BOTTLENECKS INFO" "$*"
34 }
35
36 error () {
37     logger -s -t "BOTTLENECKS ERROR" "$*"
38     exit 1
39 }
40
41 # Process input variables
42 while [[ $# > 0 ]]
43     do
44     key="$1"
45     case $key in
46         -h|--help)
47             echo "$usage"
48             exit 0
49             shift
50         ;;
51         -i|--installer)
52             INSTALLER_TYPE="$2"
53             shift
54         ;;
55         -o|--openstack-env)
56             OPENSTACK_ENV="$2"
57             shift
58         ;;
59         *)
60             error "unkown input options $1 $2"
61             exit 1
62         ;;
63      esac
64      shift
65 done
66
67
68 barometer_client_install_sh="/home/opnfv/bottlenecks/monitor/dispatch/install_barometer_client.sh"
69 barometer_client_install_conf="/home/opnfv/bottlenecks/monitor/config/barometer_client.conf"
70
71 cadvisor_client_install_sh="/home/opnfv/bottlenecks/monitor/dispatch/install_cadvisor_client.sh"
72
73 collectd_client_install_sh="/home/opnfv/bottlenecks/monitor/dispatch/install_collectd_client.sh"
74 collectd_client_install_conf="/home/opnfv/bottlenecks/monitor/config/collectd_client.conf"
75
76 # INSTALL GRAFANA + PROMETHEUS + CADVISOR + BAROMETER on the JUMPERSERVER
77 # # Node-Exporter
78 echo == installation of monitoring module is started ==
79
80 # # Collectd
81 # # Configure IP Address in collectd server configuration
82 # python ${DISPATCH}/server_ip_configure.py ${MONITOR_CONFIG}/collectd_server.conf
83 # sudo docker run --name bottlenecks-collectd -d \
84 #   --privileged \
85 #   -v ${MONITOR_CONFIG}/collectd_server.conf:/etc/collectd/collectd.conf:ro \
86 #   -v /proc:/mnt/proc:ro \
87 #   fr3nd/collectd:5.5.0-1
88
89 set +e
90 # Prometheus
91 sudo docker run --name bottlenecks-prometheus \
92   -d -p 9090:9090 \
93   -v ${MONITOR_CONFIG}/prometheus.yaml:/etc/prometheus/prometheus.yml \
94   prom/prometheus:v1.7.1
95
96 # Collectd-Exporter
97 sudo docker run --name bottlenecks-collectd-exporter \
98   -d -p 9103:9103 -p 25826:25826/udp \
99   prom/collectd-exporter:0.3.1 \
100   -collectd.listen-address=":25826"
101
102 sudo docker run --name bottlenecks-node-exporter \
103   -d -p 9100:9100 \
104   -v "/proc:/host/proc:ro" \
105   -v "/sys:/host/sys:ro" \
106   -v "/:/rootfs:ro" \
107   quay.io/prometheus/node-exporter:v0.14.0 \
108     -collector.procfs /host/proc \
109     -collector.sysfs /host/sys \
110     -collector.filesystem.ignored-mount-points "^/(sys|proc|dev|host|etc)($|/)"
111
112 # Openstack-Exporter
113 sudo docker run --name bottlenecks-openstack-exporter \
114   -v /tmp:/tmp \
115   -p 9104:9104 --env-file ${OPENSTACK_ENV} \
116   -d gabrielyuyang/openstack-exporter:1.0
117
118 # Grafana
119 sudo  docker run --name bottlenecks-grafana \
120   -d -p 3000:3000 \
121   -v ${MONITOR_CONFIG}/grafana.ini:/etc/grafana/grafana.ini \
122   grafana/grafana:4.5.0
123 # Automate Prometheus Datasource and Grafana Dashboard creation
124
125 set -e
126 sleep 5
127 python ${DISPATCH}/../dashboard/automated_dashboard_datasource.py
128
129 set +e
130 # Cadvisor
131 sudo docker run \
132   --volume=/:/rootfs:ro \
133   --volume=/var/run:/var/run:rw \
134   --volume=/sys:/sys:ro \
135   --volume=/var/lib/docker/:/var/lib/docker:ro \
136   --volume=/dev/disk/:/dev/disk:ro \
137   --publish=8080:8080 \
138   --detach=true \
139   --name=bottlenecks-cadvisor \
140   google/cadvisor:v0.25.0
141
142
143 set -e
144 # Barometer
145 # Configure IP Address in barometer server configuration
146 sleep 5
147 python ${DISPATCH}/server_ip_configure.py ${MONITOR_CONFIG}/barometer_server.conf
148
149 set +e
150 # Install on jumpserver
151 docker pull opnfv/barometer
152 sudo docker run  --name bottlenecks-barometer -d \
153   -v ${MONITOR_CONFIG}/barometer_server.conf:/src/barometer/src/collectd/collectd/src/collectd.conf \
154   -v ${MONITOR_CONFIG}/barometer_server.conf:/opt/collectd/etc/collectd.conf \
155   -v /var/run:/var/run \
156   -v /tmp:/tmp \
157   --privileged opnfv/barometer /run_collectd.sh
158
159 # INSTALL BAROMETER + CADVISOR (+ COLLECTD) CLIENTS on COMPUTE/CONTROL NODES
160 # Configure IP Address in barometer client configuration
161 python ${DISPATCH}/client_ip_configure.py ${MONITOR_CONFIG}/barometer_client.conf
162
163 # Automate Barometer client installation
164 python ${DISPATCH}/install_clients.py \
165   -i ${INSTALLER_TYPE} -s ${barometer_client_install_sh} \
166   -c ${barometer_client_install_conf}
167
168 # # Configure IP Address in collectd client configuration
169 # python ${DISPATCH}/client_ip_configure.py ${MONITOR_CONFIG}/collectd_client.conf
170 # # Automate Collectd Client installation
171 # python ${DISPATCH}/automate_collectd_client.py
172
173 # Automate Cadvisor Client
174 python ${DISPATCH}/install_clients.py \
175   -i ${INSTALLER_TYPE} -s ${cadvisor_client_install_sh}
176
177 echo == installation of monitoring module is finished ==