tests/monitor/collectd.py

   1 ##############################################################################
   2 # Copyright (c) 2017 NEC Corporation and others.
   3 #
   4 # All rights reserved. This program and the accompanying materials
   5 # are made available under the terms of the Apache License, Version 2.0
   6 # which accompanies this distribution, and is available at
   7 # http://www.apache.org/licenses/LICENSE-2.0
   8 ##############################################################################
   9
  10 import os
  11 import socket
  12 import getpass
  13 import sys
  14
  15 from identity_auth import get_session
  16 from os_clients import nova_client
  17 from monitor.base import BaseMonitor
  18
  19
  20 class CollectdMonitor(BaseMonitor):
  21     def __init__(self, conf, inspector_url, log):
  22         super(CollectdMonitor, self).__init__(conf, inspector_url, log)
  23         self.top_dir = os.path.dirname(sys.path[0])
  24         self.session = get_session()
  25         self.nova = nova_client(conf.nova_version, self.session)
  26         self.compute_hosts = self.nova.hypervisors.list(detailed=True)
  27         for host in self.compute_hosts:
  28             host_dict = host.__dict__
  29             self.compute_host = host_dict['hypervisor_hostname']
  30             self.compute_ip = host_dict['host_ip']
  31         tmp_sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
  32         tmp_sock.connect(("8.8.8.8", 80))
  33
  34         ## control_ip is the IP of primary interface of control node i.e.
  35         ## eth0, eno1. It is used by collectd monitor to communicate with
  36         ## sample inspector.
  37         ## TODO (umar) see if mgmt IP of control is a better option. Also
  38         ## primary interface may not be the right option
  39         self.control_ip = tmp_sock.getsockname()[0]
  40         self.compute_user = getpass.getuser()
  41         self.interface_name = os.environ.get('INTERFACE_NAME') or ''
  42         self.inspector_type = os.environ.get('INSPECTOR_TYPE', 'sample')
  43         self.auth_url = os.environ.get('OS_AUTH_URL')
  44         self.username = os.environ.get('OS_USERNAME')
  45         self.password = os.environ.get('OS_PASSWORD')
  46         self.project_name = os.environ.get('OS_PROJECT_NAME')
  47         self.user_domain_name = os.environ.get('OS_USER_DOMAIN_NAME') or 'default'
  48         self.user_domain_id = os.environ.get('OS_USER_DOMAIN_ID')
  49         self.project_domain_name = os.environ.get('OS_PROJECT_DOMAIN_NAME') or 'default'
  50         self.project_domain_id = os.environ.get('OS_PROJECT_DOMAIN_ID')
  51         self.ssh_opts_cpu = '-o UserKnownHostsFile=/dev/null -o StrictHostKeyChecking=no'
  52
  53     def start(self):
  54         self.log.info("Collectd monitor start.........")
  55         f = open("%s/tests/collectd.conf" % self.top_dir, 'w')
  56         collectd_conf_file = """
  57 Hostname %s
  58 FQDNLookup false
  59 Interval 1
  60 MaxReadInterval 2
  61
  62 <LoadPlugin python>
  63 Globals true
  64 </LoadPlugin>
  65 LoadPlugin ovs_events
  66 LoadPlugin logfile
  67
  68 <Plugin logfile>
  69     File \"/var/log/collectd.log\"
  70     Timestamp true
  71     LogLevel \"info\"
  72 </Plugin>
  73
  74 <Plugin python>
  75     ModulePath \"/home/%s\"
  76     LogTraces true
  77     Interactive false
  78     Import \"collectd_plugin\"
  79     <Module \"collectd_plugin\">
  80         control_ip \"%s\"
  81         compute_ip \"%s\"
  82         compute_host \"%s\"
  83         compute_user \"%s\"
  84         inspector_type \"%s\"
  85         os_auth_url \"%s\"
  86         os_username \"%s\"
  87         os_password \"%s\"
  88         os_project_name \"%s\"
  89         os_user_domain_name \"%s\"
  90         os_user_domain_id \"%s\"
  91         os_project_domain_name \"%s\"
  92         os_project_domain_id \"%s\"
  93     </Module>
  94 </Plugin>
  95
  96 <Plugin ovs_events>
  97     Port 6640
  98     Socket \"/var/run/openvswitch/db.sock\"
  99     Interfaces \"@INTERFACE_NAME@\"
 100     SendNotification true
 101     DispatchValues false
 102 </Plugin>
 103             """ % (self.compute_host, self.compute_user, self.control_ip, self.compute_ip, self.compute_host, self.compute_user,
 104                    self.inspector_type, self.auth_url, self.username, self.password, self.project_name, self.user_domain_name,
 105                    self.user_domain_id, self.project_domain_name, self.project_domain_id)
 106         f.write(collectd_conf_file)
 107         f.close()
 108
 109         os.system(" scp %s %s/tests/collectd.conf %s@%s: " % (self.ssh_opts_cpu, self.top_dir, self.compute_user, self.compute_ip))
 110         self.log.info("after first scp")
 111         ## @TODO (umar) Always assuming that the interface is assigned an IP if
 112         ## interface name is not provided. See if there is a better approach
 113         os.system(""" ssh %s %s@%s \"if [ -n \"%s\" ]; then
 114             dev=%s
 115         else
 116             dev=\$(sudo ip a | awk '/ %s\//{print \$NF}')
 117         fi
 118         sed -i -e \"s/@INTERFACE_NAME@/\$dev/\" collectd.conf
 119         collectd_conf=/opt/collectd/etc/collectd.conf
 120         if [ -e \$collectd_conf ]; then
 121             sudo cp \$collectd_conf \${collectd_conf}-doctor-saved
 122         else
 123             sudo touch \${collectd_conf}-doctor-created
 124         fi
 125         sudo mv collectd.conf /opt/collectd/etc/collectd.conf\" """ % (self.ssh_opts_cpu, self.compute_user, self.compute_ip, self.interface_name, self.interface_name, self.compute_ip))
 126         self.log.info("after first ssh")
 127         os.system(" scp  %s %s/tests/lib/monitors/collectd/collectd_plugin.py %s@%s:collectd_plugin.py " % (self.ssh_opts_cpu, self.top_dir, self.compute_user, self.compute_ip))
 128         self.log.info("after sec scp")
 129         os.system(" ssh %s %s@%s \"sudo pkill collectd; sudo /opt/collectd/sbin/collectd\" " % (self.ssh_opts_cpu, self.compute_user, self.compute_ip))
 130         self.log.info("after sec ssh")
 131
 132     def stop(self):
 133         os.system(" ssh %s %s@%s \"sudo pkill collectd\" " % (self.ssh_opts_cpu, self.compute_user, self.compute_ip))
 134
 135     def cleanup(self):
 136         os.system(""" ssh %s %s@%s \"
 137             collectd_conf=/opt/collectd/etc/collectd.conf
 138             if [ -e \"\${collectd_conf}-doctor-created\" ]; then
 139                 sudo rm \"\${collectd_conf}-doctor-created\"
 140                 sudo rm \$collectd_conf
 141             elif [ -e \"\${collectd_conf}-doctor-saved\" ]; then
 142                 sudo cp -f \"\${collectd_conf}-doctor-saved\" \$collectd_conf
 143                 sudo rm \"\${collectd_conf}-doctor-saved\"
 144             fi\" """ % (self.ssh_opts_cpu, self.compute_user, self.compute_ip))
 145         os.remove("%s/tests/collectd.conf" % self.top_dir)