tests/inspector.py

   1 ##############################################################################
   2 # Copyright (c) 2016 NEC Corporation and others.
   3 #
   4 # All rights reserved. This program and the accompanying materials
   5 # are made available under the terms of the Apache License, Version 2.0
   6 # which accompanies this distribution, and is available at
   7 # http://www.apache.org/licenses/LICENSE-2.0
   8 ##############################################################################
   9
  10 import argparse
  11 import collections
  12 from flask import Flask
  13 from flask import request
  14 import json
  15 import logger as doctor_log
  16 import os
  17 import threading
  18 import time
  19
  20 import novaclient.client as novaclient
  21
  22 import nova_force_down
  23
  24 LOG = doctor_log.Logger('doctor_inspector').getLogger()
  25
  26
  27 class ThreadedResetState(threading.Thread):
  28
  29     def __init__(self, nova, state, server):
  30         threading.Thread.__init__(self)
  31         self.nova = nova
  32         self.state = state
  33         self.server = server
  34
  35     def run(self):
  36         self.nova.servers.reset_state(self.server, self.state)
  37         LOG.info('doctor mark vm(%s) error at %s' % (self.server, time.time()))
  38
  39
  40 class DoctorInspectorSample(object):
  41
  42     NOVA_API_VERSION = '2.11'
  43     NUMBER_OF_CLIENTS = 50
  44     # TODO(tojuvone): This could be enhanced in future with dynamic
  45     # reuse of self.novaclients when all threads in use and
  46     # self.NUMBER_OF_CLIENTS based on amount of cores or overriden by input
  47     # argument
  48
  49     def __init__(self):
  50         self.servers = collections.defaultdict(list)
  51         self.novaclients = list()
  52         # Pool of novaclients for redundant usage
  53         for i in range(self.NUMBER_OF_CLIENTS):
  54             self.novaclients.append(novaclient.Client(self.NOVA_API_VERSION,
  55                                     os.environ['OS_USERNAME'],
  56                                     os.environ['OS_PASSWORD'],
  57                                     os.environ['OS_TENANT_NAME'],
  58                                     os.environ['OS_AUTH_URL'],
  59                                     connection_pool=True))
  60         # Normally we use this client for non redundant API calls
  61         self.nova=self.novaclients[0]
  62         self.nova.servers.list(detailed=False)
  63         self.init_servers_list()
  64
  65     def init_servers_list(self):
  66         opts = {'all_tenants': True}
  67         servers=self.nova.servers.list(search_opts=opts)
  68         self.servers.clear()
  69         for server in servers:
  70             try:
  71                 host=server.__dict__.get('OS-EXT-SRV-ATTR:host')
  72                 self.servers[host].append(server)
  73                 LOG.debug('get hostname=%s from server=%s' % (host, server))
  74             except Exception as e:
  75                 LOG.error('can not get hostname from server=%s' % server)
  76
  77     def disable_compute_host(self, hostname):
  78         threads = []
  79         if len(self.servers[hostname]) > self.NUMBER_OF_CLIENTS:
  80             # TODO(tojuvone): This could be enhanced in future with dynamic
  81             # reuse of self.novaclients when all threads in use
  82             LOG.error('%d servers in %s. Can handle only %d'%(
  83                       self.servers[hostname], hostname, self.NUMBER_OF_CLIENTS))
  84         for nova, server in zip(self.novaclients, self.servers[hostname]):
  85             t = ThreadedResetState(nova, "error", server)
  86             t.start()
  87             threads.append(t)
  88         for t in threads:
  89             t.join()
  90         # NOTE: We use our own client here instead of this novaclient for a
  91         #       workaround.  Once keystone provides v2.1 nova api endpoint
  92         #       in the service catalog which is configured by OpenStack
  93         #       installer, we can use this:
  94         #
  95         # self.nova.services.force_down(hostname, 'nova-compute', True)
  96         #
  97         nova_force_down.force_down(hostname)
  98         LOG.info('doctor mark host(%s) down at %s' % (hostname, time.time()))
  99
 100
 101 app = Flask(__name__)
 102 inspector = DoctorInspectorSample()
 103
 104
 105 @app.route('/events', methods=['POST'])
 106 def event_posted():
 107     LOG.info('event posted at %s' % time.time())
 108     LOG.info('inspector = %s' % inspector)
 109     LOG.info('received data = %s' % request.data)
 110     d = json.loads(request.data)
 111     for event in d:
 112         hostname = event['details']['hostname']
 113         event_type = event['type']
 114         if event_type == 'compute.host.down':
 115             inspector.disable_compute_host(hostname)
 116     return "OK"
 117
 118
 119 def get_args():
 120     parser = argparse.ArgumentParser(description='Doctor Sample Inspector')
 121     parser.add_argument('port', metavar='PORT', type=int, nargs='?',
 122                         help='a port for inspector')
 123     return parser.parse_args()
 124
 125
 126 def main():
 127     args = get_args()
 128     app.run(port=args.port)
 129
 130
 131 if __name__ == '__main__':
 132     main()