Merge "fix the way to get log filename"
[doctor.git] / doctor_tests / inspector / sample.py
1 ##############################################################################
2 # Copyright (c) 2017 ZTE Corporation and others.
3 #
4 # All rights reserved. This program and the accompanying materials
5 # are made available under the terms of the Apache License, Version 2.0
6 # which accompanies this distribution, and is available at
7 # http://www.apache.org/licenses/LICENSE-2.0
8 ##############################################################################
9 import collections
10 from flask import Flask
11 from flask import request
12 import json
13 import time
14 from threading import Thread
15 import requests
16
17 from doctor_tests.common import utils
18 from doctor_tests.identity_auth import get_identity_auth
19 from doctor_tests.identity_auth import get_session
20 from doctor_tests.os_clients import nova_client
21 from doctor_tests.os_clients import neutron_client
22 from doctor_tests.inspector.base import BaseInspector
23
24
25 class SampleInspector(BaseInspector):
26     event_type = 'compute.host.down'
27
28     def __init__(self, conf, log):
29         super(SampleInspector, self).__init__(conf, log)
30         self.inspector_url = self.get_inspector_url()
31         self.novaclients = list()
32         self._init_novaclients()
33         # Normally we use this client for non redundant API calls
34         self.nova = self.novaclients[0]
35
36         auth = get_identity_auth(project=self.conf.doctor_project)
37         session = get_session(auth=auth)
38         if self.conf.inspector.update_neutron_port_dp_status:
39             self.neutron = neutron_client(session)
40
41         self.servers = collections.defaultdict(list)
42         self.hostnames = list()
43         self.app = None
44
45     def _init_novaclients(self):
46         self.NUMBER_OF_CLIENTS = self.conf.instance_count
47         auth = get_identity_auth(project=self.conf.doctor_project)
48         session = get_session(auth=auth)
49         for i in range(self.NUMBER_OF_CLIENTS):
50             self.novaclients.append(
51                 nova_client(self.conf.nova_version, session))
52
53     def _init_servers_list(self):
54         self.servers.clear()
55         opts = {'all_tenants': True}
56         servers = self.nova.servers.list(search_opts=opts)
57         for server in servers:
58             try:
59                 host = server.__dict__.get('OS-EXT-SRV-ATTR:host')
60                 self.servers[host].append(server)
61                 self.log.debug('get hostname=%s from server=%s' % (host, server))
62             except Exception as e:
63                 self.log.info('can not get hostname from server=%s' % server)
64
65     def get_inspector_url(self):
66         return 'http://%s:%s' % (self.conf.inspector.ip, self.conf.inspector.port)
67
68     def start(self):
69         self.log.info('sample inspector start......')
70         self._init_servers_list()
71         self.app = InspectorApp(self.conf.inspector.port, self, self.log)
72         self.app.start()
73
74     def stop(self):
75         self.log.info('sample inspector stop......')
76         if not self.app:
77             return
78         for hostname in self.hostnames:
79             self.nova.services.force_down(hostname, 'nova-compute', False)
80
81         headers = {
82             'Content-Type': 'application/json',
83             'Accept': 'application/json',
84         }
85         url = '%s%s' % (self.inspector_url, 'shutdown') \
86             if self.inspector_url.endswith('/') else \
87             '%s%s' % (self.inspector_url, '/shutdown')
88         requests.post(url, data='', headers=headers)
89
90     def handle_events(self, events):
91         for event in events:
92             hostname = event['details']['hostname']
93             event_type = event['type']
94             if event_type == self.event_type:
95                 self.hostnames.append(hostname)
96                 thr1 = self._disable_compute_host(hostname)
97                 thr2 = self._vms_reset_state('error', hostname)
98                 if self.conf.inspector.update_neutron_port_dp_status:
99                     thr3 = self._set_ports_data_plane_status('DOWN', hostname)
100                 thr1.join()
101                 thr2.join()
102                 if self.conf.inspector.update_neutron_port_dp_status:
103                     thr3.join()
104
105     @utils.run_async
106     def _disable_compute_host(self, hostname):
107         self.nova.services.force_down(hostname, 'nova-compute', True)
108         self.log.info('doctor mark host(%s) down at %s' % (hostname, time.time()))
109
110     @utils.run_async
111     def _vms_reset_state(self, state, hostname):
112
113         @utils.run_async
114         def _vm_reset_state(nova, server, state):
115             nova.servers.reset_state(server, state)
116             self.log.info('doctor mark vm(%s) error at %s' % (server, time.time()))
117
118         thrs = []
119         for nova, server in zip(self.novaclients, self.servers[hostname]):
120             t = _vm_reset_state(nova, server, state)
121             thrs.append(t)
122         for t in thrs:
123             t.join()
124
125     @utils.run_async
126     def _set_ports_data_plane_status(self, status, hostname):
127         body = {'data_plane_status': status}
128
129         @utils.run_async
130         def _set_port_data_plane_status(port_id):
131             self.neutron.update_port(port_id, body)
132             self.log.info('doctor set data plane status %s on port %s' % (status, port_id))
133
134         thrs = []
135         params = {'binding:host_id': hostname}
136         for port_id in self.neutron.list_ports(**params):
137             t = _set_port_data_plane_status(port_id)
138             thrs.append(t)
139         for t in thrs:
140             t.join()
141
142
143 class InspectorApp(Thread):
144
145     def __init__(self, port, inspector, log):
146         Thread.__init__(self)
147         self.port = port
148         self.inspector = inspector
149         self.log = log
150
151     def run(self):
152         app = Flask('inspector')
153
154         @app.route('/events', methods=['PUT'])
155         def event_posted():
156             self.log.info('event posted in sample inspector at %s' % time.time())
157             self.log.info('sample inspector = %s' % self.inspector)
158             self.log.info('sample inspector received data = %s' % request.data)
159             events = json.loads(request.data.decode('utf8'))
160             self.inspector.handle_events(events)
161             return "OK"
162
163         @app.route('/shutdown', methods=['POST'])
164         def shutdown():
165             self.log.info('shutdown inspector app server at %s' % time.time())
166             func = request.environ.get('werkzeug.server.shutdown')
167             if func is None:
168                 raise RuntimeError('Not running with the Werkzeug Server')
169             func()
170             return 'inspector app shutting down...'
171
172         app.run(host="0.0.0.0", port=self.port)