functest/utils/openstack_clean.py

   1 #!/usr/bin/env python
   2 #
   3 # Description:
   4 #   Cleans possible leftovers after running functest tests:
   5 #       - Nova instances
   6 #       - Glance images
   7 #       - Cinder volumes
   8 #       - Floating IPs
   9 #       - Neutron networks, subnets and ports
  10 #       - Routers
  11 #       - Users and tenants
  12 #       - Tacker VNFDs and VNFs
  13 #       - Tacker SFCs and SFC classifiers
  14 #
  15 # Author:
  16 #    jose.lausuch@ericsson.com
  17 #
  18 #
  19 # All rights reserved. This program and the accompanying materials
  20 # are made available under the terms of the Apache License, Version 2.0
  21 # which accompanies this distribution, and is available at
  22 # http://www.apache.org/licenses/LICENSE-2.0
  23 #
  24
  25 import logging
  26 import sys
  27 import time
  28 import yaml
  29
  30 import functest.utils.openstack_utils as os_utils
  31 from functest.utils.constants import CONST
  32
  33 logger = logging.getLogger(__name__)
  34
  35 OS_SNAPSHOT_FILE = CONST.openstack_snapshot_file
  36
  37
  38 def separator():
  39     logger.debug("-------------------------------------------")
  40
  41
  42 def remove_instances(nova_client, default_instances):
  43     logger.debug("Removing Nova instances...")
  44     instances = os_utils.get_instances(nova_client)
  45     if instances is None or len(instances) == 0:
  46         logger.debug("No instances found.")
  47         return
  48
  49     for instance in instances:
  50         instance_name = getattr(instance, 'name')
  51         instance_id = getattr(instance, 'id')
  52         instance_status = getattr(instance, 'status')
  53         instance_state = getattr(instance, 'OS-EXT-STS:task_state')
  54
  55         logger.debug("'%s', ID=%s " % (instance_name, instance_id))
  56         if (instance_id not in default_instances and
  57                 instance_name not in default_instances.values() and
  58                 instance_status != 'DELETED' and
  59                 (instance_status != 'BUILD' or instance_state != 'deleting')):
  60             logger.debug("Removing instance '%s' ..." % instance_id)
  61             if os_utils.delete_instance(nova_client, instance_id):
  62                 logger.debug("  > Request sent.")
  63             else:
  64                 logger.error("There has been a problem removing the "
  65                              "instance %s..." % instance_id)
  66         else:
  67             logger.debug("   > this is a default instance and will "
  68                          "NOT be deleted.")
  69
  70     timeout = 50
  71     while timeout > 0:
  72         instances = os_utils.get_instances(nova_client)
  73         for instance in instances:
  74             instance_id = getattr(instance, 'id')
  75             if instance_id not in default_instances:
  76                 logger.debug("Waiting for instances to be terminated...")
  77                 timeout -= 1
  78                 time.sleep(1)
  79                 continue
  80         break
  81
  82
  83 def remove_images(nova_client, default_images):
  84     logger.debug("Removing Glance images...")
  85     images = os_utils.get_images(nova_client)
  86     if images is None or len(images) == 0:
  87         logger.debug("No images found.")
  88         return
  89
  90     for image in images:
  91         image_name = getattr(image, 'name')
  92         image_id = getattr(image, 'id')
  93         logger.debug("'%s', ID=%s " % (image_name, image_id))
  94         if (image_id not in default_images and
  95                 image_name not in default_images.values()):
  96             logger.debug("Removing image '%s', ID=%s ..."
  97                          % (image_name, image_id))
  98             if os_utils.delete_glance_image(nova_client, image_id):
  99                 logger.debug("  > Done!")
 100             else:
 101                 logger.error("There has been a problem removing the"
 102                              "image %s..." % image_id)
 103         else:
 104             logger.debug("   > this is a default image and will "
 105                          "NOT be deleted.")
 106
 107
 108 def remove_volumes(cinder_client, default_volumes):
 109     logger.debug("Removing Cinder volumes...")
 110     volumes = os_utils.get_volumes(cinder_client)
 111     if volumes is None or len(volumes) == 0:
 112         logger.debug("No volumes found.")
 113         return
 114
 115     for volume in volumes:
 116         volume_id = getattr(volume, 'id')
 117         volume_name = getattr(volume, 'name')
 118         logger.debug("'%s', ID=%s " % (volume_name, volume_id))
 119         if (volume_id not in default_volumes and
 120                 volume_name not in default_volumes.values()):
 121             logger.debug("Removing cinder volume %s ..." % volume_id)
 122             if os_utils.delete_volume(cinder_client, volume_id):
 123                 logger.debug("  > Done!")
 124             else:
 125                 logger.debug("Trying forced removal...")
 126                 if os_utils.delete_volume(cinder_client,
 127                                           volume_id,
 128                                           forced=True):
 129                     logger.debug("  > Done!")
 130                 else:
 131                     logger.error("There has been a problem removing the "
 132                                  "volume %s..." % volume_id)
 133         else:
 134             logger.debug("   > this is a default volume and will "
 135                          "NOT be deleted.")
 136
 137
 138 def remove_floatingips(nova_client, default_floatingips):
 139     logger.debug("Removing floating IPs...")
 140     floatingips = os_utils.get_floating_ips(nova_client)
 141     if floatingips is None or len(floatingips) == 0:
 142         logger.debug("No floating IPs found.")
 143         return
 144
 145     init_len = len(floatingips)
 146     deleted = 0
 147     for fip in floatingips:
 148         fip_id = getattr(fip, 'id')
 149         fip_ip = getattr(fip, 'ip')
 150         logger.debug("'%s', ID=%s " % (fip_ip, fip_id))
 151         if (fip_id not in default_floatingips and
 152                 fip_ip not in default_floatingips.values()):
 153             logger.debug("Removing floating IP %s ..." % fip_id)
 154             if os_utils.delete_floating_ip(nova_client, fip_id):
 155                 logger.debug("  > Done!")
 156                 deleted += 1
 157             else:
 158                 logger.error("There has been a problem removing the "
 159                              "floating IP %s..." % fip_id)
 160         else:
 161             logger.debug("   > this is a default floating IP and will "
 162                          "NOT be deleted.")
 163
 164     timeout = 50
 165     while timeout > 0:
 166         floatingips = os_utils.get_floating_ips(nova_client)
 167         if floatingips is None or len(floatingips) == (init_len - deleted):
 168             break
 169         else:
 170             logger.debug("Waiting for floating ips to be released...")
 171             timeout -= 1
 172             time.sleep(1)
 173
 174
 175 def remove_networks(neutron_client, default_networks, default_routers):
 176     logger.debug("Removing Neutron objects")
 177     network_ids = []
 178     networks = os_utils.get_network_list(neutron_client)
 179     if networks is None:
 180         logger.debug("There are no networks in the deployment. ")
 181     else:
 182         logger.debug("Existing networks:")
 183         for network in networks:
 184             net_id = network['id']
 185             net_name = network['name']
 186             logger.debug(" '%s', ID=%s " % (net_name, net_id))
 187             if (net_id in default_networks and
 188                     net_name in default_networks.values()):
 189                 logger.debug("   > this is a default network and will "
 190                              "NOT be deleted.")
 191             elif network['router:external'] is True:
 192                 logger.debug("   > this is an external network and will "
 193                              "NOT be deleted.")
 194             else:
 195                 logger.debug("   > this network will be deleted.")
 196                 network_ids.append(net_id)
 197
 198     # delete ports
 199     ports = os_utils.get_port_list(neutron_client)
 200     if ports is None:
 201         logger.debug("There are no ports in the deployment. ")
 202     else:
 203         remove_ports(neutron_client, ports, network_ids)
 204
 205     # remove routers
 206     routers = os_utils.get_router_list(neutron_client)
 207     if routers is None:
 208         logger.debug("There are no routers in the deployment. ")
 209     else:
 210         remove_routers(neutron_client, routers, default_routers)
 211
 212     # trozet: wait for Neutron to auto-cleanup HA networks when HA router is
 213     #  deleted
 214     time.sleep(5)
 215
 216     # remove networks
 217     if network_ids is not None:
 218         for net_id in network_ids:
 219             networks = os_utils.get_network_list(neutron_client)
 220             if networks is None:
 221                 logger.debug("No networks left to remove")
 222                 break
 223             elif not any(network['id'] == net_id for network in networks):
 224                 logger.debug("Network %s has already been removed" % net_id)
 225                 continue
 226             logger.debug("Removing network %s ..." % net_id)
 227             if os_utils.delete_neutron_net(neutron_client, net_id):
 228                 logger.debug("  > Done!")
 229             else:
 230                 logger.error("There has been a problem removing the "
 231                              "network %s..." % net_id)
 232
 233
 234 def remove_ports(neutron_client, ports, network_ids):
 235     for port in ports:
 236         if port['network_id'] in network_ids:
 237             port_id = port['id']
 238             try:
 239                 subnet_id = port['fixed_ips'][0]['subnet_id']
 240             except:
 241                 logger.debug("  > WARNING: Port %s does not contain fixed_ips"
 242                              % port_id)
 243                 logger.info(port)
 244             router_id = port['device_id']
 245             if len(port['fixed_ips']) == 0 and router_id == '':
 246                 logger.debug("Removing port %s ..." % port_id)
 247                 if (os_utils.delete_neutron_port(neutron_client, port_id)):
 248                     logger.debug("  > Done!")
 249                 else:
 250                     logger.error("There has been a problem removing the "
 251                                  "port %s ..." % port_id)
 252                     force_remove_port(neutron_client, port_id)
 253
 254             elif port['device_owner'] == 'network:router_interface':
 255                 logger.debug("Detaching port %s (subnet %s) from router %s ..."
 256                              % (port_id, subnet_id, router_id))
 257                 if os_utils.remove_interface_router(
 258                         neutron_client, router_id, subnet_id):
 259                     time.sleep(5)  # leave 5 seconds to detach
 260                     logger.debug("  > Done!")
 261                 else:
 262                     logger.error("There has been a problem removing the "
 263                                  "interface %s from router %s..."
 264                                  % (subnet_id, router_id))
 265                     force_remove_port(neutron_client, port_id)
 266             else:
 267                 force_remove_port(neutron_client, port_id)
 268
 269
 270 def force_remove_port(neutron_client, port_id):
 271     logger.debug("Clearing device_owner for port %s ..." % port_id)
 272     os_utils.update_neutron_port(neutron_client, port_id,
 273                                  device_owner='clear')
 274     logger.debug("Removing port %s ..." % port_id)
 275     if os_utils.delete_neutron_port(neutron_client, port_id):
 276         logger.debug("  > Done!")
 277     else:
 278         logger.error("There has been a problem removing the port %s..."
 279                      % port_id)
 280
 281
 282 def remove_routers(neutron_client, routers, default_routers):
 283     for router in routers:
 284         router_id = router['id']
 285         router_name = router['name']
 286         if (router_id not in default_routers and
 287                 router_name not in default_routers.values()):
 288             logger.debug("Checking '%s' with ID=(%s) ..." % (router_name,
 289                                                              router_id))
 290             if router['external_gateway_info'] is not None:
 291                 logger.debug("Router has gateway to external network."
 292                              "Removing link...")
 293                 if os_utils.remove_gateway_router(neutron_client, router_id):
 294                     logger.debug("  > Done!")
 295                 else:
 296                     logger.error("There has been a problem removing "
 297                                  "the gateway...")
 298             else:
 299                 logger.debug("Router is not connected to anything."
 300                              "Ready to remove...")
 301             logger.debug("Removing router %s(%s) ..."
 302                          % (router_name, router_id))
 303             if os_utils.delete_neutron_router(neutron_client, router_id):
 304                 logger.debug("  > Done!")
 305             else:
 306                 logger.error("There has been a problem removing the "
 307                              "router '%s'(%s)..." % (router_name, router_id))
 308
 309
 310 def remove_security_groups(neutron_client, default_security_groups):
 311     logger.debug("Removing Security groups...")
 312     secgroups = os_utils.get_security_groups(neutron_client)
 313     if secgroups is None or len(secgroups) == 0:
 314         logger.debug("No security groups found.")
 315         return
 316
 317     for secgroup in secgroups:
 318         secgroup_name = secgroup['name']
 319         secgroup_id = secgroup['id']
 320         logger.debug("'%s', ID=%s " % (secgroup_name, secgroup_id))
 321         if secgroup_id not in default_security_groups:
 322             logger.debug(" Removing '%s'..." % secgroup_name)
 323             if os_utils.delete_security_group(neutron_client, secgroup_id):
 324                 logger.debug("  > Done!")
 325             else:
 326                 logger.error("There has been a problem removing the "
 327                              "security group %s..." % secgroup_id)
 328         else:
 329             logger.debug("   > this is a default security group and will NOT "
 330                          "be deleted.")
 331
 332
 333 def remove_users(keystone_client, default_users):
 334     logger.debug("Removing Users...")
 335     users = os_utils.get_users(keystone_client)
 336     if users is None:
 337         logger.debug("There are no users in the deployment. ")
 338         return
 339
 340     for user in users:
 341         user_name = getattr(user, 'name')
 342         user_id = getattr(user, 'id')
 343         logger.debug("'%s', ID=%s " % (user_name, user_id))
 344         if (user_id not in default_users and
 345                 user_name not in default_users.values()):
 346             logger.debug(" Removing '%s'..." % user_name)
 347             if os_utils.delete_user(keystone_client, user_id):
 348                 logger.debug("  > Done!")
 349             else:
 350                 logger.error("There has been a problem removing the "
 351                              "user '%s'(%s)..." % (user_name, user_id))
 352         else:
 353             logger.debug("   > this is a default user and will "
 354                          "NOT be deleted.")
 355
 356
 357 def remove_tenants(keystone_client, default_tenants):
 358     logger.debug("Removing Tenants...")
 359     tenants = os_utils.get_tenants(keystone_client)
 360     if tenants is None:
 361         logger.debug("There are no tenants in the deployment. ")
 362         return
 363
 364     for tenant in tenants:
 365         tenant_name = getattr(tenant, 'name')
 366         tenant_id = getattr(tenant, 'id')
 367         logger.debug("'%s', ID=%s " % (tenant_name, tenant_id))
 368         if (tenant_id not in default_tenants and
 369                 tenant_name not in default_tenants.values()):
 370             logger.debug(" Removing '%s'..." % tenant_name)
 371             if os_utils.delete_tenant(keystone_client, tenant_id):
 372                 logger.debug("  > Done!")
 373             else:
 374                 logger.error("There has been a problem removing the "
 375                              "tenant '%s'(%s)..." % (tenant_name, tenant_id))
 376         else:
 377             logger.debug("   > this is a default tenant and will "
 378                          "NOT be deleted.")
 379
 380
 381 def main():
 382     logger.info("Cleaning OpenStack resources...")
 383
 384     nova_client = os_utils.get_nova_client()
 385     neutron_client = os_utils.get_neutron_client()
 386     keystone_client = os_utils.get_keystone_client()
 387     cinder_client = os_utils.get_cinder_client()
 388
 389     try:
 390         with open(OS_SNAPSHOT_FILE) as f:
 391             snapshot_yaml = yaml.safe_load(f)
 392     except Exception:
 393         logger.info("The file %s does not exist. The OpenStack snapshot must"
 394                     " be created first. Aborting cleanup." % OS_SNAPSHOT_FILE)
 395         return 0
 396
 397     default_images = snapshot_yaml.get('images')
 398     default_instances = snapshot_yaml.get('instances')
 399     default_volumes = snapshot_yaml.get('volumes')
 400     default_networks = snapshot_yaml.get('networks')
 401     default_routers = snapshot_yaml.get('routers')
 402     default_security_groups = snapshot_yaml.get('secgroups')
 403     default_floatingips = snapshot_yaml.get('floatingips')
 404     default_users = snapshot_yaml.get('users')
 405     default_tenants = snapshot_yaml.get('tenants')
 406
 407     if not os_utils.check_credentials():
 408         logger.error("Please source the openrc credentials and run "
 409                      "the script again.")
 410         return -1
 411
 412     remove_instances(nova_client, default_instances)
 413     separator()
 414     remove_images(nova_client, default_images)
 415     separator()
 416     remove_volumes(cinder_client, default_volumes)
 417     separator()
 418     remove_floatingips(nova_client, default_floatingips)
 419     separator()
 420     remove_networks(neutron_client, default_networks, default_routers)
 421     separator()
 422     remove_security_groups(neutron_client, default_security_groups)
 423     separator()
 424     remove_users(keystone_client, default_users)
 425     separator()
 426     remove_tenants(keystone_client, default_tenants)
 427     separator()
 428     return 0
 429
 430
 431 if __name__ == '__main__':
 432     logging.basicConfig()
 433     sys.exit(main())