functest/utils/openstack_clean.py

   1 #!/usr/bin/env python
   2 #
   3 # Description:
   4 #   Cleans possible leftovers after running functest tests:
   5 #       - Nova instances
   6 #       - Glance images
   7 #       - Cinder volumes
   8 #       - Floating IPs
   9 #       - Neutron networks, subnets and ports
  10 #       - Routers
  11 #       - Users and tenants
  12 #       - Tacker VNFDs and VNFs
  13 #       - Tacker SFCs and SFC classifiers
  14 #
  15 # Author:
  16 #    jose.lausuch@ericsson.com
  17 #
  18 #
  19 # All rights reserved. This program and the accompanying materials
  20 # are made available under the terms of the Apache License, Version 2.0
  21 # which accompanies this distribution, and is available at
  22 # http://www.apache.org/licenses/LICENSE-2.0
  23 #
  24
  25 import time
  26
  27 import yaml
  28
  29 import functest.utils.functest_logger as ft_logger
  30 import functest.utils.openstack_utils as os_utils
  31 from functest.utils.constants import CONST
  32
  33 logger = ft_logger.Logger("openstack_clean").getLogger()
  34
  35 OS_SNAPSHOT_FILE = CONST.openstack_snapshot_file
  36
  37
  38 def separator():
  39     logger.debug("-------------------------------------------")
  40
  41
  42 def remove_instances(nova_client, default_instances):
  43     logger.debug("Removing Nova instances...")
  44     instances = os_utils.get_instances(nova_client)
  45     if instances is None or len(instances) == 0:
  46         logger.debug("No instances found.")
  47         return
  48
  49     for instance in instances:
  50         instance_name = getattr(instance, 'name')
  51         instance_id = getattr(instance, 'id')
  52         logger.debug("'%s', ID=%s " % (instance_name, instance_id))
  53         if (instance_id not in default_instances and
  54                 instance_name not in default_instances.values()):
  55             logger.debug("Removing instance '%s' ..." % instance_id)
  56             if os_utils.delete_instance(nova_client, instance_id):
  57                 logger.debug("  > Request sent.")
  58             else:
  59                 logger.error("There has been a problem removing the "
  60                              "instance %s..." % instance_id)
  61         else:
  62             logger.debug("   > this is a default instance and will "
  63                          "NOT be deleted.")
  64
  65     timeout = 50
  66     while timeout > 0:
  67         instances = os_utils.get_instances(nova_client)
  68         for instance in instances:
  69             instance_id = getattr(instance, 'id')
  70             if instance_id not in default_instances:
  71                 logger.debug("Waiting for instances to be terminated...")
  72                 timeout -= 1
  73                 time.sleep(1)
  74                 continue
  75         break
  76
  77
  78 def remove_images(nova_client, default_images):
  79     logger.debug("Removing Glance images...")
  80     images = os_utils.get_images(nova_client)
  81     if images is None or len(images) == 0:
  82         logger.debug("No images found.")
  83         return
  84
  85     for image in images:
  86         image_name = getattr(image, 'name')
  87         image_id = getattr(image, 'id')
  88         logger.debug("'%s', ID=%s " % (image_name, image_id))
  89         if (image_id not in default_images and
  90                 image_name not in default_images.values()):
  91             logger.debug("Removing image '%s', ID=%s ..."
  92                          % (image_name, image_id))
  93             if os_utils.delete_glance_image(nova_client, image_id):
  94                 logger.debug("  > Done!")
  95             else:
  96                 logger.error("There has been a problem removing the"
  97                              "image %s..." % image_id)
  98         else:
  99             logger.debug("   > this is a default image and will "
 100                          "NOT be deleted.")
 101
 102
 103 def remove_volumes(cinder_client, default_volumes):
 104     logger.debug("Removing Cinder volumes...")
 105     volumes = os_utils.get_volumes(cinder_client)
 106     if volumes is None or len(volumes) == 0:
 107         logger.debug("No volumes found.")
 108         return
 109
 110     for volume in volumes:
 111         volume_id = getattr(volume, 'id')
 112         volume_name = getattr(volume, 'name')
 113         logger.debug("'%s', ID=%s " % (volume_name, volume_id))
 114         if (volume_id not in default_volumes and
 115                 volume_name not in default_volumes.values()):
 116             logger.debug("Removing cinder volume %s ..." % volume_id)
 117             if os_utils.delete_volume(cinder_client, volume_id):
 118                 logger.debug("  > Done!")
 119             else:
 120                 logger.debug("Trying forced removal...")
 121                 if os_utils.delete_volume(cinder_client,
 122                                           volume_id,
 123                                           forced=True):
 124                     logger.debug("  > Done!")
 125                 else:
 126                     logger.error("There has been a problem removing the "
 127                                  "volume %s..." % volume_id)
 128         else:
 129             logger.debug("   > this is a default volume and will "
 130                          "NOT be deleted.")
 131
 132
 133 def remove_floatingips(nova_client, default_floatingips):
 134     logger.debug("Removing floating IPs...")
 135     floatingips = os_utils.get_floating_ips(nova_client)
 136     if floatingips is None or len(floatingips) == 0:
 137         logger.debug("No floating IPs found.")
 138         return
 139
 140     init_len = len(floatingips)
 141     deleted = 0
 142     for fip in floatingips:
 143         fip_id = getattr(fip, 'id')
 144         fip_ip = getattr(fip, 'ip')
 145         logger.debug("'%s', ID=%s " % (fip_ip, fip_id))
 146         if (fip_id not in default_floatingips and
 147                 fip_ip not in default_floatingips.values()):
 148             logger.debug("Removing floating IP %s ..." % fip_id)
 149             if os_utils.delete_floating_ip(nova_client, fip_id):
 150                 logger.debug("  > Done!")
 151                 deleted += 1
 152             else:
 153                 logger.error("There has been a problem removing the "
 154                              "floating IP %s..." % fip_id)
 155         else:
 156             logger.debug("   > this is a default floating IP and will "
 157                          "NOT be deleted.")
 158
 159     timeout = 50
 160     while timeout > 0:
 161         floatingips = os_utils.get_floating_ips(nova_client)
 162         if floatingips is None or len(floatingips) == (init_len - deleted):
 163             break
 164         else:
 165             logger.debug("Waiting for floating ips to be released...")
 166             timeout -= 1
 167             time.sleep(1)
 168
 169
 170 def remove_networks(neutron_client, default_networks, default_routers):
 171     logger.debug("Removing Neutron objects")
 172     network_ids = []
 173     networks = os_utils.get_network_list(neutron_client)
 174     if networks is None:
 175         logger.debug("There are no networks in the deployment. ")
 176     else:
 177         logger.debug("Existing networks:")
 178         for network in networks:
 179             net_id = network['id']
 180             net_name = network['name']
 181             logger.debug(" '%s', ID=%s " % (net_name, net_id))
 182             if (net_id in default_networks and
 183                     net_name in default_networks.values()):
 184                 logger.debug("   > this is a default network and will "
 185                              "NOT be deleted.")
 186             elif network['router:external'] is True:
 187                 logger.debug("   > this is an external network and will "
 188                              "NOT be deleted.")
 189             else:
 190                 logger.debug("   > this network will be deleted.")
 191                 network_ids.append(net_id)
 192
 193     # delete ports
 194     ports = os_utils.get_port_list(neutron_client)
 195     if ports is None:
 196         logger.debug("There are no ports in the deployment. ")
 197     else:
 198         remove_ports(neutron_client, ports, network_ids)
 199
 200     # remove routers
 201     routers = os_utils.get_router_list(neutron_client)
 202     if routers is None:
 203         logger.debug("There are no routers in the deployment. ")
 204     else:
 205         remove_routers(neutron_client, routers, default_routers)
 206
 207     # trozet: wait for Neutron to auto-cleanup HA networks when HA router is
 208     #  deleted
 209     time.sleep(5)
 210
 211     # remove networks
 212     if network_ids is not None:
 213         for net_id in network_ids:
 214             networks = os_utils.get_network_list(neutron_client)
 215             if networks is None:
 216                 logger.debug("No networks left to remove")
 217                 break
 218             elif not any(network['id'] == net_id for network in networks):
 219                 logger.debug("Network %s has already been removed" % net_id)
 220                 continue
 221             logger.debug("Removing network %s ..." % net_id)
 222             if os_utils.delete_neutron_net(neutron_client, net_id):
 223                 logger.debug("  > Done!")
 224             else:
 225                 logger.error("There has been a problem removing the "
 226                              "network %s..." % net_id)
 227
 228
 229 def remove_ports(neutron_client, ports, network_ids):
 230     for port in ports:
 231         if port['network_id'] in network_ids:
 232             port_id = port['id']
 233             try:
 234                 subnet_id = port['fixed_ips'][0]['subnet_id']
 235             except:
 236                 logger.debug("  > WARNING: Port %s does not contain fixed_ips"
 237                              % port_id)
 238                 logger.info(port)
 239             router_id = port['device_id']
 240             if len(port['fixed_ips']) == 0 and router_id == '':
 241                 logger.debug("Removing port %s ..." % port_id)
 242                 if (os_utils.delete_neutron_port(neutron_client, port_id)):
 243                     logger.debug("  > Done!")
 244                 else:
 245                     logger.error("There has been a problem removing the "
 246                                  "port %s ..." % port_id)
 247                     force_remove_port(neutron_client, port_id)
 248
 249             elif port['device_owner'] == 'network:router_interface':
 250                 logger.debug("Detaching port %s (subnet %s) from router %s ..."
 251                              % (port_id, subnet_id, router_id))
 252                 if os_utils.remove_interface_router(
 253                         neutron_client, router_id, subnet_id):
 254                     time.sleep(5)  # leave 5 seconds to detach
 255                     logger.debug("  > Done!")
 256                 else:
 257                     logger.error("There has been a problem removing the "
 258                                  "interface %s from router %s..."
 259                                  % (subnet_id, router_id))
 260                     force_remove_port(neutron_client, port_id)
 261             else:
 262                 force_remove_port(neutron_client, port_id)
 263
 264
 265 def force_remove_port(neutron_client, port_id):
 266     logger.debug("Clearing device_owner for port %s ..." % port_id)
 267     os_utils.update_neutron_port(neutron_client, port_id,
 268                                  device_owner='clear')
 269     logger.debug("Removing port %s ..." % port_id)
 270     if os_utils.delete_neutron_port(neutron_client, port_id):
 271         logger.debug("  > Done!")
 272     else:
 273         logger.error("There has been a problem removing the port %s..."
 274                      % port_id)
 275
 276
 277 def remove_routers(neutron_client, routers, default_routers):
 278     for router in routers:
 279         router_id = router['id']
 280         router_name = router['name']
 281         if (router_id not in default_routers and
 282                 router_name not in default_routers.values()):
 283             logger.debug("Checking '%s' with ID=(%s) ..." % (router_name,
 284                                                              router_id))
 285             if router['external_gateway_info'] is not None:
 286                 logger.debug("Router has gateway to external network."
 287                              "Removing link...")
 288                 if os_utils.remove_gateway_router(neutron_client, router_id):
 289                     logger.debug("  > Done!")
 290                 else:
 291                     logger.error("There has been a problem removing "
 292                                  "the gateway...")
 293             else:
 294                 logger.debug("Router is not connected to anything."
 295                              "Ready to remove...")
 296             logger.debug("Removing router %s(%s) ..."
 297                          % (router_name, router_id))
 298             if os_utils.delete_neutron_router(neutron_client, router_id):
 299                 logger.debug("  > Done!")
 300             else:
 301                 logger.error("There has been a problem removing the "
 302                              "router '%s'(%s)..." % (router_name, router_id))
 303
 304
 305 def remove_security_groups(neutron_client, default_security_groups):
 306     logger.debug("Removing Security groups...")
 307     secgroups = os_utils.get_security_groups(neutron_client)
 308     if secgroups is None or len(secgroups) == 0:
 309         logger.debug("No security groups found.")
 310         return
 311
 312     for secgroup in secgroups:
 313         secgroup_name = secgroup['name']
 314         secgroup_id = secgroup['id']
 315         logger.debug("'%s', ID=%s " % (secgroup_name, secgroup_id))
 316         if secgroup_id not in default_security_groups:
 317             logger.debug(" Removing '%s'..." % secgroup_name)
 318             if os_utils.delete_security_group(neutron_client, secgroup_id):
 319                 logger.debug("  > Done!")
 320             else:
 321                 logger.error("There has been a problem removing the "
 322                              "security group %s..." % secgroup_id)
 323         else:
 324             logger.debug("   > this is a default security group and will NOT "
 325                          "be deleted.")
 326
 327
 328 def remove_users(keystone_client, default_users):
 329     logger.debug("Removing Users...")
 330     users = os_utils.get_users(keystone_client)
 331     if users is None:
 332         logger.debug("There are no users in the deployment. ")
 333         return
 334
 335     for user in users:
 336         user_name = getattr(user, 'name')
 337         user_id = getattr(user, 'id')
 338         logger.debug("'%s', ID=%s " % (user_name, user_id))
 339         if (user_id not in default_users and
 340                 user_name not in default_users.values()):
 341             logger.debug(" Removing '%s'..." % user_name)
 342             if os_utils.delete_user(keystone_client, user_id):
 343                 logger.debug("  > Done!")
 344             else:
 345                 logger.error("There has been a problem removing the "
 346                              "user '%s'(%s)..." % (user_name, user_id))
 347         else:
 348             logger.debug("   > this is a default user and will "
 349                          "NOT be deleted.")
 350
 351
 352 def remove_tenants(keystone_client, default_tenants):
 353     logger.debug("Removing Tenants...")
 354     tenants = os_utils.get_tenants(keystone_client)
 355     if tenants is None:
 356         logger.debug("There are no tenants in the deployment. ")
 357         return
 358
 359     for tenant in tenants:
 360         tenant_name = getattr(tenant, 'name')
 361         tenant_id = getattr(tenant, 'id')
 362         logger.debug("'%s', ID=%s " % (tenant_name, tenant_id))
 363         if (tenant_id not in default_tenants and
 364                 tenant_name not in default_tenants.values()):
 365             logger.debug(" Removing '%s'..." % tenant_name)
 366             if os_utils.delete_tenant(keystone_client, tenant_id):
 367                 logger.debug("  > Done!")
 368             else:
 369                 logger.error("There has been a problem removing the "
 370                              "tenant '%s'(%s)..." % (tenant_name, tenant_id))
 371         else:
 372             logger.debug("   > this is a default tenant and will "
 373                          "NOT be deleted.")
 374
 375
 376 def main():
 377     logger.info("Cleaning OpenStack resources...")
 378
 379     nova_client = os_utils.get_nova_client()
 380     neutron_client = os_utils.get_neutron_client()
 381     keystone_client = os_utils.get_keystone_client()
 382     cinder_client = os_utils.get_cinder_client()
 383
 384     try:
 385         with open(OS_SNAPSHOT_FILE) as f:
 386             snapshot_yaml = yaml.safe_load(f)
 387     except Exception:
 388         logger.info("The file %s does not exist. The OpenStack snapshot must"
 389                     " be created first. Aborting cleanup." % OS_SNAPSHOT_FILE)
 390         exit(0)
 391
 392     default_images = snapshot_yaml.get('images')
 393     default_instances = snapshot_yaml.get('instances')
 394     default_volumes = snapshot_yaml.get('volumes')
 395     default_networks = snapshot_yaml.get('networks')
 396     default_routers = snapshot_yaml.get('routers')
 397     default_security_groups = snapshot_yaml.get('secgroups')
 398     default_floatingips = snapshot_yaml.get('floatingips')
 399     default_users = snapshot_yaml.get('users')
 400     default_tenants = snapshot_yaml.get('tenants')
 401
 402     if not os_utils.check_credentials():
 403         logger.error("Please source the openrc credentials and run "
 404                      "the script again.")
 405         exit(-1)
 406
 407     remove_instances(nova_client, default_instances)
 408     separator()
 409     remove_images(nova_client, default_images)
 410     separator()
 411     remove_volumes(cinder_client, default_volumes)
 412     separator()
 413     remove_floatingips(nova_client, default_floatingips)
 414     separator()
 415     remove_networks(neutron_client, default_networks, default_routers)
 416     separator()
 417     remove_security_groups(neutron_client, default_security_groups)
 418     separator()
 419     remove_users(keystone_client, default_users)
 420     separator()
 421     remove_tenants(keystone_client, default_tenants)
 422     separator()
 423
 424
 425 if __name__ == '__main__':
 426     main()