utils/openstack_clean.py

   1 #!/usr/bin/env python
   2 #
   3 # Description:
   4 #   Cleans possible leftovers after running functest tests:
   5 #       - Nova instances
   6 #       - Glance images
   7 #       - Cinder volumes
   8 #       - Floating IPs
   9 #       - Neutron networks, subnets and ports
  10 #       - Routers
  11 #       - Users and tenants
  12 #
  13 # Author:
  14 #    jose.lausuch@ericsson.com
  15 #
  16 #
  17 # All rights reserved. This program and the accompanying materials
  18 # are made available under the terms of the Apache License, Version 2.0
  19 # which accompanies this distribution, and is available at
  20 # http://www.apache.org/licenses/LICENSE-2.0
  21 #
  22
  23 import time
  24 import functest.utils.functest_logger as ft_logger
  25 import functest.utils.functest_utils as ft_utils
  26 import functest.utils.openstack_utils as os_utils
  27 import yaml
  28
  29
  30 logger = ft_logger.Logger("openstack_clean").getLogger()
  31
  32 OS_SNAPSHOT_FILE = ft_utils.get_parameter_from_yaml(
  33     "general.openstack.snapshot_file")
  34
  35
  36 def separator():
  37     logger.debug("-------------------------------------------")
  38
  39
  40 def remove_instances(nova_client, default_instances):
  41     logger.info("Removing Nova instances...")
  42     instances = os_utils.get_instances(nova_client)
  43     if instances is None or len(instances) == 0:
  44         logger.debug("No instances found.")
  45         return
  46
  47     for instance in instances:
  48         instance_name = getattr(instance, 'name')
  49         instance_id = getattr(instance, 'id')
  50         logger.debug("'%s', ID=%s " % (instance_name, instance_id))
  51         if instance_id not in default_instances:
  52             logger.debug("Removing instance '%s' ..." % instance_id)
  53             if os_utils.delete_instance(nova_client, instance_id):
  54                 logger.debug("  > Request sent.")
  55             else:
  56                 logger.error("There has been a problem removing the "
  57                              "instance %s..." % instance_id)
  58         else:
  59             logger.debug("   > this is a default instance and will "
  60                          "NOT be deleted.")
  61
  62     timeout = 50
  63     while timeout > 0:
  64         instances = os_utils.get_instances(nova_client)
  65         for instance in instances:
  66             instance_id = getattr(instance, 'id')
  67             if instance_id not in default_instances:
  68                 logger.debug("Waiting for instances to be terminated...")
  69                 timeout -= 1
  70                 time.sleep(1)
  71                 continue
  72         break
  73
  74
  75 def remove_images(nova_client, default_images):
  76     logger.info("Removing Glance images...")
  77     images = os_utils.get_images(nova_client)
  78     if images is None or len(images) == 0:
  79         logger.debug("No images found.")
  80         return
  81
  82     for image in images:
  83         image_name = getattr(image, 'name')
  84         image_id = getattr(image, 'id')
  85         logger.debug("'%s', ID=%s " % (image_name, image_id))
  86         if image_id not in default_images:
  87             logger.debug("Removing image '%s', ID=%s ..."
  88                          % (image_name, image_id))
  89             if os_utils.delete_glance_image(nova_client, image_id):
  90                 logger.debug("  > Done!")
  91             else:
  92                 logger.error("There has been a problem removing the"
  93                              "image %s..." % image_id)
  94         else:
  95             logger.debug("   > this is a default image and will "
  96                          "NOT be deleted.")
  97
  98
  99 def remove_volumes(cinder_client, default_volumes):
 100     logger.info("Removing Cinder volumes...")
 101     volumes = os_utils.get_volumes(cinder_client)
 102     if volumes is None or len(volumes) == 0:
 103         logger.debug("No volumes found.")
 104         return
 105
 106     for volume in volumes:
 107         volume_id = getattr(volume, 'id')
 108         volume_name = getattr(volume, 'display_name')
 109         logger.debug("'%s', ID=%s " % (volume_name, volume_id))
 110         if volume_id not in default_volumes:
 111             logger.debug("Removing cinder volume %s ..." % volume_id)
 112             if os_utils.delete_volume(cinder_client, volume_id):
 113                 logger.debug("  > Done!")
 114             else:
 115                 logger.debug("Trying forced removal...")
 116                 if os_utils.delete_volume(cinder_client,
 117                                           volume_id,
 118                                           forced=True):
 119                     logger.debug("  > Done!")
 120                 else:
 121                     logger.error("There has been a problem removing the "
 122                                  "volume %s..." % volume_id)
 123         else:
 124             logger.debug("   > this is a default volume and will "
 125                          "NOT be deleted.")
 126
 127
 128 def remove_floatingips(nova_client, default_floatingips):
 129     logger.info("Removing floating IPs...")
 130     floatingips = os_utils.get_floating_ips(nova_client)
 131     if floatingips is None or len(floatingips) == 0:
 132         logger.debug("No floating IPs found.")
 133         return
 134
 135     init_len = len(floatingips)
 136     deleted = 0
 137     for fip in floatingips:
 138         fip_id = getattr(fip, 'id')
 139         fip_ip = getattr(fip, 'ip')
 140         logger.debug("'%s', ID=%s " % (fip_ip, fip_id))
 141         if fip_id not in default_floatingips:
 142             logger.debug("Removing floating IP %s ..." % fip_id)
 143             if os_utils.delete_floating_ip(nova_client, fip_id):
 144                 logger.debug("  > Done!")
 145                 deleted += 1
 146             else:
 147                 logger.error("There has been a problem removing the "
 148                              "floating IP %s..." % fip_id)
 149         else:
 150             logger.debug("   > this is a default floating IP and will "
 151                          "NOT be deleted.")
 152
 153     timeout = 50
 154     while timeout > 0:
 155         floatingips = os_utils.get_floating_ips(nova_client)
 156         if floatingips is None or len(floatingips) == (init_len - deleted):
 157             break
 158         else:
 159             logger.debug("Waiting for floating ips to be released...")
 160             timeout -= 1
 161             time.sleep(1)
 162
 163
 164 def remove_networks(neutron_client, default_networks, default_routers):
 165     logger.info("Removing Neutron objects")
 166     network_ids = []
 167     networks = os_utils.get_network_list(neutron_client)
 168     if networks is None:
 169         logger.debug("There are no networks in the deployment. ")
 170     else:
 171         logger.debug("Existing networks:")
 172         for network in networks:
 173             net_id = network['id']
 174             net_name = network['name']
 175             logger.debug(" '%s', ID=%s " % (net_name, net_id))
 176             if net_id in default_networks:
 177                 logger.debug("   > this is a default network and will "
 178                              "NOT be deleted.")
 179             elif network['router:external'] is True:
 180                 logger.debug("   > this is an external network and will "
 181                              "NOT be deleted.")
 182             else:
 183                 logger.debug("   > this network will be deleted.")
 184                 network_ids.append(net_id)
 185
 186     # delete ports
 187     ports = os_utils.get_port_list(neutron_client)
 188     if ports is None:
 189         logger.debug("There are no ports in the deployment. ")
 190     else:
 191         remove_ports(neutron_client, ports, network_ids)
 192
 193     # remove routers
 194     routers = os_utils.get_router_list(neutron_client)
 195     if routers is None:
 196         logger.debug("There are no routers in the deployment. ")
 197     else:
 198         remove_routers(neutron_client, routers, default_routers)
 199
 200     # remove networks
 201     if network_ids is not None:
 202         for net_id in network_ids:
 203             logger.debug("Removing network %s ..." % net_id)
 204             if os_utils.delete_neutron_net(neutron_client, net_id):
 205                 logger.debug("  > Done!")
 206             else:
 207                 logger.error("There has been a problem removing the "
 208                              "network %s..." % net_id)
 209
 210
 211 def remove_ports(neutron_client, ports, network_ids):
 212     for port in ports:
 213         if port['network_id'] in network_ids:
 214             port_id = port['id']
 215             try:
 216                 subnet_id = port['fixed_ips'][0]['subnet_id']
 217             except:
 218                 logger.info("  > WARNING: Port %s does not contain 'fixed_ips'"
 219                             % port_id)
 220                 print port
 221             router_id = port['device_id']
 222             if len(port['fixed_ips']) == 0 and router_id == '':
 223                 logger.debug("Removing port %s ..." % port_id)
 224                 if (os_utils.delete_neutron_port(neutron_client, port_id)):
 225                     logger.debug("  > Done!")
 226                 else:
 227                     logger.error("There has been a problem removing the "
 228                                  "port %s ..." % port_id)
 229                     force_remove_port(neutron_client, port_id)
 230
 231             elif port['device_owner'] == 'network:router_interface':
 232                 logger.debug("Detaching port %s (subnet %s) from router %s ..."
 233                              % (port_id, subnet_id, router_id))
 234                 if os_utils.remove_interface_router(
 235                         neutron_client, router_id, subnet_id):
 236                     time.sleep(5)  # leave 5 seconds to detach
 237                     logger.debug("  > Done!")
 238                 else:
 239                     logger.error("There has been a problem removing the "
 240                                  "interface %s from router %s..."
 241                                  % (subnet_id, router_id))
 242                     force_remove_port(neutron_client, port_id)
 243             else:
 244                 force_remove_port(neutron_client, port_id)
 245
 246
 247 def force_remove_port(neutron_client, port_id):
 248     logger.debug("Clearing device_owner for port %s ..." % port_id)
 249     os_utils.update_neutron_port(neutron_client, port_id,
 250                                  device_owner='clear')
 251     logger.debug("Removing port %s ..." % port_id)
 252     if os_utils.delete_neutron_port(neutron_client, port_id):
 253         logger.debug("  > Done!")
 254     else:
 255         logger.error("There has been a problem removing the port %s..."
 256                      % port_id)
 257
 258
 259 def remove_routers(neutron_client, routers, default_routers):
 260     for router in routers:
 261         router_id = router['id']
 262         router_name = router['name']
 263         if router_id not in default_routers:
 264             logger.debug("Checking '%s' with ID=(%s) ..." % (router_name,
 265                                                              router_id))
 266             if router['external_gateway_info'] is not None:
 267                 logger.debug("Router has gateway to external network."
 268                              "Removing link...")
 269                 if os_utils.remove_gateway_router(neutron_client, router_id):
 270                     logger.debug("  > Done!")
 271                 else:
 272                     logger.error("There has been a problem removing "
 273                                  "the gateway...")
 274             else:
 275                 logger.debug("Router is not connected to anything."
 276                              "Ready to remove...")
 277             logger.debug("Removing router %s(%s) ..."
 278                          % (router_name, router_id))
 279             if os_utils.delete_neutron_router(neutron_client, router_id):
 280                 logger.debug("  > Done!")
 281             else:
 282                 logger.error("There has been a problem removing the "
 283                              "router '%s'(%s)..." % (router_name, router_id))
 284
 285
 286 def remove_security_groups(neutron_client, default_security_groups):
 287     logger.info("Removing Security groups...")
 288     secgroups = os_utils.get_security_groups(neutron_client)
 289     if secgroups is None or len(secgroups) == 0:
 290         logger.debug("No security groups found.")
 291         return
 292
 293     for secgroup in secgroups:
 294         secgroup_name = secgroup['name']
 295         secgroup_id = secgroup['id']
 296         logger.debug("'%s', ID=%s " % (secgroup_name, secgroup_id))
 297         if secgroup_id not in default_security_groups:
 298             logger.debug(" Removing '%s'..." % secgroup_name)
 299             if os_utils.delete_security_group(neutron_client, secgroup_id):
 300                 logger.debug("  > Done!")
 301             else:
 302                 logger.error("There has been a problem removing the "
 303                              "security group %s..." % secgroup_id)
 304         else:
 305             logger.debug("   > this is a default security group and will NOT "
 306                          "be deleted.")
 307
 308
 309 def remove_users(keystone_client, default_users):
 310     logger.info("Removing Users...")
 311     users = os_utils.get_users(keystone_client)
 312     if users is None:
 313         logger.debug("There are no users in the deployment. ")
 314         return
 315
 316     for user in users:
 317         user_name = getattr(user, 'name')
 318         user_id = getattr(user, 'id')
 319         logger.debug("'%s', ID=%s " % (user_name, user_id))
 320         if user_id not in default_users:
 321             logger.debug(" Removing '%s'..." % user_name)
 322             if os_utils.delete_user(keystone_client, user_id):
 323                 logger.debug("  > Done!")
 324             else:
 325                 logger.error("There has been a problem removing the "
 326                              "user '%s'(%s)..." % (user_name, user_id))
 327         else:
 328             logger.debug("   > this is a default user and will "
 329                          "NOT be deleted.")
 330
 331
 332 def remove_tenants(keystone_client, default_tenants):
 333     logger.info("Removing Tenants...")
 334     tenants = os_utils.get_tenants(keystone_client)
 335     if tenants is None:
 336         logger.debug("There are no tenants in the deployment. ")
 337         return
 338
 339     for tenant in tenants:
 340         tenant_name = getattr(tenant, 'name')
 341         tenant_id = getattr(tenant, 'id')
 342         logger.debug("'%s', ID=%s " % (tenant_name, tenant_id))
 343         if tenant_id not in default_tenants:
 344             logger.debug(" Removing '%s'..." % tenant_name)
 345             if os_utils.delete_tenant(keystone_client, tenant_id):
 346                 logger.debug("  > Done!")
 347             else:
 348                 logger.error("There has been a problem removing the "
 349                              "tenant '%s'(%s)..." % (tenant_name, tenant_id))
 350         else:
 351             logger.debug("   > this is a default tenant and will "
 352                          "NOT be deleted.")
 353
 354
 355 def main():
 356     logger.info("Cleaning OpenStack resources...")
 357
 358     nova_client = os_utils.get_nova_client()
 359     neutron_client = os_utils.get_neutron_client()
 360     keystone_client = os_utils.get_keystone_client()
 361     cinder_client = os_utils.get_cinder_client()
 362
 363     try:
 364         with open(OS_SNAPSHOT_FILE) as f:
 365             snapshot_yaml = yaml.safe_load(f)
 366     except Exception:
 367         logger.info("The file %s does not exist. The OpenStack snapshot must"
 368                     " be created first. Aborting cleanup." % OS_SNAPSHOT_FILE)
 369         exit(0)
 370
 371     default_images = snapshot_yaml.get('images')
 372     default_instances = snapshot_yaml.get('instances')
 373     default_volumes = snapshot_yaml.get('volumes')
 374     default_networks = snapshot_yaml.get('networks')
 375     default_routers = snapshot_yaml.get('routers')
 376     default_security_groups = snapshot_yaml.get('secgroups')
 377     default_floatingips = snapshot_yaml.get('floatingips')
 378     default_users = snapshot_yaml.get('users')
 379     default_tenants = snapshot_yaml.get('tenants')
 380
 381     if not os_utils.check_credentials():
 382         logger.error("Please source the openrc credentials and run "
 383                      "the script again.")
 384         exit(-1)
 385
 386     remove_instances(nova_client, default_instances)
 387     separator()
 388     remove_images(nova_client, default_images)
 389     separator()
 390     remove_volumes(cinder_client, default_volumes)
 391     separator()
 392     remove_floatingips(nova_client, default_floatingips)
 393     separator()
 394     remove_networks(neutron_client, default_networks, default_routers)
 395     separator()
 396     remove_security_groups(neutron_client, default_security_groups)
 397     separator()
 398     remove_users(keystone_client, default_users)
 399     separator()
 400     remove_tenants(keystone_client, default_tenants)
 401     separator()
 402
 403
 404 if __name__ == '__main__':
 405     main()