functest/utils/openstack_clean.py

   1 #!/usr/bin/env python
   2 #
   3 # Description:
   4 #   Cleans possible leftovers after running functest tests:
   5 #       - Nova instances
   6 #       - Glance images
   7 #       - Cinder volumes
   8 #       - Floating IPs
   9 #       - Neutron networks, subnets and ports
  10 #       - Routers
  11 #       - Users and tenants
  12 #
  13 # Author:
  14 #    jose.lausuch@ericsson.com
  15 #
  16 #
  17 # All rights reserved. This program and the accompanying materials
  18 # are made available under the terms of the Apache License, Version 2.0
  19 # which accompanies this distribution, and is available at
  20 # http://www.apache.org/licenses/LICENSE-2.0
  21 #
  22
  23 import time
  24 import functest.utils.functest_logger as ft_logger
  25 import functest.utils.openstack_utils as os_utils
  26 import yaml
  27 import functest.utils.functest_constants as ft_constants
  28
  29 logger = ft_logger.Logger("openstack_clean").getLogger()
  30
  31 OS_SNAPSHOT_FILE = ft_constants.OPENSTACK_SNAPSHOT_FILE
  32
  33
  34 def separator():
  35     logger.debug("-------------------------------------------")
  36
  37
  38 def remove_instances(nova_client, default_instances):
  39     logger.debug("Removing Nova instances...")
  40     instances = os_utils.get_instances(nova_client)
  41     if instances is None or len(instances) == 0:
  42         logger.debug("No instances found.")
  43         return
  44
  45     for instance in instances:
  46         instance_name = getattr(instance, 'name')
  47         instance_id = getattr(instance, 'id')
  48         logger.debug("'%s', ID=%s " % (instance_name, instance_id))
  49         if (instance_id not in default_instances and
  50                 instance_name not in default_instances.values()):
  51             logger.debug("Removing instance '%s' ..." % instance_id)
  52             if os_utils.delete_instance(nova_client, instance_id):
  53                 logger.debug("  > Request sent.")
  54             else:
  55                 logger.error("There has been a problem removing the "
  56                              "instance %s..." % instance_id)
  57         else:
  58             logger.debug("   > this is a default instance and will "
  59                          "NOT be deleted.")
  60
  61     timeout = 50
  62     while timeout > 0:
  63         instances = os_utils.get_instances(nova_client)
  64         for instance in instances:
  65             instance_id = getattr(instance, 'id')
  66             if instance_id not in default_instances:
  67                 logger.debug("Waiting for instances to be terminated...")
  68                 timeout -= 1
  69                 time.sleep(1)
  70                 continue
  71         break
  72
  73
  74 def remove_images(nova_client, default_images):
  75     logger.debug("Removing Glance images...")
  76     images = os_utils.get_images(nova_client)
  77     if images is None or len(images) == 0:
  78         logger.debug("No images found.")
  79         return
  80
  81     for image in images:
  82         image_name = getattr(image, 'name')
  83         image_id = getattr(image, 'id')
  84         logger.debug("'%s', ID=%s " % (image_name, image_id))
  85         if (image_id not in default_images and
  86                 image_name not in default_images.values()):
  87             logger.debug("Removing image '%s', ID=%s ..."
  88                          % (image_name, image_id))
  89             if os_utils.delete_glance_image(nova_client, image_id):
  90                 logger.debug("  > Done!")
  91             else:
  92                 logger.error("There has been a problem removing the"
  93                              "image %s..." % image_id)
  94         else:
  95             logger.debug("   > this is a default image and will "
  96                          "NOT be deleted.")
  97
  98
  99 def remove_volumes(cinder_client, default_volumes):
 100     logger.debug("Removing Cinder volumes...")
 101     volumes = os_utils.get_volumes(cinder_client)
 102     if volumes is None or len(volumes) == 0:
 103         logger.debug("No volumes found.")
 104         return
 105
 106     for volume in volumes:
 107         volume_id = getattr(volume, 'id')
 108         volume_name = getattr(volume, 'display_name')
 109         logger.debug("'%s', ID=%s " % (volume_name, volume_id))
 110         if (volume_id not in default_volumes and
 111                 volume_name not in default_volumes.values()):
 112             logger.debug("Removing cinder volume %s ..." % volume_id)
 113             if os_utils.delete_volume(cinder_client, volume_id):
 114                 logger.debug("  > Done!")
 115             else:
 116                 logger.debug("Trying forced removal...")
 117                 if os_utils.delete_volume(cinder_client,
 118                                           volume_id,
 119                                           forced=True):
 120                     logger.debug("  > Done!")
 121                 else:
 122                     logger.error("There has been a problem removing the "
 123                                  "volume %s..." % volume_id)
 124         else:
 125             logger.debug("   > this is a default volume and will "
 126                          "NOT be deleted.")
 127
 128
 129 def remove_floatingips(nova_client, default_floatingips):
 130     logger.debug("Removing floating IPs...")
 131     floatingips = os_utils.get_floating_ips(nova_client)
 132     if floatingips is None or len(floatingips) == 0:
 133         logger.debug("No floating IPs found.")
 134         return
 135
 136     init_len = len(floatingips)
 137     deleted = 0
 138     for fip in floatingips:
 139         fip_id = getattr(fip, 'id')
 140         fip_ip = getattr(fip, 'ip')
 141         logger.debug("'%s', ID=%s " % (fip_ip, fip_id))
 142         if (fip_id not in default_floatingips and
 143                 fip_ip not in default_floatingips.values()):
 144             logger.debug("Removing floating IP %s ..." % fip_id)
 145             if os_utils.delete_floating_ip(nova_client, fip_id):
 146                 logger.debug("  > Done!")
 147                 deleted += 1
 148             else:
 149                 logger.error("There has been a problem removing the "
 150                              "floating IP %s..." % fip_id)
 151         else:
 152             logger.debug("   > this is a default floating IP and will "
 153                          "NOT be deleted.")
 154
 155     timeout = 50
 156     while timeout > 0:
 157         floatingips = os_utils.get_floating_ips(nova_client)
 158         if floatingips is None or len(floatingips) == (init_len - deleted):
 159             break
 160         else:
 161             logger.debug("Waiting for floating ips to be released...")
 162             timeout -= 1
 163             time.sleep(1)
 164
 165
 166 def remove_networks(neutron_client, default_networks, default_routers):
 167     logger.debug("Removing Neutron objects")
 168     network_ids = []
 169     networks = os_utils.get_network_list(neutron_client)
 170     if networks is None:
 171         logger.debug("There are no networks in the deployment. ")
 172     else:
 173         logger.debug("Existing networks:")
 174         for network in networks:
 175             net_id = network['id']
 176             net_name = network['name']
 177             logger.debug(" '%s', ID=%s " % (net_name, net_id))
 178             if (net_id in default_networks and
 179                     net_name in default_networks.values()):
 180                 logger.debug("   > this is a default network and will "
 181                              "NOT be deleted.")
 182             elif network['router:external'] is True:
 183                 logger.debug("   > this is an external network and will "
 184                              "NOT be deleted.")
 185             else:
 186                 logger.debug("   > this network will be deleted.")
 187                 network_ids.append(net_id)
 188
 189     # delete ports
 190     ports = os_utils.get_port_list(neutron_client)
 191     if ports is None:
 192         logger.debug("There are no ports in the deployment. ")
 193     else:
 194         remove_ports(neutron_client, ports, network_ids)
 195
 196     # remove routers
 197     routers = os_utils.get_router_list(neutron_client)
 198     if routers is None:
 199         logger.debug("There are no routers in the deployment. ")
 200     else:
 201         remove_routers(neutron_client, routers, default_routers)
 202
 203     # trozet: wait for Neutron to auto-cleanup HA networks when HA router is
 204     #  deleted
 205     time.sleep(5)
 206
 207     # remove networks
 208     if network_ids is not None:
 209         for net_id in network_ids:
 210             networks = os_utils.get_network_list(neutron_client)
 211             if networks is None:
 212                 logger.debug("No networks left to remove")
 213                 break
 214             elif not any(network['id'] == net_id for network in networks):
 215                 logger.debug("Network %s has already been removed" % net_id)
 216                 continue
 217             logger.debug("Removing network %s ..." % net_id)
 218             if os_utils.delete_neutron_net(neutron_client, net_id):
 219                 logger.debug("  > Done!")
 220             else:
 221                 logger.error("There has been a problem removing the "
 222                              "network %s..." % net_id)
 223
 224
 225 def remove_ports(neutron_client, ports, network_ids):
 226     for port in ports:
 227         if port['network_id'] in network_ids:
 228             port_id = port['id']
 229             try:
 230                 subnet_id = port['fixed_ips'][0]['subnet_id']
 231             except:
 232                 logger.debug("  > WARNING: Port %s does not contain fixed_ips"
 233                              % port_id)
 234                 logger.info(port)
 235             router_id = port['device_id']
 236             if len(port['fixed_ips']) == 0 and router_id == '':
 237                 logger.debug("Removing port %s ..." % port_id)
 238                 if (os_utils.delete_neutron_port(neutron_client, port_id)):
 239                     logger.debug("  > Done!")
 240                 else:
 241                     logger.error("There has been a problem removing the "
 242                                  "port %s ..." % port_id)
 243                     force_remove_port(neutron_client, port_id)
 244
 245             elif port['device_owner'] == 'network:router_interface':
 246                 logger.debug("Detaching port %s (subnet %s) from router %s ..."
 247                              % (port_id, subnet_id, router_id))
 248                 if os_utils.remove_interface_router(
 249                         neutron_client, router_id, subnet_id):
 250                     time.sleep(5)  # leave 5 seconds to detach
 251                     logger.debug("  > Done!")
 252                 else:
 253                     logger.error("There has been a problem removing the "
 254                                  "interface %s from router %s..."
 255                                  % (subnet_id, router_id))
 256                     force_remove_port(neutron_client, port_id)
 257             else:
 258                 force_remove_port(neutron_client, port_id)
 259
 260
 261 def force_remove_port(neutron_client, port_id):
 262     logger.debug("Clearing device_owner for port %s ..." % port_id)
 263     os_utils.update_neutron_port(neutron_client, port_id,
 264                                  device_owner='clear')
 265     logger.debug("Removing port %s ..." % port_id)
 266     if os_utils.delete_neutron_port(neutron_client, port_id):
 267         logger.debug("  > Done!")
 268     else:
 269         logger.error("There has been a problem removing the port %s..."
 270                      % port_id)
 271
 272
 273 def remove_routers(neutron_client, routers, default_routers):
 274     for router in routers:
 275         router_id = router['id']
 276         router_name = router['name']
 277         if (router_id not in default_routers and
 278                 router_name not in default_routers.values()):
 279             logger.debug("Checking '%s' with ID=(%s) ..." % (router_name,
 280                                                              router_id))
 281             if router['external_gateway_info'] is not None:
 282                 logger.debug("Router has gateway to external network."
 283                              "Removing link...")
 284                 if os_utils.remove_gateway_router(neutron_client, router_id):
 285                     logger.debug("  > Done!")
 286                 else:
 287                     logger.error("There has been a problem removing "
 288                                  "the gateway...")
 289             else:
 290                 logger.debug("Router is not connected to anything."
 291                              "Ready to remove...")
 292             logger.debug("Removing router %s(%s) ..."
 293                          % (router_name, router_id))
 294             if os_utils.delete_neutron_router(neutron_client, router_id):
 295                 logger.debug("  > Done!")
 296             else:
 297                 logger.error("There has been a problem removing the "
 298                              "router '%s'(%s)..." % (router_name, router_id))
 299
 300
 301 def remove_security_groups(neutron_client, default_security_groups):
 302     logger.debug("Removing Security groups...")
 303     secgroups = os_utils.get_security_groups(neutron_client)
 304     if secgroups is None or len(secgroups) == 0:
 305         logger.debug("No security groups found.")
 306         return
 307
 308     for secgroup in secgroups:
 309         secgroup_name = secgroup['name']
 310         secgroup_id = secgroup['id']
 311         logger.debug("'%s', ID=%s " % (secgroup_name, secgroup_id))
 312         if secgroup_id not in default_security_groups:
 313             logger.debug(" Removing '%s'..." % secgroup_name)
 314             if os_utils.delete_security_group(neutron_client, secgroup_id):
 315                 logger.debug("  > Done!")
 316             else:
 317                 logger.error("There has been a problem removing the "
 318                              "security group %s..." % secgroup_id)
 319         else:
 320             logger.debug("   > this is a default security group and will NOT "
 321                          "be deleted.")
 322
 323
 324 def remove_users(keystone_client, default_users):
 325     logger.debug("Removing Users...")
 326     users = os_utils.get_users(keystone_client)
 327     if users is None:
 328         logger.debug("There are no users in the deployment. ")
 329         return
 330
 331     for user in users:
 332         user_name = getattr(user, 'name')
 333         user_id = getattr(user, 'id')
 334         logger.debug("'%s', ID=%s " % (user_name, user_id))
 335         if (user_id not in default_users and
 336                 user_name not in default_users.values()):
 337             logger.debug(" Removing '%s'..." % user_name)
 338             if os_utils.delete_user(keystone_client, user_id):
 339                 logger.debug("  > Done!")
 340             else:
 341                 logger.error("There has been a problem removing the "
 342                              "user '%s'(%s)..." % (user_name, user_id))
 343         else:
 344             logger.debug("   > this is a default user and will "
 345                          "NOT be deleted.")
 346
 347
 348 def remove_tenants(keystone_client, default_tenants):
 349     logger.debug("Removing Tenants...")
 350     tenants = os_utils.get_tenants(keystone_client)
 351     if tenants is None:
 352         logger.debug("There are no tenants in the deployment. ")
 353         return
 354
 355     for tenant in tenants:
 356         tenant_name = getattr(tenant, 'name')
 357         tenant_id = getattr(tenant, 'id')
 358         logger.debug("'%s', ID=%s " % (tenant_name, tenant_id))
 359         if (tenant_id not in default_tenants and
 360                 tenant_name not in default_tenants.values()):
 361             logger.debug(" Removing '%s'..." % tenant_name)
 362             if os_utils.delete_tenant(keystone_client, tenant_id):
 363                 logger.debug("  > Done!")
 364             else:
 365                 logger.error("There has been a problem removing the "
 366                              "tenant '%s'(%s)..." % (tenant_name, tenant_id))
 367         else:
 368             logger.debug("   > this is a default tenant and will "
 369                          "NOT be deleted.")
 370
 371
 372 def main():
 373     logger.info("Cleaning OpenStack resources...")
 374
 375     nova_client = os_utils.get_nova_client()
 376     neutron_client = os_utils.get_neutron_client()
 377     keystone_client = os_utils.get_keystone_client()
 378     cinder_client = os_utils.get_cinder_client()
 379
 380     try:
 381         with open(OS_SNAPSHOT_FILE) as f:
 382             snapshot_yaml = yaml.safe_load(f)
 383     except Exception:
 384         logger.info("The file %s does not exist. The OpenStack snapshot must"
 385                     " be created first. Aborting cleanup." % OS_SNAPSHOT_FILE)
 386         exit(0)
 387
 388     default_images = snapshot_yaml.get('images')
 389     default_instances = snapshot_yaml.get('instances')
 390     default_volumes = snapshot_yaml.get('volumes')
 391     default_networks = snapshot_yaml.get('networks')
 392     default_routers = snapshot_yaml.get('routers')
 393     default_security_groups = snapshot_yaml.get('secgroups')
 394     default_floatingips = snapshot_yaml.get('floatingips')
 395     default_users = snapshot_yaml.get('users')
 396     default_tenants = snapshot_yaml.get('tenants')
 397
 398     if not os_utils.check_credentials():
 399         logger.error("Please source the openrc credentials and run "
 400                      "the script again.")
 401         exit(-1)
 402
 403     remove_instances(nova_client, default_instances)
 404     separator()
 405     remove_images(nova_client, default_images)
 406     separator()
 407     remove_volumes(cinder_client, default_volumes)
 408     separator()
 409     remove_floatingips(nova_client, default_floatingips)
 410     separator()
 411     remove_networks(neutron_client, default_networks, default_routers)
 412     separator()
 413     remove_security_groups(neutron_client, default_security_groups)
 414     separator()
 415     remove_users(keystone_client, default_users)
 416     separator()
 417     remove_tenants(keystone_client, default_tenants)
 418     separator()
 419
 420
 421 if __name__ == '__main__':
 422     main()