utils/openstack_clean.py

   1 #!/usr/bin/env python
   2 #
   3 # Description:
   4 #   Cleans possible leftovers after running functest tests:
   5 #       - Nova instances
   6 #       - Glance images
   7 #       - Cinder volumes
   8 #       - Floating IPs
   9 #       - Neutron networks, subnets and ports
  10 #       - Routers
  11 #       - Users and tenants
  12 #
  13 # Author:
  14 #    jose.lausuch@ericsson.com
  15 #
  16 #
  17 # All rights reserved. This program and the accompanying materials
  18 # are made available under the terms of the Apache License, Version 2.0
  19 # which accompanies this distribution, and is available at
  20 # http://www.apache.org/licenses/LICENSE-2.0
  21 #
  22
  23 import time
  24 import functest.utils.functest_logger as ft_logger
  25 import functest.utils.functest_utils as ft_utils
  26 import functest.utils.openstack_utils as os_utils
  27 import yaml
  28
  29
  30 logger = ft_logger.Logger("openstack_clean").getLogger()
  31
  32 OS_SNAPSHOT_FILE = ft_utils.get_parameter_from_yaml(
  33     "general.openstack.snapshot_file")
  34
  35
  36 def separator():
  37     logger.debug("-------------------------------------------")
  38
  39
  40 def remove_instances(nova_client, default_instances):
  41     logger.debug("Removing Nova instances...")
  42     instances = os_utils.get_instances(nova_client)
  43     if instances is None or len(instances) == 0:
  44         logger.debug("No instances found.")
  45         return
  46
  47     for instance in instances:
  48         instance_name = getattr(instance, 'name')
  49         instance_id = getattr(instance, 'id')
  50         logger.debug("'%s', ID=%s " % (instance_name, instance_id))
  51         if (instance_id not in default_instances and
  52                 instance_name not in default_instances.values()):
  53             logger.debug("Removing instance '%s' ..." % instance_id)
  54             if os_utils.delete_instance(nova_client, instance_id):
  55                 logger.debug("  > Request sent.")
  56             else:
  57                 logger.error("There has been a problem removing the "
  58                              "instance %s..." % instance_id)
  59         else:
  60             logger.debug("   > this is a default instance and will "
  61                          "NOT be deleted.")
  62
  63     timeout = 50
  64     while timeout > 0:
  65         instances = os_utils.get_instances(nova_client)
  66         for instance in instances:
  67             instance_id = getattr(instance, 'id')
  68             if instance_id not in default_instances:
  69                 logger.debug("Waiting for instances to be terminated...")
  70                 timeout -= 1
  71                 time.sleep(1)
  72                 continue
  73         break
  74
  75
  76 def remove_images(nova_client, default_images):
  77     logger.debug("Removing Glance images...")
  78     images = os_utils.get_images(nova_client)
  79     if images is None or len(images) == 0:
  80         logger.debug("No images found.")
  81         return
  82
  83     for image in images:
  84         image_name = getattr(image, 'name')
  85         image_id = getattr(image, 'id')
  86         logger.debug("'%s', ID=%s " % (image_name, image_id))
  87         if (image_id not in default_images and
  88                 image_name not in default_images.values()):
  89             logger.debug("Removing image '%s', ID=%s ..."
  90                          % (image_name, image_id))
  91             if os_utils.delete_glance_image(nova_client, image_id):
  92                 logger.debug("  > Done!")
  93             else:
  94                 logger.error("There has been a problem removing the"
  95                              "image %s..." % image_id)
  96         else:
  97             logger.debug("   > this is a default image and will "
  98                          "NOT be deleted.")
  99
 100
 101 def remove_volumes(cinder_client, default_volumes):
 102     logger.debug("Removing Cinder volumes...")
 103     volumes = os_utils.get_volumes(cinder_client)
 104     if volumes is None or len(volumes) == 0:
 105         logger.debug("No volumes found.")
 106         return
 107
 108     for volume in volumes:
 109         volume_id = getattr(volume, 'id')
 110         volume_name = getattr(volume, 'display_name')
 111         logger.debug("'%s', ID=%s " % (volume_name, volume_id))
 112         if (volume_id not in default_volumes and
 113                 volume_name not in default_volumes.values()):
 114             logger.debug("Removing cinder volume %s ..." % volume_id)
 115             if os_utils.delete_volume(cinder_client, volume_id):
 116                 logger.debug("  > Done!")
 117             else:
 118                 logger.debug("Trying forced removal...")
 119                 if os_utils.delete_volume(cinder_client,
 120                                           volume_id,
 121                                           forced=True):
 122                     logger.debug("  > Done!")
 123                 else:
 124                     logger.error("There has been a problem removing the "
 125                                  "volume %s..." % volume_id)
 126         else:
 127             logger.debug("   > this is a default volume and will "
 128                          "NOT be deleted.")
 129
 130
 131 def remove_floatingips(nova_client, default_floatingips):
 132     logger.debug("Removing floating IPs...")
 133     floatingips = os_utils.get_floating_ips(nova_client)
 134     if floatingips is None or len(floatingips) == 0:
 135         logger.debug("No floating IPs found.")
 136         return
 137
 138     init_len = len(floatingips)
 139     deleted = 0
 140     for fip in floatingips:
 141         fip_id = getattr(fip, 'id')
 142         fip_ip = getattr(fip, 'ip')
 143         logger.debug("'%s', ID=%s " % (fip_ip, fip_id))
 144         if (fip_id not in default_floatingips and
 145                 fip_ip not in default_floatingips.values()):
 146             logger.debug("Removing floating IP %s ..." % fip_id)
 147             if os_utils.delete_floating_ip(nova_client, fip_id):
 148                 logger.debug("  > Done!")
 149                 deleted += 1
 150             else:
 151                 logger.error("There has been a problem removing the "
 152                              "floating IP %s..." % fip_id)
 153         else:
 154             logger.debug("   > this is a default floating IP and will "
 155                          "NOT be deleted.")
 156
 157     timeout = 50
 158     while timeout > 0:
 159         floatingips = os_utils.get_floating_ips(nova_client)
 160         if floatingips is None or len(floatingips) == (init_len - deleted):
 161             break
 162         else:
 163             logger.debug("Waiting for floating ips to be released...")
 164             timeout -= 1
 165             time.sleep(1)
 166
 167
 168 def remove_networks(neutron_client, default_networks, default_routers):
 169     logger.debug("Removing Neutron objects")
 170     network_ids = []
 171     networks = os_utils.get_network_list(neutron_client)
 172     if networks is None:
 173         logger.debug("There are no networks in the deployment. ")
 174     else:
 175         logger.debug("Existing networks:")
 176         for network in networks:
 177             net_id = network['id']
 178             net_name = network['name']
 179             logger.debug(" '%s', ID=%s " % (net_name, net_id))
 180             if (net_id in default_networks and
 181                     net_name in default_networks.values()):
 182                 logger.debug("   > this is a default network and will "
 183                              "NOT be deleted.")
 184             elif network['router:external'] is True:
 185                 logger.debug("   > this is an external network and will "
 186                              "NOT be deleted.")
 187             else:
 188                 logger.debug("   > this network will be deleted.")
 189                 network_ids.append(net_id)
 190
 191     # delete ports
 192     ports = os_utils.get_port_list(neutron_client)
 193     if ports is None:
 194         logger.debug("There are no ports in the deployment. ")
 195     else:
 196         remove_ports(neutron_client, ports, network_ids)
 197
 198     # remove routers
 199     routers = os_utils.get_router_list(neutron_client)
 200     if routers is None:
 201         logger.debug("There are no routers in the deployment. ")
 202     else:
 203         remove_routers(neutron_client, routers, default_routers)
 204
 205     # trozet: wait for Neutron to auto-cleanup HA networks when HA router is
 206     #  deleted
 207     time.sleep(5)
 208
 209     # remove networks
 210     if network_ids is not None:
 211         for net_id in network_ids:
 212             networks = os_utils.get_network_list(neutron_client)
 213             if networks is None:
 214                 logger.debug("No networks left to remove")
 215                 break
 216             elif not any(network['id'] == net_id for network in networks):
 217                 logger.debug("Network %s has already been removed" % net_id)
 218                 continue
 219             logger.debug("Removing network %s ..." % net_id)
 220             if os_utils.delete_neutron_net(neutron_client, net_id):
 221                 logger.debug("  > Done!")
 222             else:
 223                 logger.error("There has been a problem removing the "
 224                              "network %s..." % net_id)
 225
 226
 227 def remove_ports(neutron_client, ports, network_ids):
 228     for port in ports:
 229         if port['network_id'] in network_ids:
 230             port_id = port['id']
 231             try:
 232                 subnet_id = port['fixed_ips'][0]['subnet_id']
 233             except:
 234                 logger.debug("  > WARNING: Port %s does not contain fixed_ips"
 235                              % port_id)
 236                 logger.info(port)
 237             router_id = port['device_id']
 238             if len(port['fixed_ips']) == 0 and router_id == '':
 239                 logger.debug("Removing port %s ..." % port_id)
 240                 if (os_utils.delete_neutron_port(neutron_client, port_id)):
 241                     logger.debug("  > Done!")
 242                 else:
 243                     logger.error("There has been a problem removing the "
 244                                  "port %s ..." % port_id)
 245                     force_remove_port(neutron_client, port_id)
 246
 247             elif port['device_owner'] == 'network:router_interface':
 248                 logger.debug("Detaching port %s (subnet %s) from router %s ..."
 249                              % (port_id, subnet_id, router_id))
 250                 if os_utils.remove_interface_router(
 251                         neutron_client, router_id, subnet_id):
 252                     time.sleep(5)  # leave 5 seconds to detach
 253                     logger.debug("  > Done!")
 254                 else:
 255                     logger.error("There has been a problem removing the "
 256                                  "interface %s from router %s..."
 257                                  % (subnet_id, router_id))
 258                     force_remove_port(neutron_client, port_id)
 259             else:
 260                 force_remove_port(neutron_client, port_id)
 261
 262
 263 def force_remove_port(neutron_client, port_id):
 264     logger.debug("Clearing device_owner for port %s ..." % port_id)
 265     os_utils.update_neutron_port(neutron_client, port_id,
 266                                  device_owner='clear')
 267     logger.debug("Removing port %s ..." % port_id)
 268     if os_utils.delete_neutron_port(neutron_client, port_id):
 269         logger.debug("  > Done!")
 270     else:
 271         logger.error("There has been a problem removing the port %s..."
 272                      % port_id)
 273
 274
 275 def remove_routers(neutron_client, routers, default_routers):
 276     for router in routers:
 277         router_id = router['id']
 278         router_name = router['name']
 279         if (router_id not in default_routers and
 280                 router_name not in default_routers.values()):
 281             logger.debug("Checking '%s' with ID=(%s) ..." % (router_name,
 282                                                              router_id))
 283             if router['external_gateway_info'] is not None:
 284                 logger.debug("Router has gateway to external network."
 285                              "Removing link...")
 286                 if os_utils.remove_gateway_router(neutron_client, router_id):
 287                     logger.debug("  > Done!")
 288                 else:
 289                     logger.error("There has been a problem removing "
 290                                  "the gateway...")
 291             else:
 292                 logger.debug("Router is not connected to anything."
 293                              "Ready to remove...")
 294             logger.debug("Removing router %s(%s) ..."
 295                          % (router_name, router_id))
 296             if os_utils.delete_neutron_router(neutron_client, router_id):
 297                 logger.debug("  > Done!")
 298             else:
 299                 logger.error("There has been a problem removing the "
 300                              "router '%s'(%s)..." % (router_name, router_id))
 301
 302
 303 def remove_security_groups(neutron_client, default_security_groups):
 304     logger.debug("Removing Security groups...")
 305     secgroups = os_utils.get_security_groups(neutron_client)
 306     if secgroups is None or len(secgroups) == 0:
 307         logger.debug("No security groups found.")
 308         return
 309
 310     for secgroup in secgroups:
 311         secgroup_name = secgroup['name']
 312         secgroup_id = secgroup['id']
 313         logger.debug("'%s', ID=%s " % (secgroup_name, secgroup_id))
 314         if secgroup_id not in default_security_groups:
 315             logger.debug(" Removing '%s'..." % secgroup_name)
 316             if os_utils.delete_security_group(neutron_client, secgroup_id):
 317                 logger.debug("  > Done!")
 318             else:
 319                 logger.error("There has been a problem removing the "
 320                              "security group %s..." % secgroup_id)
 321         else:
 322             logger.debug("   > this is a default security group and will NOT "
 323                          "be deleted.")
 324
 325
 326 def remove_users(keystone_client, default_users):
 327     logger.debug("Removing Users...")
 328     users = os_utils.get_users(keystone_client)
 329     if users is None:
 330         logger.debug("There are no users in the deployment. ")
 331         return
 332
 333     for user in users:
 334         user_name = getattr(user, 'name')
 335         user_id = getattr(user, 'id')
 336         logger.debug("'%s', ID=%s " % (user_name, user_id))
 337         if (user_id not in default_users and
 338                 user_name not in default_users.values()):
 339             logger.debug(" Removing '%s'..." % user_name)
 340             if os_utils.delete_user(keystone_client, user_id):
 341                 logger.debug("  > Done!")
 342             else:
 343                 logger.error("There has been a problem removing the "
 344                              "user '%s'(%s)..." % (user_name, user_id))
 345         else:
 346             logger.debug("   > this is a default user and will "
 347                          "NOT be deleted.")
 348
 349
 350 def remove_tenants(keystone_client, default_tenants):
 351     logger.debug("Removing Tenants...")
 352     tenants = os_utils.get_tenants(keystone_client)
 353     if tenants is None:
 354         logger.debug("There are no tenants in the deployment. ")
 355         return
 356
 357     for tenant in tenants:
 358         tenant_name = getattr(tenant, 'name')
 359         tenant_id = getattr(tenant, 'id')
 360         logger.debug("'%s', ID=%s " % (tenant_name, tenant_id))
 361         if (tenant_id not in default_tenants and
 362                 tenant_name not in default_tenants.values()):
 363             logger.debug(" Removing '%s'..." % tenant_name)
 364             if os_utils.delete_tenant(keystone_client, tenant_id):
 365                 logger.debug("  > Done!")
 366             else:
 367                 logger.error("There has been a problem removing the "
 368                              "tenant '%s'(%s)..." % (tenant_name, tenant_id))
 369         else:
 370             logger.debug("   > this is a default tenant and will "
 371                          "NOT be deleted.")
 372
 373
 374 def main():
 375     logger.info("Cleaning OpenStack resources...")
 376
 377     nova_client = os_utils.get_nova_client()
 378     neutron_client = os_utils.get_neutron_client()
 379     keystone_client = os_utils.get_keystone_client()
 380     cinder_client = os_utils.get_cinder_client()
 381
 382     try:
 383         with open(OS_SNAPSHOT_FILE) as f:
 384             snapshot_yaml = yaml.safe_load(f)
 385     except Exception:
 386         logger.info("The file %s does not exist. The OpenStack snapshot must"
 387                     " be created first. Aborting cleanup." % OS_SNAPSHOT_FILE)
 388         exit(0)
 389
 390     default_images = snapshot_yaml.get('images')
 391     default_instances = snapshot_yaml.get('instances')
 392     default_volumes = snapshot_yaml.get('volumes')
 393     default_networks = snapshot_yaml.get('networks')
 394     default_routers = snapshot_yaml.get('routers')
 395     default_security_groups = snapshot_yaml.get('secgroups')
 396     default_floatingips = snapshot_yaml.get('floatingips')
 397     default_users = snapshot_yaml.get('users')
 398     default_tenants = snapshot_yaml.get('tenants')
 399
 400     if not os_utils.check_credentials():
 401         logger.error("Please source the openrc credentials and run "
 402                      "the script again.")
 403         exit(-1)
 404
 405     remove_instances(nova_client, default_instances)
 406     separator()
 407     remove_images(nova_client, default_images)
 408     separator()
 409     remove_volumes(cinder_client, default_volumes)
 410     separator()
 411     remove_floatingips(nova_client, default_floatingips)
 412     separator()
 413     remove_networks(neutron_client, default_networks, default_routers)
 414     separator()
 415     remove_security_groups(neutron_client, default_security_groups)
 416     separator()
 417     remove_users(keystone_client, default_users)
 418     separator()
 419     remove_tenants(keystone_client, default_tenants)
 420     separator()
 421
 422
 423 if __name__ == '__main__':
 424     main()