apex/tests/test_apex_overcloud_deploy.py

   1 ##############################################################################
   2 # Copyright (c) 2016 Dan Radez (dradez@redhat.com) (Red Hat)
   3 #
   4 # All rights reserved. This program and the accompanying materials
   5 # are made available under the terms of the Apache License, Version 2.0
   6 # which accompanies this distribution, and is available at
   7 # http://www.apache.org/licenses/LICENSE-2.0
   8 ##############################################################################
   9
  10 import os
  11 import sys
  12 import unittest
  13
  14 from mock import patch
  15 from mock import MagicMock
  16 from mock import mock_open
  17 from io import StringIO
  18
  19 from apex.common import constants as con
  20 from apex.common.exceptions import ApexDeployException
  21 from apex.overcloud.deploy import build_sdn_env_list
  22 from apex.overcloud.deploy import create_deploy_cmd
  23 from apex.overcloud.deploy import prep_image
  24 from apex.overcloud.deploy import make_ssh_key
  25 from apex.overcloud.deploy import prep_env
  26 from apex.overcloud.deploy import generate_ceph_key
  27 from apex.overcloud.deploy import prep_storage_env
  28 from apex.overcloud.deploy import external_network_cmds
  29 from apex.overcloud.deploy import create_congress_cmds
  30 from apex.overcloud.deploy import SDN_FILE_MAP
  31
  32 from nose.tools import (
  33     assert_regexp_matches,
  34     assert_raises,
  35     assert_in,
  36     assert_not_in,
  37     assert_greater,
  38     assert_equal)
  39
  40
  41 class TestOvercloudDeploy(unittest.TestCase):
  42     @classmethod
  43     def setup_class(cls):
  44         """This method is run once for each class before any tests are run"""
  45
  46     @classmethod
  47     def teardown_class(cls):
  48         """This method is run once for each class _after_ all tests are run"""
  49
  50     def setup(self):
  51         """This method is run once before _each_ test method is executed"""
  52
  53     def teardown(self):
  54         """This method is run once after _each_ test method is executed"""
  55
  56     def test_build_sdn_env_list(self):
  57         ds = {'sdn_controller': 'opendaylight'}
  58         sdn_map = {'opendaylight': 'test'}
  59         res = '/usr/share/openstack-tripleo-heat-templates/environments/test'
  60         assert_equal(build_sdn_env_list(ds, sdn_map), [res])
  61
  62     def test_build_sdn_env_list_dict(self):
  63         ds = {'opendaylight': True,
  64               'sdn_controller': None}
  65         sdn_map = {'opendaylight': {}}
  66         assert_equal(build_sdn_env_list(ds, sdn_map), [])
  67
  68     def test_build_sdn_env_list_tuple(self):
  69         ds = {'opendaylight': 'test',
  70               'sdn_controller': None}
  71         sdn_map = {'opendaylight': ('test', 'test')}
  72         res = '/usr/share/openstack-tripleo-heat-templates/environments/test'
  73         assert_equal(build_sdn_env_list(ds, sdn_map), [res])
  74
  75     def test_build_sdn_env_list_with_default(self):
  76         ds = {'sdn_controller': 'opendaylight',
  77               'vpn': True}
  78         prefix = '/usr/share/openstack-tripleo-heat-templates/environments'
  79         res = [os.path.join(prefix, 'neutron-opendaylight.yaml'),
  80                os.path.join(prefix, 'neutron-bgpvpn-opendaylight.yaml')]
  81         assert_equal(build_sdn_env_list(ds, SDN_FILE_MAP), res)
  82
  83     @patch('apex.overcloud.deploy.prep_storage_env')
  84     @patch('apex.overcloud.deploy.build_sdn_env_list')
  85     @patch('builtins.open', mock_open())
  86     def test_create_deploy_cmd(self, mock_sdn_list, mock_prep_storage):
  87         mock_sdn_list.return_value = []
  88         ds = {'deploy_options': MagicMock(),
  89               'global_params': MagicMock()}
  90         ds['global_params'].__getitem__.side_effect = \
  91             lambda i: True if i == 'ha_enabled' else MagicMock()
  92         ds['deploy_options'].__getitem__.side_effect = \
  93             lambda i: True if i == 'congress' else MagicMock()
  94         ds['deploy_options'].__contains__.side_effect = \
  95             lambda i: True if i == 'congress' else MagicMock()
  96         ns = {'ntp': ['ntp']}
  97         inv = MagicMock()
  98         inv.get_node_counts.return_value = (3, 2)
  99         virt = True
 100         result_cmd = create_deploy_cmd(ds, ns, inv, '/tmp', virt)
 101         assert_in('--ntp-server ntp', result_cmd)
 102         assert_in('enable_tacker.yaml', result_cmd)
 103         assert_in('enable_congress.yaml', result_cmd)
 104         assert_in('enable_barometer.yaml', result_cmd)
 105         assert_in('virtual-environment.yaml', result_cmd)
 106         assert_in('--control-scale 3', result_cmd)
 107         assert_in('--compute-scale 2', result_cmd)
 108
 109     @patch('apex.overcloud.deploy.prep_storage_env')
 110     @patch('apex.overcloud.deploy.build_sdn_env_list')
 111     @patch('builtins.open', mock_open())
 112     def test_create_deploy_cmd_no_ha_bm(self, mock_sdn_list,
 113                                         mock_prep_storage):
 114         mock_sdn_list.return_value = []
 115         ds = {'deploy_options': MagicMock(),
 116               'global_params': MagicMock()}
 117         ds['global_params'].__getitem__.side_effect = \
 118             lambda i: False if i == 'ha_enabled' else MagicMock()
 119         ns = {'ntp': ['ntp']}
 120         inv = MagicMock()
 121         inv.get_node_counts.return_value = (3, 2)
 122         virt = False
 123         result_cmd = create_deploy_cmd(ds, ns, inv, '/tmp', virt)
 124         assert_in('--ntp-server ntp', result_cmd)
 125         assert_in('--control-scale 1', result_cmd)
 126         assert_in('--compute-scale 2', result_cmd)
 127         assert_in('baremetal-environment.yaml', result_cmd)
 128         assert_not_in('enable_tacker.yaml', result_cmd)
 129         assert_not_in('enable_congress.yaml', result_cmd)
 130         assert_not_in('enable_barometer.yaml', result_cmd)
 131
 132     @patch('apex.overcloud.deploy.prep_storage_env')
 133     @patch('apex.overcloud.deploy.build_sdn_env_list')
 134     def test_create_deploy_cmd_raises(self, mock_sdn_list, mock_prep_storage):
 135         mock_sdn_list.return_value = []
 136         ds = {'deploy_options': MagicMock(),
 137               'global_params': MagicMock()}
 138         ns = {}
 139         inv = MagicMock()
 140         inv.get_node_counts.return_value = (0, 0)
 141         virt = False
 142         assert_raises(ApexDeployException, create_deploy_cmd,
 143                       ds, ns, inv, '/tmp', virt)
 144
 145     @patch('apex.overcloud.deploy.virt_utils')
 146     @patch('apex.overcloud.deploy.shutil')
 147     @patch('apex.overcloud.deploy.os.path')
 148     @patch('builtins.open', mock_open())
 149     def test_prep_image(self, mock_os_path, mock_shutil, mock_virt_utils):
 150         ds_opts = {'dataplane': 'fdio',
 151                    'sdn_controller': 'opendaylight',
 152                    'odl_version': 'master'}
 153         ds = {'deploy_options': MagicMock(),
 154               'global_params': MagicMock()}
 155         ds['deploy_options'].__getitem__.side_effect = \
 156             lambda i: ds_opts.get(i, MagicMock())
 157         prep_image(ds, 'undercloud.qcow2', '/tmp', root_pw='test')
 158         mock_virt_utils.virt_customize.assert_called()
 159
 160     @patch('apex.overcloud.deploy.virt_utils')
 161     @patch('apex.overcloud.deploy.shutil')
 162     @patch('apex.overcloud.deploy.os.path')
 163     @patch('builtins.open', mock_open())
 164     def test_prep_image_sdn_false(self, mock_os_path, mock_shutil,
 165                                   mock_virt_utils):
 166         ds_opts = {'dataplane': 'fdio',
 167                    'sdn_controller': False}
 168         ds = {'deploy_options': MagicMock(),
 169               'global_params': MagicMock()}
 170         ds['deploy_options'].__getitem__.side_effect = \
 171             lambda i: ds_opts.get(i, MagicMock())
 172         prep_image(ds, 'undercloud.qcow2', '/tmp', root_pw='test')
 173         mock_virt_utils.virt_customize.assert_called()
 174
 175     @patch('apex.overcloud.deploy.virt_utils')
 176     @patch('apex.overcloud.deploy.shutil')
 177     @patch('apex.overcloud.deploy.os.path')
 178     @patch('builtins.open', mock_open())
 179     def test_prep_image_sdn_odl(self, mock_os_path, mock_shutil,
 180                                 mock_virt_utils):
 181         ds_opts = {'dataplane': 'ovs',
 182                    'sdn_controller': 'opendaylight',
 183                    'odl_version': con.DEFAULT_ODL_VERSION,
 184                    'odl_vpp_netvirt': True}
 185         ds = {'deploy_options': MagicMock(),
 186               'global_params': MagicMock()}
 187         ds['deploy_options'].__getitem__.side_effect = \
 188             lambda i: ds_opts.get(i, MagicMock())
 189         ds['deploy_options'].__contains__.side_effect = \
 190             lambda i: True if i in ds_opts else MagicMock()
 191         prep_image(ds, 'undercloud.qcow2', '/tmp', root_pw='test')
 192         mock_virt_utils.virt_customize.assert_called()
 193
 194     @patch('apex.overcloud.deploy.virt_utils')
 195     @patch('apex.overcloud.deploy.shutil')
 196     @patch('apex.overcloud.deploy.os.path')
 197     @patch('builtins.open', mock_open())
 198     def test_prep_image_sdn_odl_not_def(self, mock_os_path,
 199                                         mock_shutil, mock_virt_utils):
 200         ds_opts = {'dataplane': 'ovs',
 201                    'sdn_controller': 'opendaylight',
 202                    'odl_version': 'uncommon'}
 203         ds = {'deploy_options': MagicMock(),
 204               'global_params': MagicMock()}
 205         ds['deploy_options'].__getitem__.side_effect = \
 206             lambda i: ds_opts.get(i, MagicMock())
 207         prep_image(ds, 'undercloud.qcow2', '/tmp', root_pw='test')
 208         mock_virt_utils.virt_customize.assert_called()
 209
 210     @patch('apex.overcloud.deploy.virt_utils')
 211     @patch('apex.overcloud.deploy.shutil')
 212     @patch('apex.overcloud.deploy.os.path')
 213     @patch('builtins.open', mock_open())
 214     def test_prep_image_sdn_ovn(self, mock_os_path, mock_shutil,
 215                                 mock_virt_utils):
 216         ds_opts = {'dataplane': 'ovs',
 217                    'sdn_controller': 'ovn'}
 218         ds = {'deploy_options': MagicMock(),
 219               'global_params': MagicMock()}
 220         ds['deploy_options'].__getitem__.side_effect = \
 221             lambda i: ds_opts.get(i, MagicMock())
 222         prep_image(ds, 'undercloud.qcow2', '/tmp', root_pw='test')
 223         mock_virt_utils.virt_customize.assert_called()
 224
 225     @patch('apex.overcloud.deploy.os.path.isfile')
 226     def test_prep_image_no_image(self, mock_isfile):
 227         mock_isfile.return_value = False
 228         assert_raises(ApexDeployException, prep_image,
 229                       {}, 'undercloud.qcow2', '/tmp')
 230
 231     def test_make_ssh_key(self):
 232         priv, pub = make_ssh_key()
 233         assert_in('-----BEGIN PRIVATE KEY-----', priv)
 234         assert_in('ssh-rsa', pub)
 235
 236     @patch('apex.overcloud.deploy.fileinput')
 237     @patch('apex.overcloud.deploy.shutil')
 238     def test_prep_env(self, mock_shutil, mock_fileinput):
 239         mock_fileinput.input.return_value = \
 240             ['CloudDomain', 'replace_private_key', 'replace_public_key',
 241              'opendaylight::vpp_routing_node', 'ControllerExtraConfig',
 242              'NovaComputeExtraConfig', 'ComputeKernelArgs', 'HostCpusList',
 243              'ComputeExtraConfigPre', 'resource_registry',
 244              'NovaSchedulerDefaultFilters']
 245         ds = {'deploy_options':
 246               {'sdn_controller': 'opendaylight',
 247                'odl_vpp_routing_node': 'test',
 248                'dataplane': 'ovs_dpdk',
 249                'performance': {'Compute': {'vpp': {'main-core': 'test',
 250                                                    'corelist-workers': 'test'},
 251                                            'ovs': {'dpdk_cores': 'test'},
 252                                            'kernel': {'test': 'test'}},
 253                                'Controller': {'vpp': 'test'}}}}
 254         ns = {'domain_name': 'test.domain',
 255               'networks':
 256               {'tenant':
 257                {'nic_mapping': {'controller':
 258                                 {'members': ['tenant_nic']},
 259                                 'compute':
 260                                 {'members': ['tenant_nic']}}},
 261                'external':
 262                [{'nic_mapping': {'controller':
 263                                  {'members': ['ext_nic']},
 264                                  'compute':
 265                                  {'members': ['ext_nic']}}}]}}
 266         inv = None
 267         try:
 268             # Swap stdout
 269             saved_stdout = sys.stdout
 270             out = StringIO()
 271             sys.stdout = out
 272             # run test
 273             prep_env(ds, ns, inv, 'opnfv-env.yml', '/net-env.yml', '/tmp')
 274             output = out.getvalue().strip()
 275             assert_in('CloudDomain: test.domain', output)
 276             assert_in('ssh-rsa', output)
 277             assert_in('ComputeKernelArgs: \'test=test \'', output)
 278             assert_in('fdio::vpp_cpu_main_core: \'test\'', output)
 279         finally:
 280             # put stdout back
 281             sys.stdout = saved_stdout
 282
 283     @patch('apex.overcloud.deploy.fileinput')
 284     @patch('apex.overcloud.deploy.shutil')
 285     def test_prep_env_round_two(self, mock_shutil, mock_fileinput):
 286         mock_fileinput.input.return_value = \
 287             ['NeutronVPPAgentPhysnets']
 288         ds = {'deploy_options':
 289               {'sdn_controller': False,
 290                'dataplane': 'fdio',
 291                'performance': {'Compute': {},
 292                                'Controller': {}}}}
 293         ns = {'domain_name': 'test.domain',
 294               'networks':
 295               {'tenant':
 296                {'nic_mapping': {'controller':
 297                                 {'members': ['tenant_nic']},
 298                                 'compute':
 299                                 {'members': ['tenant_nic']}}},
 300                'external':
 301                [{'nic_mapping': {'controller':
 302                                  {'members': ['ext_nic']},
 303                                  'compute':
 304                                  {'members': ['ext_nic']}}}]}}
 305         inv = None
 306         try:
 307             # Swap stdout
 308             saved_stdout = sys.stdout
 309             out = StringIO()
 310             sys.stdout = out
 311             # run test
 312             prep_env(ds, ns, inv, 'opnfv-env.yml', '/net-env.yml', '/tmp')
 313             output = out.getvalue().strip()
 314             assert_in('NeutronVPPAgentPhysnets: \'datacentre:tenant_nic\'',
 315                       output)
 316             assert_in('NeutronVPPAgentPhysnets', output)
 317         finally:
 318             # put stdout back
 319             sys.stdout = saved_stdout
 320
 321     @patch('apex.overcloud.deploy.fileinput')
 322     @patch('apex.overcloud.deploy.shutil')
 323     def test_prep_env_round_three(self, mock_shutil, mock_fileinput):
 324         mock_fileinput.input.return_value = \
 325             ['OS::TripleO::Services::NeutronDhcpAgent',
 326              'NeutronDhcpAgentsPerNetwork', 'ComputeServices']
 327         ds = {'deploy_options':
 328               {'sdn_controller': 'opendaylight',
 329                'dataplane': 'fdio',
 330                'dvr': True}}
 331         ns = {'domain_name': 'test.domain',
 332               'networks':
 333               {'tenant':
 334                {'nic_mapping': {'controller':
 335                                 {'members': ['tenant_nic']},
 336                                 'compute':
 337                                 {'members': ['tenant_nic']}}},
 338                'external':
 339                [{'nic_mapping': {'controller':
 340                                  {'members': ['ext_nic']},
 341                                  'compute':
 342                                  {'members': ['ext_nic']}}}]}}
 343         inv = MagicMock()
 344         inv.get_node_counts.return_value = (3, 2)
 345         try:
 346             # Swap stdout
 347             saved_stdout = sys.stdout
 348             out = StringIO()
 349             sys.stdout = out
 350             # run test
 351             prep_env(ds, ns, inv, 'opnfv-env.yml', '/net-env.yml', '/tmp')
 352             output = out.getvalue().strip()
 353             assert_in('NeutronDhcpAgentsPerNetwork: 2', output)
 354         finally:
 355             # put stdout back
 356             sys.stdout = saved_stdout
 357
 358     def test_generate_ceph_key(self):
 359         assert_equal(len(generate_ceph_key()), 40)
 360
 361     @patch('apex.overcloud.deploy.generate_ceph_key')
 362     @patch('apex.overcloud.deploy.fileinput')
 363     @patch('apex.overcloud.deploy.os.path.isfile')
 364     @patch('builtins.open', mock_open())
 365     def test_prep_storage_env(self, mock_isfile, mock_fileinput,
 366                               mock_ceph_key):
 367         mock_fileinput.input.return_value = \
 368             ['CephClusterFSID', 'CephMonKey', 'CephAdminKey', 'random_key']
 369         ds = {'deploy_options': MagicMock()}
 370         ds['deploy_options'].__getitem__.side_effect = \
 371             lambda i: '/dev/sdx' if i == 'ceph_device' else MagicMock()
 372         ds['deploy_options'].__contains__.side_effect = \
 373             lambda i: True if i == 'ceph_device' else MagicMock()
 374         prep_storage_env(ds, '/tmp')
 375
 376     @patch('apex.overcloud.deploy.os.path.isfile')
 377     @patch('builtins.open', mock_open())
 378     def test_prep_storage_env_raises(self, mock_isfile):
 379         mock_isfile.return_value = False
 380         ds = {'deploy_options': MagicMock()}
 381         assert_raises(ApexDeployException, prep_storage_env, ds, '/tmp')
 382
 383     def test_external_network_cmds(self):
 384         cidr = MagicMock()
 385         cidr.version = 6
 386         ns_dict = {'networks':
 387                    {'external': [{'floating_ip_range': (0, 1),
 388                                   'nic_mapping':
 389                                   {'compute': {'vlan': 'native'}},
 390                                   'gateway': 'gw',
 391                                   'cidr': cidr}]}}
 392         ns = MagicMock()
 393         ns.enabled_network_list = ['external']
 394         ns.__getitem__.side_effect = lambda i: ns_dict.get(i, MagicMock())
 395         cmds = ' '.join(external_network_cmds(ns))
 396         assert_in('--external', cmds)
 397         assert_in('--allocation-pool start=0,end=1', cmds)
 398         assert_in('--gateway gw', cmds)
 399         assert_in('--network external', cmds)
 400
 401     def test_external_network_cmds_no_ext(self):
 402         cidr = MagicMock()
 403         cidr.version = 6
 404         ns_dict = {'apex':
 405                    {'networks':
 406                     {'admin':
 407                      {'introspection_range': (0, 1),
 408                       'nic_mapping':
 409                       {'compute': {'vlan': '123'}},
 410                       'gateway': 'gw',
 411                       'cidr': cidr}}}}
 412         ns = MagicMock()
 413         ns.enabled_network_list = ['admin']
 414         ns.__getitem__.side_effect = lambda i: ns_dict.get(i, MagicMock())
 415         external_network_cmds(ns)
 416         cmds = ' '.join(external_network_cmds(ns))
 417         assert_in('--external', cmds)
 418         assert_in('--allocation-pool start=0,end=1', cmds)
 419         assert_in('--network external', cmds)
 420         assert_in('--provider-network-type vlan', cmds)
 421
 422     @patch('apex.overcloud.deploy.parsers')
 423     def test_create_congress_cmds(self, mock_parsers):
 424         assert_greater(len(create_congress_cmds('overcloud_file')), 0)
 425
 426     @patch('apex.overcloud.deploy.parsers.parse_overcloudrc')
 427     def test_create_congress_cmds_raises(self, mock_parsers):
 428         mock_parsers.return_value.__getitem__.side_effect = KeyError()
 429         assert_raises(KeyError, create_congress_cmds, 'overcloud_file')