deploy/cloud/configure_nodes.py

   1 ###############################################################################
   2 # Copyright (c) 2015 Ericsson AB and others.
   3 # szilard.cserey@ericsson.com
   4 # All rights reserved. This program and the accompanying materials
   5 # are made available under the terms of the Apache License, Version 2.0
   6 # which accompanies this distribution, and is available at
   7 # http://www.apache.org/licenses/LICENSE-2.0
   8 ###############################################################################
   9
  10 import copy
  11 import glob
  12 import io
  13
  14 import six
  15 import yaml
  16
  17 from common import (
  18     exec_cmd,
  19     check_file_exists,
  20     log,
  21     backup,
  22 )
  23
  24
  25 class ConfigureNodes(object):
  26
  27     def __init__(self, yaml_config_dir, env_id, node_id_roles_dict, dea):
  28         self.yaml_config_dir = yaml_config_dir
  29         self.env_id = env_id
  30         self.node_id_roles_dict = node_id_roles_dict
  31         self.dea = dea
  32
  33     def config_nodes(self):
  34         log('Configure nodes')
  35
  36         # Super dirty fix since Fuel 7 requires user defined roles to be
  37         # assigned before anything else (BUG fixed in Fuel 8)!
  38         for node_id, roles_blade in self.node_id_roles_dict.iteritems():
  39             if "opendaylight" in roles_blade[0] or "onos" in roles_blade[0] or "contrail" in roles_blade[0]:
  40                 exec_cmd('fuel node set --node-id %s --role %s --env %s'
  41                          % (node_id, roles_blade[0], self.env_id))
  42
  43         for node_id, roles_blade in self.node_id_roles_dict.iteritems():
  44             if "opendaylight" not in roles_blade[0] and "onos" not in roles_blade[0] and "contrail" not in roles_blade[0]:
  45                 exec_cmd('fuel node set --node-id %s --role %s --env %s'
  46                          % (node_id, roles_blade[0], self.env_id))
  47
  48         # Download the unmodified default deployment configuration, because we
  49         # need it for the network config.
  50         self.download_deployment_config()
  51         for node_id, roles_blade in self.node_id_roles_dict.iteritems():
  52             # Modify node attributes
  53             self.download_attributes(node_id)
  54             self.modify_node_attributes(node_id, roles_blade)
  55             self.upload_attributes(node_id)
  56             # Modify interfaces configuration
  57             self.download_interface_config(node_id)
  58             self.modify_node_interface(node_id, roles_blade)
  59             self.modify_node_network_schemes(node_id, roles_blade)
  60             self.upload_interface_config(node_id)
  61
  62         # Download our modified deployment configuration, which includes our
  63         # changes to network topology etc.
  64         self.download_deployment_config()
  65         self.upload_deployment_config()
  66
  67     def modify_node_network_schemes(self, node_id, roles_blade):
  68         log('Modify network transformations for node %s' % node_id)
  69         type = self.dea.get_node_property(roles_blade[1], 'transformations')
  70         transformations = self.dea.get_property(type)
  71         deployment_dir = '%s/deployment_%s' % (
  72             self.yaml_config_dir, self.env_id)
  73         backup(deployment_dir)
  74         for node_file in glob.glob(deployment_dir + '/*_%s.yaml' % node_id):
  75             with io.open(node_file) as stream:
  76                 node = yaml.load(stream)
  77
  78             node['network_scheme'].update(transformations)
  79
  80             with io.open(node_file, 'w') as stream:
  81                 yaml.dump(node, stream, default_flow_style=False)
  82
  83     def download_deployment_config(self):
  84         log('Download deployment config for environment %s' % self.env_id)
  85         exec_cmd('fuel deployment --env %s --default --dir %s'
  86                  % (self.env_id, self.yaml_config_dir))
  87
  88     def upload_deployment_config(self):
  89         log('Upload deployment config for environment %s' % self.env_id)
  90         exec_cmd('fuel deployment --env %s --upload --dir %s'
  91                  % (self.env_id, self.yaml_config_dir))
  92
  93     def download_interface_config(self, node_id):
  94         log('Download interface config for node %s' % node_id)
  95         exec_cmd('fuel node --env %s --node %s --network --download '
  96                  '--dir %s' % (self.env_id, node_id, self.yaml_config_dir))
  97
  98     def upload_interface_config(self, node_id):
  99         log('Upload interface config for node %s' % node_id)
 100         exec_cmd('fuel node --env %s --node %s --network --upload '
 101                  '--dir %s' % (self.env_id, node_id, self.yaml_config_dir))
 102
 103     def download_attributes(self, node_id):
 104         log('Download attributes for node %s' % node_id)
 105         exec_cmd('fuel node --env %s --node %s --attributes --download '
 106                  '--dir %s' % (self.env_id, node_id, self.yaml_config_dir))
 107
 108     def upload_attributes(self, node_id):
 109         log('Upload attributes for node %s' % node_id)
 110         exec_cmd('fuel node --env %s --node %s --attributes --upload '
 111                  '--dir %s' % (self.env_id, node_id, self.yaml_config_dir))
 112
 113     def modify_node_attributes(self, node_id, roles_blade):
 114         log('Modify attributes for node {0}'.format(node_id))
 115         dea_key = self.dea.get_node_property(roles_blade[1], 'attributes')
 116         if not dea_key:
 117             # Node attributes are not overridden. Nothing to do.
 118             return
 119         new_attributes = self.dea.get_property(dea_key)
 120         attributes_yaml = ('%s/node_%s/attributes.yaml'
 121                            % (self.yaml_config_dir, node_id))
 122         check_file_exists(attributes_yaml)
 123         backup('%s/node_%s' % (self.yaml_config_dir, node_id))
 124
 125         with open(attributes_yaml) as stream:
 126             attributes = yaml.load(stream)
 127         result_attributes = self._merge_dicts(attributes, new_attributes)
 128
 129         with open(attributes_yaml, 'w') as stream:
 130             yaml.dump(result_attributes, stream, default_flow_style=False)
 131
 132     def modify_node_interface(self, node_id, roles_blade):
 133         log('Modify interface config for node %s' % node_id)
 134         interface_yaml = ('%s/node_%s/interfaces.yaml'
 135                           % (self.yaml_config_dir, node_id))
 136         check_file_exists(interface_yaml)
 137         backup('%s/node_%s' % (self.yaml_config_dir, node_id))
 138
 139         with io.open(interface_yaml) as stream:
 140             interfaces = yaml.load(stream)
 141
 142         net_name_id = {}
 143         for interface in interfaces:
 144             for network in interface['assigned_networks']:
 145                 net_name_id[network['name']] = network['id']
 146
 147         type = self.dea.get_node_property(roles_blade[1], 'interfaces')
 148         interface_config = self.dea.get_property(type)
 149
 150         for interface in interfaces:
 151             interface['assigned_networks'] = []
 152             if interface['name'] in interface_config:
 153                 for net_name in interface_config[interface['name']]:
 154                     net = {}
 155                     net['id'] = net_name_id[net_name]
 156                     net['name'] = net_name
 157                     interface['assigned_networks'].append(net)
 158
 159         with io.open(interface_yaml, 'w') as stream:
 160             yaml.dump(interfaces, stream, default_flow_style=False)
 161
 162     def _merge_dicts(self, dict1, dict2):
 163         """Recursively merge dictionaries."""
 164         result = copy.deepcopy(dict1)
 165         for k, v in six.iteritems(dict2):
 166             if isinstance(result.get(k), list) and isinstance(v, list):
 167                 result[k].extend(v)
 168                 continue
 169             if isinstance(result.get(k), dict) and isinstance(v, dict):
 170                 result[k] = self._merge_dicts(result[k], v)
 171                 continue
 172             result[k] = copy.deepcopy(v)
 173         return result
 174