deploy/cloud/configure_nodes.py

   1 ###############################################################################
   2 # Copyright (c) 2015 Ericsson AB and others.
   3 # szilard.cserey@ericsson.com
   4 # All rights reserved. This program and the accompanying materials
   5 # are made available under the terms of the Apache License, Version 2.0
   6 # which accompanies this distribution, and is available at
   7 # http://www.apache.org/licenses/LICENSE-2.0
   8 ###############################################################################
   9
  10 import copy
  11 import io
  12
  13 import six
  14 import yaml
  15
  16 from common import (
  17     exec_cmd,
  18     check_file_exists,
  19     log,
  20     backup,
  21 )
  22
  23
  24 class ConfigureNodes(object):
  25
  26     def __init__(self, yaml_config_dir, env_id, node_id_roles_dict, dea):
  27         self.yaml_config_dir = yaml_config_dir
  28         self.env_id = env_id
  29         self.node_id_roles_dict = node_id_roles_dict
  30         self.dea = dea
  31
  32     def config_nodes(self):
  33         log('Configure nodes')
  34
  35         # Super dirty fix since Fuel 7 requires user defined roles to be
  36         # assigned before anything else (BUG fixed in Fuel 8)!
  37         for node_id, roles_blade in self.node_id_roles_dict.iteritems():
  38             if "opendaylight" in roles_blade[0] or "onos" in roles_blade[0] or "contrail" in roles_blade[0]:
  39                 exec_cmd('fuel node set --node-id %s --role %s --env %s'
  40                          % (node_id, roles_blade[0], self.env_id))
  41
  42         for node_id, roles_blade in self.node_id_roles_dict.iteritems():
  43             if "opendaylight" not in roles_blade[0] and "onos" not in roles_blade[0] and "contrail" not in roles_blade[0]:
  44                 exec_cmd('fuel node set --node-id %s --role %s --env %s'
  45                          % (node_id, roles_blade[0], self.env_id))
  46
  47         for node_id, roles_blade in self.node_id_roles_dict.iteritems():
  48             # Modify node attributes
  49             self.download_attributes(node_id)
  50             self.modify_node_attributes(node_id, roles_blade)
  51             self.upload_attributes(node_id)
  52             # Modify interfaces configuration
  53             self.download_interface_config(node_id)
  54             self.modify_node_interface(node_id, roles_blade)
  55             self.upload_interface_config(node_id)
  56
  57         # Currently not used, we use default deployment facts
  58         # which are generated by fuel based on type segmentation
  59         # and network to nic assignment
  60         #
  61         # Download our modified deployment configuration, which includes our
  62         # changes to network topology etc.
  63         #self.download_deployment_config()
  64         #for node_id, roles_blade in self.node_id_roles_dict.iteritems():
  65         #    self.modify_node_network_schemes(node_id, roles_blade)
  66         #self.upload_deployment_config()
  67
  68     def modify_node_network_schemes(self, node_id, roles_blade):
  69         log('Modify network transformations for node %s' % node_id)
  70         type = self.dea.get_node_property(roles_blade[1], 'transformations')
  71         transformations = self.dea.get_property(type)
  72         deployment_dir = '%s/deployment_%s' % (
  73             self.yaml_config_dir, self.env_id)
  74         backup(deployment_dir)
  75         node_file = ('%s/%s.yaml' % (deployment_dir, node_id))
  76         with io.open(node_file) as stream:
  77             node = yaml.load(stream)
  78
  79         node['network_scheme'].update(transformations)
  80
  81         with io.open(node_file, 'w') as stream:
  82             yaml.dump(node, stream, default_flow_style=False)
  83
  84     def download_deployment_config(self):
  85         log('Download deployment config for environment %s' % self.env_id)
  86         exec_cmd('fuel deployment --env %s --default --dir %s'
  87                  % (self.env_id, self.yaml_config_dir))
  88
  89     def upload_deployment_config(self):
  90         log('Upload deployment config for environment %s' % self.env_id)
  91         exec_cmd('fuel deployment --env %s --upload --dir %s'
  92                  % (self.env_id, self.yaml_config_dir))
  93
  94     def download_interface_config(self, node_id):
  95         log('Download interface config for node %s' % node_id)
  96         exec_cmd('fuel node --env %s --node %s --network --download '
  97                  '--dir %s' % (self.env_id, node_id, self.yaml_config_dir))
  98
  99     def upload_interface_config(self, node_id):
 100         log('Upload interface config for node %s' % node_id)
 101         exec_cmd('fuel node --env %s --node %s --network --upload '
 102                  '--dir %s' % (self.env_id, node_id, self.yaml_config_dir))
 103
 104     def download_attributes(self, node_id):
 105         log('Download attributes for node %s' % node_id)
 106         exec_cmd('fuel node --env %s --node %s --attributes --download '
 107                  '--dir %s' % (self.env_id, node_id, self.yaml_config_dir))
 108
 109     def upload_attributes(self, node_id):
 110         log('Upload attributes for node %s' % node_id)
 111         exec_cmd('fuel node --env %s --node %s --attributes --upload '
 112                  '--dir %s' % (self.env_id, node_id, self.yaml_config_dir))
 113
 114     def modify_node_attributes(self, node_id, roles_blade):
 115         log('Modify attributes for node {0}'.format(node_id))
 116         dea_key = self.dea.get_node_property(roles_blade[1], 'attributes')
 117         if not dea_key:
 118             # Node attributes are not overridden. Nothing to do.
 119             return
 120         new_attributes = self.dea.get_property(dea_key)
 121         attributes_yaml = ('%s/node_%s/attributes.yaml'
 122                            % (self.yaml_config_dir, node_id))
 123         check_file_exists(attributes_yaml)
 124         backup('%s/node_%s' % (self.yaml_config_dir, node_id))
 125
 126         with open(attributes_yaml) as stream:
 127             attributes = yaml.load(stream)
 128         result_attributes = self._merge_dicts(attributes, new_attributes)
 129
 130         with open(attributes_yaml, 'w') as stream:
 131             yaml.dump(result_attributes, stream, default_flow_style=False)
 132
 133     # interface configuration can
 134     # looks like this:
 135     #
 136     # interfaces_dpdk:
 137     #   ens3:
 138     #   - fuelweb_admin
 139     #   ens4:
 140     #   - storage
 141     #   - management
 142     #   ens5:
 143     #   - interface_properties:
 144     #       dpdk:
 145     #         enabled: true
 146     #   - private
 147     #   ens6:
 148     #   - public
 149     def modify_node_interface(self, node_id, roles_blade):
 150         log('Modify interface config for node %s' % node_id)
 151         interface_yaml = ('%s/node_%s/interfaces.yaml'
 152                           % (self.yaml_config_dir, node_id))
 153         check_file_exists(interface_yaml)
 154         backup('%s/node_%s' % (self.yaml_config_dir, node_id))
 155
 156         with io.open(interface_yaml) as stream:
 157             interfaces = yaml.load(stream)
 158
 159         net_name_id = {}
 160         for interface in interfaces:
 161             for network in interface['assigned_networks']:
 162                 net_name_id[network['name']] = network['id']
 163
 164         type = self.dea.get_node_property(roles_blade[1], 'interfaces')
 165         interface_config = self.dea.get_property(type)
 166
 167         for interface in interfaces:
 168             interface['assigned_networks'] = []
 169             if interface['name'] in interface_config:
 170                 for prop in interface_config[interface['name']]:
 171                     net = {}
 172                     #net name
 173                     if isinstance(prop, six.string_types):
 174                         net['id'] = net_name_id[prop]
 175                         net['name'] = prop
 176                         interface['assigned_networks'].append(net)
 177                     #network properties
 178                     elif isinstance(prop, dict):
 179                         if not 'interface_properties' in prop:
 180                             log('Interface configuration contain unknow dict: %s' % prop)
 181                             continue
 182                         interface['interface_properties'] = \
 183                         self._merge_dicts(interface.get('interface_properties', {}),
 184                                           prop.get('interface_properties', {}))
 185
 186         with io.open(interface_yaml, 'w') as stream:
 187             yaml.dump(interfaces, stream, default_flow_style=False)
 188
 189     def _merge_dicts(self, dict1, dict2):
 190         """Recursively merge dictionaries."""
 191         result = copy.deepcopy(dict1)
 192         for k, v in six.iteritems(dict2):
 193             if isinstance(result.get(k), list) and isinstance(v, list):
 194                 result[k].extend(v)
 195                 continue
 196             if isinstance(result.get(k), dict) and isinstance(v, dict):
 197                 result[k] = self._merge_dicts(result[k], v)
 198                 continue
 199             result[k] = copy.deepcopy(v)
 200         return result
 201