ci/openstack.sh

   1 #!/bin/bash -ex
   2
   3 ##############################################################################
   4 # All rights reserved. This program and the accompanying materials
   5 # are made available under the terms of the Apache License, Version 2.0
   6 # which accompanies this distribution, and is available at
   7 # http://www.apache.org/licenses/LICENSE-2.0
   8 ##############################################################################
   9
  10 #./openstack.sh "$opnfvsdn" "$opnfvlab" "$opnfvdistro" "$openstack" || true
  11
  12 opnfvsdn=$1
  13 opnfvlab=$2
  14 opnfvdistro=$3
  15 opnfvos=$4
  16
  17 jujuver=`juju --version`
  18
  19 if [ -f ./deployconfig.yaml ];then
  20     EXTERNAL_NETWORK=`grep floating-ip-range deployconfig.yaml | cut -d ' ' -f 4 `
  21
  22     # split EXTERNAL_NETWORK=first ip;last ip; gateway;network
  23
  24     EXTNET=(${EXTERNAL_NETWORK//,/ })
  25
  26     EXTNET_FIP=${EXTNET[0]}
  27     EXTNET_LIP=${EXTNET[1]}
  28     EXTNET_GW=${EXTNET[2]}
  29     EXTNET_NET=${EXTNET[3]}
  30     EXTNET_PORT=`grep "ext-port" deployconfig.yaml | cut -d ' ' -f 4 | sed -e 's/ //' | tr ',' ' '`
  31     ADMNET_GW=`grep "admNetgway" deployconfig.yaml | cut -d ' ' -f 4 | sed -e 's/ //' | tr ',' ' '`
  32     API_FQDN=`grep "os-domain-name" deployconfig.yaml | cut -d ' ' -f 4 | sed -e 's/ //' | tr ',' ' '`
  33 fi
  34
  35 # launch eth on computer nodes and remove default gw route
  36 launch_eth() {
  37     computer_list=$(juju status --format short | grep -Eo 'nova-compute/[0-9]')
  38     for node in $computer_list; do
  39         echo "node name is ${node}"
  40         juju ssh $node "sudo ifconfig $EXTNET_PORT up"
  41         #juju ssh $node "sudo route del default gw $ADMNET_GW"
  42     done
  43 }
  44
  45 # Update gateway mac to onos for l3 function
  46 update_gw_mac() {
  47     ## get gateway mac
  48     EXTNET_GW_MAC=$(juju ssh nova-compute/0 "arp -a ${EXTNET_GW} | grep -Eo '([0-9a-fA-F]{2})(([/\s:-][0-9a-fA-F]{2}){5})'")
  49     ## set external gateway mac in onos
  50     if [[ "$jujuver" < "2" ]]; then
  51         juju set onos-controller gateway-mac=$EXTNET_GW_MAC
  52     else
  53         juju config onos-controller gateway-mac=$EXTNET_GW_MAC
  54     fi
  55 }
  56
  57 unitAddress() {
  58     if [[ "$jujuver" < "2" ]]; then
  59         juju status --format yaml | python -c "import yaml; import sys; print yaml.load(sys.stdin)[\"services\"][\"$1\"][\"units\"][\"$1/$2\"][\"public-address\"]" 2> /dev/null
  60     else
  61         juju status --format yaml | python -c "import yaml; import sys; print yaml.load(sys.stdin)[\"applications\"][\"$1\"][\"units\"][\"$1/$2\"][\"public-address\"]" 2> /dev/null
  62     fi
  63 }
  64
  65 unitMachine() {
  66     if [[ "$jujuver" < "2" ]]; then
  67         juju status --format yaml | python -c "import yaml; import sys; print yaml.load(sys.stdin)[\"services\"][\"$1\"][\"units\"][\"$1/$2\"][\"machine\"]" 2> /dev/null
  68     else
  69         juju status --format yaml | python -c "import yaml; import sys; print yaml.load(sys.stdin)[\"applications\"][\"$1\"][\"units\"][\"$1/$2\"][\"machine\"]" 2> /dev/null
  70     fi
  71 }
  72
  73 keystoneIp() {
  74     if [ $(juju status keystone --format=short | grep " keystone"|wc -l) == 1 ];then
  75         unitAddress keystone 0
  76     else
  77         if [[ "$jujuver" < "2" ]]; then
  78             juju get keystone | python -c "import yaml; import sys; print yaml.load(sys.stdin)['settings']['vip']['value']" | cut -d " " -f 1
  79         else
  80             juju config keystone | python -c "import yaml; import sys; print yaml.load(sys.stdin)['settings']['vip']['value']" | cut -d " " -f 1
  81         fi
  82     fi
  83 }
  84
  85 # create external network and subnet in openstack
  86 create_openrc() {
  87     mkdir -m 0700 -p cloud
  88     keystoneIp=$(keystoneIp)
  89     if [[ "$jujuver" < "2" ]]; then
  90         adminPasswd=$(juju get keystone | grep admin-password -A 5 | grep value | awk '{print $2}' 2> /dev/null)
  91     else
  92         adminPasswd=$(juju config keystone | grep admin-password -A 5 | grep value | awk '{print $2}' 2> /dev/null)
  93     fi
  94
  95     configOpenrc admin $adminPasswd admin http://$keystoneIp:5000/v3 RegionOne > ~/joid_config/admin-openrc
  96
  97     chmod 0600 ~/joid_config/admin-openrc
  98 }
  99
 100 configOpenrc() {
 101 cat <<-EOF
 102 export OS_AUTH_URL=$4
 103 export OS_USERNAME=$1
 104 export OS_PASSWORD=$2
 105 export OS_USER_DOMAIN_NAME=admin_domain
 106 export OS_PROJECT_DOMAIN_NAME=admin_domain
 107 export OS_PROJECT_NAME=$3
 108 export OS_TENANT_NAME=$3
 109 export OS_REGION_NAME=$5
 110 export OS_IDENTITY_API_VERSION=3
 111 # Swift needs this:
 112 export OS_AUTH_VERSION=3
 113 EOF
 114 }
 115
 116 if [ "$API_FQDN" != "None" ]; then
 117     # Push api fqdn local ip to all /etc/hosts
 118     if [[ "$jujuver" < "2" ]]; then
 119         API_FQDN=$(juju get keystone | python -c "import yaml; import sys;\
 120             print yaml.load(sys.stdin)['settings']['os-public-hostname']['value']")
 121     else
 122         API_FQDN=$(juju config keystone | python -c "import yaml; import sys;\
 123             print yaml.load(sys.stdin)['settings']['os-public-hostname']['value']")
 124     fi
 125
 126
 127     KEYSTONEIP=$(keystoneIp)
 128     juju run --all "if grep $API_FQDN /etc/hosts > /dev/null; then \
 129                         echo 'API FQDN already present'; \
 130                     else \
 131                         sudo sh -c 'echo $KEYSTONEIP $API_FQDN >> /etc/hosts'; \
 132                         echo 'API FQDN injected'; \
 133                     fi"
 134
 135     # remove this enhancement for heat that does not manage endpoints
 136     juju run --service=heat "cp /etc/hosts /tmp/hosts ; \
 137                              grep -v $API_FQDN /tmp/hosts > /etc/hosts"
 138
 139     #change in jumphost as well as below commands will run on jumphost
 140     if grep $API_FQDN /etc/hosts; then
 141         echo 'API FQDN already present'
 142     else
 143         sudo sh -c "echo $KEYSTONEIP $API_FQDN >> /etc/hosts"
 144         echo 'API FQDN injected'
 145     fi
 146 fi
 147
 148 # Create an load openrc
 149 create_openrc
 150
 151 . ~/joid_config/admin-openrc
 152
 153 echo "...... deploy public api proxy ......"
 154
 155 if ([ "$opnfvlab" == "orangepod1" ] \
 156     || [ "$opnfvlab" == "intelpod6" ]) \
 157     && [ "$opnfvsdn" == "nosdn" ] \
 158     && [ "$API_FQDN" != "None" ]; then # only for first test phase
 159     if [ -e ./labconfig.yaml ]; then
 160         PUB_API_MASK=$(grep floating-ip-range ./labconfig.yaml |cut -d/ -f2)
 161         PUB_API_NET=$(grep floating-ip-range ./labconfig.yaml |cut -d, -f4)
 162         PUB_API_IP=$(grep public-api-ip ./labconfig.yaml |cut -d: -f2)
 163         if grep "- type: public" ./labconfig.yaml; then
 164             # The public network exists on MAAS, so we push the dns record to it
 165
 166             # Recover maas ips and login to it
 167             maas_ip=$(grep " ip_address" deployconfig.yaml | cut -d ':' -f 2 | sed -e 's/ //')
 168             maas_pubip=$(grep floating-ip-range ./labconfig.yaml |cut -d, -f4 |perl -pe 's!^(.*)\.\d+/\d+$!$1.5!')
 169             apikey=$(grep maas-oauth: environments.yaml | cut -d "'" -f 2)
 170             maas login maas http://${maas_ip}/MAAS/api/1.0 ${apikey}
 171
 172             # Configure maas to add the record
 173             CLUSTER_UUID=$(maas ubuntu node-groups list | grep uuid | cut -d\" -f4)
 174             PUBLIC_MAAS_IF=$(maas ubuntu node-group-interfaces list $cluster_uuid |\
 175                              python -c "import yaml; import sys; cfg=yaml.load(sys.stdin); net_h={net['ip']:net['name'] for net in cfg}; print(net_h['$maas_pubip'])")
 176             maas maas node-group-interface update ${CLUSTER_UUID} ${PUBLIC_MAAS_IF} static_ip_range_high=${PUB_API_IP} static_ip_range_low=${PUB_API_IP}
 177             maas maas ipaddresses reserve network=${PUB_API_NET} requested_address=${PUB_API_IP} hostname=${API_FQDN}
 178             dig ${PUB_API_IP} @${maas_ip} # just for log
 179         fi
 180         juju run --unit nodes/0 "sudo ip a a ${PUB_API_IP}/${PUB_API_MASK} dev br-ex" || true
 181         juju run --unit nodes/0 "sudo ip l set dev br-ex up" || true
 182         python genPublicAPIProxyBundle.py -l labconfig.yaml >> bundles.yaml
 183         juju-deployer -vW -d -t 7200 -r 5 -c bundles.yaml $opnfvdistro-"$opnfvos" || true
 184     fi
 185 fi
 186
 187 echo "...... deploy end public api proxy ......"
 188
 189 ##
 190 ## removing the swift API endpoint which is created by radosgw.
 191 ## one option is not to used radosgw and other one is remove endpoint.
 192 ##
 193
 194 #echo "Removing swift endpoint and service"
 195 #swift_service_id=$(openstack service list | grep swift | cut -d ' ' -f 2)
 196 #swift_endpoint_id=$(openstack endpoint list | grep swift | cut -d ' ' -f 2)
 197 #openstack endpoint delete $swift_endpoint_id
 198 #openstack service delete $swift_service_id
 199
 200 ##
 201 ## Create external subnet Network
 202 ##
 203
 204 if [ "onos" == "$opnfvsdn" ]; then
 205     launch_eth
 206     neutron net-show ext-net > /dev/null 2>&1 || neutron net-create ext-net \
 207                                                    --router:external=True
 208 else
 209     neutron net-show ext-net > /dev/null 2>&1 || neutron net-create ext-net \
 210                                                    --router:external=True \
 211                                                    --provider:network_type flat \
 212                                                    --provider:physical_network physnet1
 213 fi
 214
 215 neutron subnet-show ext-subnet > /dev/null 2>&1 || neutron subnet-create ext-net \
 216    --name ext-subnet --allocation-pool start=$EXTNET_FIP,end=$EXTNET_LIP \
 217    --disable-dhcp --gateway $EXTNET_GW $EXTNET_NET
 218
 219 #congress team is not updating and supporting charm anymore so defer it.
 220
 221 # Create Congress datasources
 222 #sudo apt-get install -y python-congressclient
 223
 224 #openstack congress datasource create nova "nova" \
 225 #  --config username=$OS_USERNAME \
 226 #  --config tenant_name=$OS_TENANT_NAME \
 227 #  --config password=$OS_PASSWORD \
 228 #  --config auth_url=http://$keystoneIp:5000/v2.0
 229 #openstack congress datasource create neutronv2 "neutronv2" \
 230 #  --config username=$OS_USERNAME \
 231 #  --config tenant_name=$OS_TENANT_NAME \
 232 #  --config password=$OS_PASSWORD \
 233 #  --config auth_url=http://$keystoneIp:5000/v2.0
 234 #openstack congress datasource create ceilometer "ceilometer" \
 235 #  --config username=$OS_USERNAME \
 236 #  --config tenant_name=$OS_TENANT_NAME \
 237 #  --config password=$OS_PASSWORD \
 238 #  --config auth_url=http://$keystoneIp:5000/v2.0
 239 #openstack congress datasource create cinder "cinder" \
 240 #  --config username=$OS_USERNAME \
 241 #  --config tenant_name=$OS_TENANT_NAME \
 242 #  --config password=$OS_PASSWORD \
 243 #  --config auth_url=http://$keystoneIp:5000/v2.0
 244 #openstack congress datasource create glancev2 "glancev2" \
 245 #  --config username=$OS_USERNAME \
 246 #  --config tenant_name=$OS_TENANT_NAME \
 247 #  --config password=$OS_PASSWORD \
 248 #  --config auth_url=http://$keystoneIp:5000/v2.0
 249 #openstack congress datasource create keystone "keystone" \
 250 #  --config username=$OS_USERNAME \
 251 #  --config tenant_name=$OS_TENANT_NAME \
 252 #  --config password=$OS_PASSWORD \
 253 #  --config auth_url=http://$keystoneIp:5000/v2.0