ci/openstack.sh

   1 #!/bin/bash -ex
   2
   3 ##############################################################################
   4 # All rights reserved. This program and the accompanying materials
   5 # are made available under the terms of the Apache License, Version 2.0
   6 # which accompanies this distribution, and is available at
   7 # http://www.apache.org/licenses/LICENSE-2.0
   8 ##############################################################################
   9
  10 if [ -f ./deployconfig.yaml ];then
  11     EXTERNAL_NETWORK=`grep floating-ip-range deployconfig.yaml | cut -d ' ' -f 4 `
  12
  13     # split EXTERNAL_NETWORK=first ip;last ip; gateway;network
  14
  15     EXTNET=(${EXTERNAL_NETWORK//,/ })
  16
  17     EXTNET_FIP=${EXTNET[0]}
  18     EXTNET_LIP=${EXTNET[1]}
  19     EXTNET_GW=${EXTNET[2]}
  20     EXTNET_NET=${EXTNET[3]}
  21     EXTNET_PORT=`grep "ext-port" deployconfig.yaml | cut -d ' ' -f 4 | sed -e 's/ //' | tr ',' ' '`
  22     ADMNET_GW=`grep "admNetgway" deployconfig.yaml | cut -d ' ' -f 4 | sed -e 's/ //' | tr ',' ' '`
  23     API_FQDN=`grep "os-domain-name" deployconfig.yaml | cut -d ' ' -f 4 | sed -e 's/ //' | tr ',' ' '`
  24 fi
  25
  26 # launch eth on computer nodes and remove default gw route
  27 launch_eth() {
  28     computer_list=$(juju status --format short | grep -Eo 'nova-compute/[0-9]')
  29     for node in $computer_list; do
  30         echo "node name is ${node}"
  31         juju ssh $node "sudo ifconfig $EXTNET_PORT up"
  32         #juju ssh $node "sudo route del default gw $ADMNET_GW"
  33     done
  34 }
  35
  36 # Update gateway mac to onos for l3 function
  37 update_gw_mac() {
  38     ## get gateway mac
  39     EXTNET_GW_MAC=$(juju ssh nova-compute/0 "arp -a ${EXTNET_GW} | grep -Eo '([0-9a-fA-F]{2})(([/\s:-][0-9a-fA-F]{2}){5})'")
  40     ## set external gateway mac in onos
  41     juju set onos-controller gateway-mac=$EXTNET_GW_MAC
  42 }
  43
  44 unitAddress() {
  45         juju status | python -c "import yaml; import sys; print yaml.load(sys.stdin)[\"services\"][\"$1\"][\"units\"][\"$1/$2\"][\"public-address\"]" 2> /dev/null
  46 }
  47
  48 unitMachine() {
  49         juju status | python -c "import yaml; import sys; print yaml.load(sys.stdin)[\"services\"][\"$1\"][\"units\"][\"$1/$2\"][\"machine\"]" 2> /dev/null
  50 }
  51
  52 keystoneIp() {
  53     KEYSTONE=$(juju status keystone |grep public-address|sed -- 's/.*\: //')
  54     if [ $(echo $KEYSTONE|wc -w) == 1 ];then
  55         echo $KEYSTONE
  56     else
  57         juju get keystone | python -c "import yaml; import sys; print yaml.load(sys.stdin)['settings']['vip']['value']"
  58     fi
  59 }
  60
  61 # create external network and subnet in openstack
  62 create_openrc() {
  63     mkdir -m 0700 -p cloud
  64     keystoneIp=$(keystoneIp)
  65     adminPasswd=$(juju get keystone | grep admin-password -A 5 | grep value | awk '{print $2}' 2> /dev/null)
  66     configOpenrc admin $adminPasswd admin http://$keystoneIp:5000/v2.0 Canonical > cloud/admin-openrc
  67     chmod 0600 cloud/admin-openrc
  68 }
  69
  70 configOpenrc() {
  71 if [ "$API_FQDN" != "''" ]; then
  72     cat <<-EOF
  73         export OS_USERNAME=$1
  74         export OS_PASSWORD=$2
  75         export OS_TENANT_NAME=$3
  76         export OS_AUTH_URL=$4
  77         export OS_REGION_NAME=$5
  78         export OS_ENDPOINT_TYPE='internalURL'
  79         export CINDER_ENDPOINT_TYPE='internalURL'
  80         export GLANCE_ENDPOINT_TYPE='internalURL'
  81         export KEYSTONE_ENDPOINT_TYPE='internalURL'
  82         export NEUTRON_ENDPOINT_TYPE='internalURL'
  83         export NOVA_ENDPOINT_TYPE='internalURL'
  84 EOF
  85 else
  86     cat <<-EOF
  87         export OS_USERNAME=$1
  88         export OS_PASSWORD=$2
  89         export OS_TENANT_NAME=$3
  90         export OS_AUTH_URL=$4
  91         export OS_REGION_NAME=$5
  92 EOF
  93
  94 fi
  95 }
  96
  97 if [ "$API_FQDN" != "''" ]; then
  98     # Push api fqdn local ip to all /etc/hosts
  99     API_FQDN=$(juju get keystone | python -c "import yaml; import sys;\
 100         print yaml.load(sys.stdin)['settings']['os-public-hostname']['value']")
 101
 102     KEYSTONEIP=$(keystoneIp)
 103     juju run --all "if grep $API_FQDN /etc/hosts > /dev/null; then \
 104                         echo 'API FQDN already present'; \
 105                     else \
 106                         sudo sh -c 'echo $KEYSTONEIP $API_FQDN >> /etc/hosts'; \
 107                         echo 'API FQDN injected'; \
 108                     fi"
 109
 110     #change in jumphost as well as below commands will run on jumphost
 111
 112     if grep $API_FQDN /etc/hosts; then
 113         echo 'API FQDN already present'
 114     else
 115         sudo sh -c "echo $KEYSTONEIP $API_FQDN >> /etc/hosts"
 116         echo 'API FQDN injected'
 117     fi
 118 fi
 119
 120 # Create an load openrc
 121 create_openrc
 122
 123 . ./cloud/admin-openrc
 124
 125 ##
 126 ## Create external subnet Network
 127 ##
 128
 129 #neutron net-create ext-net --shared --router:external=True
 130 neutron net-create ext-net --router:external=True
 131
 132 if [ "onos" == "$1" ]; then
 133     launch_eth
 134     neutron subnet-create ext-net --name ext-subnet \
 135        --allocation-pool start=$EXTNET_FIP,end=$EXTNET_LIP \
 136        --disable-dhcp --gateway $EXTNET_GW --dns-nameserver 8.8.8.8 $EXTNET_NET
 137     #neutron subnet-create ext-net --name ext-subnet $EXTNET_NET
 138     #update_gw_mac
 139 elif [ "nosdn" == "$1" ]; then
 140     neutron subnet-create ext-net --name ext-subnet \
 141        --allocation-pool start=$EXTNET_FIP,end=$EXTNET_LIP \
 142        --disable-dhcp --gateway $EXTNET_GW --dns-nameserver 8.8.8.8 $EXTNET_NET
 143     # configure security groups
 144     #neutron security-group-rule-create --direction ingress --ethertype IPv4 --protocol icmp --remote-ip-prefix 0.0.0.0/0 default
 145     #neutron security-group-rule-create --direction ingress --ethertype IPv4 --protocol tcp --port-range-min 22 --port-range-max 22 --remote-ip-prefix 0.0.0.0/0 default
 146 else
 147     neutron subnet-create ext-net --name ext-subnet \
 148        --allocation-pool start=$EXTNET_FIP,end=$EXTNET_LIP \
 149        --disable-dhcp --gateway $EXTNET_GW --dns-nameserver 8.8.8.8 $EXTNET_NET
 150 fi
 151
 152
 153 # Create Congress datasources
 154 sudo apt-get install -y python-congressclient
 155
 156 # Remove public endpoint and recreate it from internal
 157 # Waiting congress client can be use with internal endpoints
 158 if [ "$API_FQDN" != "''" ]; then
 159     CONGRESS_PUB_ENDPOINT=$(openstack endpoint list --service policy --interface public -c ID -f value)
 160     openstack endpoint delete $CONGRESS_PUB_ENDPOINT
 161     CONGRESS_NEW_PUB_ENDPOINT=$(openstack endpoint list --service policy --interface internal -c URL -f value)
 162     openstack endpoint create --region Canonical policy public $CONGRESS_NEW_PUB_ENDPOINT
 163 fi
 164
 165 openstack congress datasource create nova "nova" \
 166   --config username=$OS_USERNAME \
 167   --config tenant_name=$OS_TENANT_NAME \
 168   --config password=$OS_PASSWORD \
 169   --config auth_url=http://$keystoneIp:5000/v2.0
 170 openstack congress datasource create neutronv2 "neutronv2" \
 171   --config username=$OS_USERNAME \
 172   --config tenant_name=$OS_TENANT_NAME \
 173   --config password=$OS_PASSWORD \
 174   --config auth_url=http://$keystoneIp:5000/v2.0
 175 openstack congress datasource create ceilometer "ceilometer" \
 176   --config username=$OS_USERNAME \
 177   --config tenant_name=$OS_TENANT_NAME \
 178   --config password=$OS_PASSWORD \
 179   --config auth_url=http://$keystoneIp:5000/v2.0
 180 openstack congress datasource create cinder "cinder" \
 181   --config username=$OS_USERNAME \
 182   --config tenant_name=$OS_TENANT_NAME \
 183   --config password=$OS_PASSWORD \
 184   --config auth_url=http://$keystoneIp:5000/v2.0
 185 openstack congress datasource create glancev2 "glancev2" \
 186   --config username=$OS_USERNAME \
 187   --config tenant_name=$OS_TENANT_NAME \
 188   --config password=$OS_PASSWORD \
 189   --config auth_url=http://$keystoneIp:5000/v2.0
 190 openstack congress datasource create keystone "keystone" \
 191   --config username=$OS_USERNAME \
 192   --config tenant_name=$OS_TENANT_NAME \
 193   --config password=$OS_PASSWORD \
 194   --config auth_url=http://$keystoneIp:5000/v2.0
 195
 196
 197 ##enable extra stuff only if testing manually
 198
 199 #wget -P /tmp/images http://download.cirros-cloud.net/0.3.3/cirros-0.3.3-x86_64-disk.img
 200 #openstack image create --file /tmp/images/cirros-0.3.3-x86_64-disk.img --disk-format qcow2 --container-format bare "cirros-0.3.3-x86_64"
 201 #wget -P /tmp/images http://cloud-images.ubuntu.com/trusty/current/trusty-server-cloudimg-amd64-disk1.img
 202 #openstack image create --file /tmp/images/trusty-server-cloudimg-amd64-disk1.img --disk-format qcow2 --container-format bare "ubuntu-trusty-daily"
 203 #wget -P /tmp/images http://cloud-images.ubuntu.com/trusty/current/xenial-server-cloudimg-amd64.tar.gz
 204 #openstack image create --file /tmp/images/xenial-server-cloudimg-amd64.tar.gz --container-format bare --disk-format raw "xenial-server-cloudimg-amd64"
 205
 206 #rm -rf /tmp/images
 207
 208 ## import key pair
 209 #openstack project create --description "Demo Tenant" demo
 210 #openstack user create --project demo --password demo --email demo@demo.demo demo
 211
 212 #openstack keypair create --public-key ~/.ssh/id_rsa.pub ubuntu-keypair
 213
 214 ## create vm network
 215 #neutron net-create demo-net
 216 #neutron subnet-create --name demo-subnet --gateway 10.20.5.1 demo-net 10.20.5.0/24
 217 #neutron router-create demo-router
 218 #neutron router-interface-add demo-router demo-subnet
 219 #neutron router-gateway-set demo-router ext_net
 220
 221 ## create pool of floating ips
 222 #i=0
 223 #while [ $i -ne 3 ]; do
 224 #    neutron floatingip-create ext_net
 225 #    i=$((i + 1))
 226 #done
 227
 228 ##http://docs.openstack.org/juno/install-guide/install/apt/content/launch-instance-neutron.html
 229 # nova boot --flavor m1.small --image cirros-0.3.3-x86_64 --nic net-id=b65479a4-3638-4595-9245-6e41ccd8bfd8 --security-group default --key-name ubuntu-keypair demo-instance1
 230 # nova floating-ip-associate demo-instance1 10.5.8.35
 231
 232 ##Modify the flavours to fit better
 233 #nova flavor-create FLAVOR_NAME FLAVOR_ID RAM_IN_MB ROOT_DISK_IN_GB NUMBER_OF_VCPUS
 234 #nova flavor-delete m1.tiny > /dev/null 2>&1
 235 #nova flavor-delete m1.small > /dev/null 2>&1
 236 #nova flavor-delete m1.medium > /dev/null 2>&1
 237 #nova flavor-delete m1.large > /dev/null 2>&1
 238 #nova flavor-delete m1.xlarge > /dev/null 2>&1
 239 #nova flavor-create --is-public true m1.tiny auto 512 5 1 > /dev/null 2>&1
 240 #nova flavor-create --is-public true m1.small auto 1024 10 1 > /dev/null 2>&1
 241 #nova flavor-create --is-public true m1.medium auto 2048 10 2 > /dev/null 2>&1
 242 #nova flavor-create --is-public true m1.large auto 3072 10 2 > /dev/null 2>&1
 243 ## need extra for windows image (15g)
 244 #nova flavor-create --is-public true m1.xlarge auto 8096 30 4  > /dev/null 2>&1
 245 #echo "modifying default quotas for admin user"
 246 #TENANT_ID=admin
 247 #Modify quotas for the tenant to allow large deployments
 248 #nova quota-update --instances 400 $TENANT_ID
 249 #nova quota-update --cores 800 $TENANT_ID
 250 #nova quota-update --ram 404800 $TENANT_ID
 251 #nova quota-update --security-groups 4000 $TENANT_ID
 252 #nova quota-update --floating_ips -1 $TENANT_ID
 253 #nova quota-update --security-group-rules -1 $TENANT_ID
 254 ### need to find how to change quota for the project not the tenant
 255 ### modify default quota the same way..
 256 #nova quota-class-update --instances 400 $TENANT_ID
 257 #nova quota-class-update --cores 800 $TENANT_ID
 258 #nova quota-class-update --ram 404800 $TENANT_ID
 259 #nova quota-class-update --security-groups 4000 $TENANT_ID
 260 #nova quota-class-update --floating-ips -1 $TENANT_ID
 261 #nova quota-class-update --security-group-rules -1 $TENANT_ID
 262