ci/openstack.sh

   1 #!/bin/bash -ex
   2
   3 ##############################################################################
   4 # All rights reserved. This program and the accompanying materials
   5 # are made available under the terms of the Apache License, Version 2.0
   6 # which accompanies this distribution, and is available at
   7 # http://www.apache.org/licenses/LICENSE-2.0
   8 ##############################################################################
   9
  10 if [ -f ./deployconfig.yaml ];then
  11     EXTERNAL_NETWORK=`grep floating-ip-range deployconfig.yaml | cut -d ' ' -f 4 `
  12
  13     # split EXTERNAL_NETWORK=first ip;last ip; gateway;network
  14
  15     EXTNET=(${EXTERNAL_NETWORK//,/ })
  16
  17     EXTNET_FIP=${EXTNET[0]}
  18     EXTNET_LIP=${EXTNET[1]}
  19     EXTNET_GW=${EXTNET[2]}
  20     EXTNET_NET=${EXTNET[3]}
  21     EXTNET_PORT=`grep "ext-port" deployconfig.yaml | cut -d ' ' -f 4 | sed -e 's/ //' | tr ',' ' '`
  22     ADMNET_GW=`grep "admNetgway" deployconfig.yaml | cut -d ' ' -f 4 | sed -e 's/ //' | tr ',' ' '`
  23     API_FQDN=`grep "os-domain-name" deployconfig.yaml | cut -d ' ' -f 4 | sed -e 's/ //' | tr ',' ' '`
  24 fi
  25
  26 # launch eth on computer nodes and remove default gw route
  27 launch_eth() {
  28     computer_list=$(juju status --format short | grep -Eo 'nova-compute/[0-9]')
  29     for node in $computer_list; do
  30         echo "node name is ${node}"
  31         juju ssh $node "sudo ifconfig $EXTNET_PORT up"
  32         #juju ssh $node "sudo route del default gw $ADMNET_GW"
  33     done
  34 }
  35
  36 # Update gateway mac to onos for l3 function
  37 update_gw_mac() {
  38     ## get gateway mac
  39     EXTNET_GW_MAC=$(juju ssh nova-compute/0 "arp -a ${EXTNET_GW} | grep -Eo '([0-9a-fA-F]{2})(([/\s:-][0-9a-fA-F]{2}){5})'")
  40     ## set external gateway mac in onos
  41     juju set onos-controller gateway-mac=$EXTNET_GW_MAC
  42 }
  43
  44 unitAddress() {
  45         juju status | python -c "import yaml; import sys; print yaml.load(sys.stdin)[\"services\"][\"$1\"][\"units\"][\"$1/$2\"][\"public-address\"]" 2> /dev/null
  46 }
  47
  48 unitMachine() {
  49         juju status | python -c "import yaml; import sys; print yaml.load(sys.stdin)[\"services\"][\"$1\"][\"units\"][\"$1/$2\"][\"machine\"]" 2> /dev/null
  50 }
  51
  52 keystoneIp() {
  53     KEYSTONE=$(juju status keystone |grep public-address|sed -- 's/.*\: //')
  54     if [ $(echo $KEYSTONE|wc -w) == 1 ];then
  55         echo $KEYSTONE
  56     else
  57         juju get keystone | python -c "import yaml; import sys; print yaml.load(sys.stdin)['settings']['vip']['value']"
  58     fi
  59 }
  60
  61 # create external network and subnet in openstack
  62 create_openrc() {
  63     mkdir -m 0700 -p cloud
  64     keystoneIp=$(keystoneIp)
  65     adminPasswd=$(juju get keystone | grep admin-password -A 5 | grep value | awk '{print $2}' 2> /dev/null)
  66     configOpenrc admin $adminPasswd admin http://$keystoneIp:5000/v2.0 Canonical > cloud/admin-openrc
  67     chmod 0600 cloud/admin-openrc
  68 }
  69
  70 configOpenrc() {
  71     cat <<-EOF
  72         export OS_USERNAME=$1
  73         export OS_PASSWORD=$2
  74         export OS_TENANT_NAME=$3
  75         export OS_AUTH_URL=$4
  76         export OS_REGION_NAME=$5
  77         export OS_ENDPOINT_TYPE='internalURL'
  78         export CINDER_ENDPOINT_TYPE='internalURL'
  79         export GLANCE_ENDPOINT_TYPE='internalURL'
  80         export KEYSTONE_ENDPOINT_TYPE='internalURL'
  81         export NEUTRON_ENDPOINT_TYPE='internalURL'
  82         export NOVA_ENDPOINT_TYPE='internalURL'
  83 EOF
  84 }
  85
  86 if [ "$API_FQDN" != "''" ]; then
  87     # Push api fqdn local ip to all /etc/hosts
  88     API_FQDN=$(juju get keystone | python -c "import yaml; import sys;\
  89         print yaml.load(sys.stdin)['settings']['os-public-hostname']['value']")
  90
  91     KEYSTONEIP=$(keystoneIp)
  92     juju run --all "if grep $API_FQDN /etc/hosts > /dev/null; then \
  93                         echo 'API FQDN already present'; \
  94                     else \
  95                         sudo sh -c 'echo $KEYSTONEIP $API_FQDN >> /etc/hosts'; \
  96                         echo 'API FQDN injected'; \
  97                     fi"
  98
  99     #change in jumphost as well as below commands will run on jumphost
 100
 101     if grep $API_FQDN /etc/hosts; then
 102         echo 'API FQDN already present'
 103     else
 104         sudo sh -c "echo $KEYSTONEIP $API_FQDN >> /etc/hosts"
 105         echo 'API FQDN injected'
 106     fi
 107 fi
 108
 109 # Create an load openrc
 110 create_openrc
 111 . ./cloud/admin-openrc
 112
 113 #wget -P /tmp/images http://download.cirros-cloud.net/0.3.3/cirros-0.3.3-x86_64-disk.img
 114 #openstack image create --file /tmp/images/cirros-0.3.3-x86_64-disk.img --disk-format qcow2 --container-format bare "cirros-0.3.3-x86_64"
 115
 116 #wget -P /tmp/images http://cloud-images.ubuntu.com/trusty/current/trusty-server-cloudimg-amd64-disk1.img
 117 #openstack image create --file /tmp/images/trusty-server-cloudimg-amd64-disk1.img --disk-format qcow2 --container-format bare "ubuntu-trusty-daily"
 118 #wget -P /tmp/images http://cloud-images.ubuntu.com/trusty/current/xenial-server-cloudimg-amd64.tar.gz
 119 #openstack image create --file /tmp/images/xenial-server-cloudimg-amd64.tar.gz --container-format bare --disk-format raw "xenial-server-cloudimg-amd64"
 120
 121 #rm -rf /tmp/images
 122
 123 # adjust tiny image
 124 #nova flavor-delete m1.tiny
 125 #nova flavor-create m1.tiny 1 512 8 1
 126
 127
 128 # import key pair
 129 #openstack project create --description "Demo Tenant" demo
 130 #openstack user create --project demo --password demo --email demo@demo.demo demo
 131
 132 #openstack keypair create --public-key ~/.ssh/id_rsa.pub ubuntu-keypair
 133
 134 #Modify the flavours to fit better
 135 #nova flavor-create FLAVOR_NAME FLAVOR_ID RAM_IN_MB ROOT_DISK_IN_GB NUMBER_OF_VCPUS
 136 nova flavor-delete m1.tiny > /dev/null 2>&1
 137 nova flavor-delete m1.small > /dev/null 2>&1
 138 nova flavor-delete m1.medium > /dev/null 2>&1
 139 nova flavor-delete m1.large > /dev/null 2>&1
 140 nova flavor-delete m1.xlarge > /dev/null 2>&1
 141 nova flavor-create --is-public true m1.tiny auto 512 5 1 > /dev/null 2>&1
 142 nova flavor-create --is-public true m1.small auto 1024 10 1 > /dev/null 2>&1
 143 nova flavor-create --is-public true m1.medium auto 2048 10 2 > /dev/null 2>&1
 144 nova flavor-create --is-public true m1.large auto 3072 10 2 > /dev/null 2>&1
 145 ## need extra for windows image (15g)
 146 nova flavor-create --is-public true m1.xlarge auto 8096 30 4  > /dev/null 2>&1
 147
 148 echo "modifying default quotas for admin user"
 149
 150 TENANT_ID=admin
 151
 152 #Modify quotas for the tenant to allow large deployments
 153 nova quota-update --instances 400 $TENANT_ID
 154 nova quota-update --cores 800 $TENANT_ID
 155 nova quota-update --ram 404800 $TENANT_ID
 156 nova quota-update --security-groups 4000 $TENANT_ID
 157 nova quota-update --floating_ips -1 $TENANT_ID
 158 nova quota-update --security-group-rules -1 $TENANT_ID
 159
 160 ### need to find how to change quota for the project not the tenant
 161
 162 ### modify default quota the same way..
 163 nova quota-class-update --instances 400 $TENANT_ID
 164 nova quota-class-update --cores 800 $TENANT_ID
 165 nova quota-class-update --ram 404800 $TENANT_ID
 166 nova quota-class-update --security-groups 4000 $TENANT_ID
 167 nova quota-class-update --floating-ips -1 $TENANT_ID
 168 nova quota-class-update --security-group-rules -1 $TENANT_ID
 169
 170 # configure external network
 171
 172 ##
 173 ## Create external subnet Network
 174 ##
 175
 176 neutron net-create ext-net --shared --router:external=True
 177
 178 if [ "onos" == "$1" ]; then
 179     launch_eth
 180     neutron subnet-create ext-net --name ext-subnet $EXTNET_NET
 181     #update_gw_mac
 182 elif [ "nosdn" == "$1" ]; then
 183     neutron subnet-create ext-net --name ext-subnet \
 184        --allocation-pool start=$EXTNET_FIP,end=$EXTNET_LIP \
 185        --disable-dhcp --gateway $EXTNET_GW --dns-nameserver 8.8.8.8 $EXTNET_NET
 186     # configure security groups
 187     #neutron security-group-rule-create --direction ingress --ethertype IPv4 --protocol icmp --remote-ip-prefix 0.0.0.0/0 default
 188     #neutron security-group-rule-create --direction ingress --ethertype IPv4 --protocol tcp --port-range-min 22 --port-range-max 22 --remote-ip-prefix 0.0.0.0/0 default
 189 else
 190     neutron subnet-create ext-net --name ext-subnet \
 191        --allocation-pool start=$EXTNET_FIP,end=$EXTNET_LIP \
 192        --disable-dhcp --gateway $EXTNET_GW --dns-nameserver 8.8.8.8 $EXTNET_NET
 193 fi
 194
 195
 196 # create vm network
 197 neutron net-create demo-net
 198 neutron subnet-create --name demo-subnet --gateway 10.20.5.1 demo-net 10.20.5.0/24
 199
 200 neutron router-create demo-router
 201
 202 neutron router-interface-add demo-router demo-subnet
 203
 204 neutron router-gateway-set demo-router ext-net
 205
 206 # create pool of floating ips
 207 i=0
 208 while [ $i -ne 3 ]; do
 209     neutron floatingip-create ext-net
 210     i=$((i + 1))
 211 done
 212
 213 #http://docs.openstack.org/juno/install-guide/install/apt/content/launch-instance-neutron.html
 214 # nova boot --flavor m1.small --image cirros-0.3.3-x86_64 --nic net-id=b65479a4-3638-4595-9245-6e41ccd8bfd8 --security-group default --key-name ubuntu-keypair demo-instance1
 215 # nova floating-ip-associate demo-instance1 10.5.8.35
 216
 217 # Create Congress datasources
 218 sudo apt-get install -y python-congressclient
 219 openstack congress datasource create nova "nova" \
 220   --config username=$OS_USERNAME \
 221   --config tenant_name=$OS_TENANT_NAME \
 222   --config password=$OS_PASSWORD \
 223   --config auth_url=http://$keystoneIp:5000/v2.0
 224 openstack congress datasource create neutronv2 "neutronv2" \
 225   --config username=$OS_USERNAME \
 226   --config tenant_name=$OS_TENANT_NAME \
 227   --config password=$OS_PASSWORD \
 228   --config auth_url=http://$keystoneIp:5000/v2.0
 229 openstack congress datasource create ceilometer "ceilometer" \
 230   --config username=$OS_USERNAME \
 231   --config tenant_name=$OS_TENANT_NAME \
 232   --config password=$OS_PASSWORD \
 233   --config auth_url=http://$keystoneIp:5000/v2.0
 234 openstack congress datasource create cinder "cinder" \
 235   --config username=$OS_USERNAME \
 236   --config tenant_name=$OS_TENANT_NAME \
 237   --config password=$OS_PASSWORD \
 238   --config auth_url=http://$keystoneIp:5000/v2.0
 239 openstack congress datasource create glancev2 "glancev2" \
 240   --config username=$OS_USERNAME \
 241   --config tenant_name=$OS_TENANT_NAME \
 242   --config password=$OS_PASSWORD \
 243   --config auth_url=http://$keystoneIp:5000/v2.0
 244 openstack congress datasource create keystone "keystone" \
 245   --config username=$OS_USERNAME \
 246   --config tenant_name=$OS_TENANT_NAME \
 247   --config password=$OS_PASSWORD \
 248   --config auth_url=http://$keystoneIp:5000/v2.0