Merge "Fixes nic template missing in spec and error catching"
[apex.git] / ci / deploy.sh
1 #!/bin/bash
2 ##############################################################################
3 # Copyright (c) 2015 Tim Rozet (Red Hat), Dan Radez (Red Hat) and others.
4 #
5 # All rights reserved. This program and the accompanying materials
6 # are made available under the terms of the Apache License, Version 2.0
7 # which accompanies this distribution, and is available at
8 # http://www.apache.org/licenses/LICENSE-2.0
9 ##############################################################################
10
11 # Deploy script to install provisioning server for OPNFV Apex
12 # author: Dan Radez (dradez@redhat.com)
13 # author: Tim Rozet (trozet@redhat.com)
14 #
15 # Based on RDO Manager http://www.rdoproject.org
16
17 set -e
18
19 ##VARIABLES
20 reset=$(tput sgr0 || echo "")
21 blue=$(tput setaf 4 || echo "")
22 red=$(tput setaf 1 || echo "")
23 green=$(tput setaf 2 || echo "")
24
25 vm_index=4
26 interactive="FALSE"
27 ping_site="8.8.8.8"
28 ntp_server="pool.ntp.org"
29 net_isolation_enabled="TRUE"
30 post_config="TRUE"
31 debug="FALSE"
32
33 declare -i CNT
34 declare UNDERCLOUD
35 declare -A deploy_options_array
36 declare -a performance_options
37 declare -A NET_MAP
38
39 SSH_OPTIONS=(-o StrictHostKeyChecking=no -o GlobalKnownHostsFile=/dev/null -o UserKnownHostsFile=/dev/null -o LogLevel=error)
40 DEPLOY_OPTIONS=""
41 RESOURCES=${RESOURCES:-'/var/opt/opnfv/images'}
42 CONFIG=${CONFIG:-'/var/opt/opnfv'}
43 OPNFV_NETWORK_TYPES="admin_network private_network public_network storage_network"
44 VM_CPUS=4
45 VM_RAM=8
46 # Netmap used to map networks to OVS bridge names
47 NET_MAP['admin_network']="br-admin"
48 NET_MAP['private_network']="br-private"
49 NET_MAP['public_network']="br-public"
50 NET_MAP['storage_network']="br-storage"
51 ext_net_type="interface"
52 ip_address_family=4
53
54 ##FUNCTIONS
55 ##translates yaml into variables
56 ##params: filename, prefix (ex. "config_")
57 ##usage: parse_yaml opnfv_ksgen_settings.yml "config_"
58 parse_yaml() {
59    local prefix=$2
60    local s='[[:space:]]*' w='[a-zA-Z0-9_]*' fs=$(echo @|tr @ '\034')
61    sed -ne "s|^\($s\)\($w\)$s:$s\"\(.*\)\"$s\$|\1$fs\2$fs\3|p" \
62         -e "s|^\($s\)\($w\)$s:$s\(.*\)$s\$|\1$fs\2$fs\3|p"  $1 |
63    awk -F$fs '{
64       indent = length($1)/2;
65       vname[indent] = $2;
66       for (i in vname) {if (i > indent) {delete vname[i]}}
67       if (length($3) > 0) {
68          vn=""; for (i=0; i<indent; i++) {vn=(vn)(vname[i])("_")}
69          printf("%s%s%s=%s\n", "'$prefix'",vn, $2, $3);
70       }
71    }'
72 }
73
74 ##checks if prefix exists in string
75 ##params: string, prefix
76 ##usage: contains_prefix "deploy_setting_launcher=1" "deploy_setting"
77 contains_prefix() {
78   local mystr=$1
79   local prefix=$2
80   if echo $mystr | grep -E "^$prefix.*$" > /dev/null; then
81     return 0
82   else
83     return 1
84   fi
85 }
86 ##parses variable from a string with '='
87 ##and removes global prefix
88 ##params: string, prefix
89 ##usage: parse_setting_var 'deploy_myvar=2' 'deploy_'
90 parse_setting_var() {
91   local mystr=$1
92   local prefix=$2
93   if echo $mystr | grep -E "^.+\=" > /dev/null; then
94     echo $(echo $mystr | grep -Eo "^.+\=" | tr -d '=' |  sed 's/^'"$prefix"'//')
95   else
96     return 1
97   fi
98 }
99 ##parses value from a string with '='
100 ##params: string
101 ##usage: parse_setting_value
102 parse_setting_value() {
103   local mystr=$1
104   echo $(echo $mystr | grep -Eo "\=.*$" | tr -d '=')
105 }
106
107 ##parses network settings yaml into globals
108 parse_network_settings() {
109   if local output=$(python3.4 -B $CONFIG/lib/python/apex-python-utils.py parse_net_settings -n $NETSETS -i $net_isolation_enabled); then
110       echo -e "${blue}${output}${reset}"
111       eval "$output"
112   else
113       echo -e "${red}ERROR: Failed to parse network settings file $NETSETS ${reset}"
114       exit 1
115   fi
116 }
117
118 ##parses deploy settings yaml into globals
119 parse_deploy_settings() {
120   if local output=$(python3.4 -B $CONFIG/lib/python/apex-python-utils.py parse-deploy-settings -f $DEPLOY_SETTINGS_FILE); then
121       echo -e "${blue}${output}${reset}"
122       eval "$output"
123   else
124       echo -e "${red}ERROR: Failed to parse deploy settings file $DEPLOY_SETTINGS_FILE ${reset}"
125       exit 1
126   fi
127 }
128
129 ##parses baremetal yaml settings into compatible json
130 ##writes the json to $CONFIG/instackenv_tmp.json
131 ##params: none
132 ##usage: parse_inventory_file
133 parse_inventory_file() {
134   local inventory=$(parse_yaml $INVENTORY_FILE)
135   local node_list
136   local node_prefix="node"
137   local node_count=0
138   local node_total
139   local inventory_list
140
141   # detect number of nodes
142   for entry in $inventory; do
143     if echo $entry | grep -Eo "^nodes_node[0-9]+_" > /dev/null; then
144       this_node=$(echo $entry | grep -Eo "^nodes_node[0-9]+_")
145       if [[ "$inventory_list" != *"$this_node"* ]]; then
146         inventory_list+="$this_node "
147       fi
148     fi
149   done
150
151   inventory_list=$(echo $inventory_list | sed 's/ $//')
152
153   for node in $inventory_list; do
154     ((node_count+=1))
155   done
156
157   node_total=$node_count
158
159   if [[ "$node_total" -lt 5 && ( ha_enabled == "TRUE" || "$ha_enabled" == "true" ) ]]; then
160     echo -e "${red}ERROR: You must provide at least 5 nodes for HA baremetal deployment${reset}"
161     exit 1
162   elif [[ "$node_total" -lt 2 ]]; then
163     echo -e "${red}ERROR: You must provide at least 2 nodes for non-HA baremetal deployment${reset}"
164     exit 1
165   fi
166
167   eval $(parse_yaml $INVENTORY_FILE) || {
168     echo "${red}Failed to parse inventory.yaml. Aborting.${reset}"
169     exit 1
170   }
171
172   instackenv_output="
173 {
174  \"nodes\" : [
175
176 "
177   node_count=0
178   for node in $inventory_list; do
179     ((node_count+=1))
180     node_output="
181         {
182           \"pm_password\": \"$(eval echo \${${node}ipmi_pass})\",
183           \"pm_type\": \"$(eval echo \${${node}pm_type})\",
184           \"mac\": [
185             \"$(eval echo \${${node}mac_address})\"
186           ],
187           \"cpu\": \"$(eval echo \${${node}cpus})\",
188           \"memory\": \"$(eval echo \${${node}memory})\",
189           \"disk\": \"$(eval echo \${${node}disk})\",
190           \"arch\": \"$(eval echo \${${node}arch})\",
191           \"pm_user\": \"$(eval echo \${${node}ipmi_user})\",
192           \"pm_addr\": \"$(eval echo \${${node}ipmi_ip})\",
193           \"capabilities\": \"$(eval echo \${${node}capabilities})\"
194 "
195     instackenv_output+=${node_output}
196     if [ $node_count -lt $node_total ]; then
197       instackenv_output+="        },"
198     else
199       instackenv_output+="        }"
200     fi
201   done
202
203   instackenv_output+='
204   ]
205 }
206 '
207   #Copy instackenv.json to undercloud for baremetal
208   echo -e "{blue}Parsed instackenv JSON:\n${instackenv_output}${reset}"
209   ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" <<EOI
210 cat > instackenv.json << EOF
211 $instackenv_output
212 EOF
213 EOI
214
215 }
216 ##verify internet connectivity
217 #params: none
218 function verify_internet {
219   if ping -c 2 $ping_site > /dev/null; then
220     if ping -c 2 www.google.com > /dev/null; then
221       echo "${blue}Internet connectivity detected${reset}"
222       return 0
223     else
224       echo "${red}Internet connectivity detected, but DNS lookup failed${reset}"
225       return 1
226     fi
227   else
228     echo "${red}No internet connectivity detected${reset}"
229     return 1
230   fi
231 }
232
233 ##download dependencies if missing and configure host
234 #params: none
235 function configure_deps {
236   if ! verify_internet; then
237     echo "${red}Will not download dependencies${reset}"
238     internet=false
239   fi
240
241   # verify ip forwarding
242   if sysctl net.ipv4.ip_forward | grep 0; then
243     sudo sysctl -w net.ipv4.ip_forward=1
244     sudo sh -c "echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf"
245   fi
246
247   # ensure no dhcp server is running on jumphost
248   if ! sudo systemctl status dhcpd | grep dead; then
249     echo "${red}WARN: DHCP Server detected on jumphost, disabling...${reset}"
250     sudo systemctl stop dhcpd
251     sudo systemctl disable dhcpd
252   fi
253
254   # ensure networks are configured
255   systemctl status libvirtd || systemctl start libvirtd
256   systemctl status openvswitch || systemctl start openvswitch
257
258   # If flat we only use admin network
259   if [[ "$net_isolation_enabled" == "FALSE" ]]; then
260     virsh_enabled_networks="admin_network"
261     enabled_network_list="admin_network"
262   # For baremetal we only need to create/attach Undercloud to admin and public
263   elif [ "$virtual" == "FALSE" ]; then
264     virsh_enabled_networks="admin_network public_network"
265   else
266     virsh_enabled_networks=$enabled_network_list
267   fi
268
269   # ensure default network is configured correctly
270   libvirt_dir="/usr/share/libvirt/networks"
271   virsh net-list --all | grep default || virsh net-define ${libvirt_dir}/default.xml
272   virsh net-list --all | grep -E "default\s+active" > /dev/null || virsh net-start default
273   virsh net-list --all | grep -E "default\s+active\s+yes" > /dev/null || virsh net-autostart --network default
274
275   for network in ${OPNFV_NETWORK_TYPES}; do
276     echo "${blue}INFO: Creating Virsh Network: $network & OVS Bridge: ${NET_MAP[$network]}${reset}"
277     ovs-vsctl list-br | grep "^${NET_MAP[$network]}$" > /dev/null || ovs-vsctl add-br ${NET_MAP[$network]}
278     virsh net-list --all | grep $network > /dev/null || (cat > ${libvirt_dir}/apex-virsh-net.xml && virsh net-define ${libvirt_dir}/apex-virsh-net.xml) << EOF
279 <network>
280   <name>$network</name>
281   <forward mode='bridge'/>
282   <bridge name='${NET_MAP[$network]}'/>
283   <virtualport type='openvswitch'/>
284 </network>
285 EOF
286     if ! (virsh net-list --all | grep $network > /dev/null); then
287         echo "${red}ERROR: unable to create network: ${network}${reset}"
288         exit 1;
289     fi
290     rm -f ${libvirt_dir}/apex-virsh-net.xml &> /dev/null;
291     virsh net-list | grep -E "$network\s+active" > /dev/null || virsh net-start $network
292     virsh net-list | grep -E "$network\s+active\s+yes" > /dev/null || virsh net-autostart --network $network
293   done
294
295   echo -e "${blue}INFO: Bridges set: ${reset}"
296   ovs-vsctl list-br
297   echo -e "${blue}INFO: virsh networks set: ${reset}"
298   virsh net-list
299
300   if [[ -z "$virtual" || "$virtual" == "FALSE" ]]; then
301     # bridge interfaces to correct OVS instances for baremetal deployment
302     for network in ${enabled_network_list}; do
303       if [[ "$network" != "admin_network" && "$network" != "public_network" ]]; then
304         continue
305       fi
306       this_interface=$(eval echo \${${network}_bridged_interface})
307       # check if this a bridged interface for this network
308       if [[ ! -z "$this_interface" || "$this_interface" != "none" ]]; then
309         if ! attach_interface_to_ovs ${NET_MAP[$network]} ${this_interface} ${network}; then
310           echo -e "${red}ERROR: Unable to bridge interface ${this_interface} to bridge ${NET_MAP[$network]} for enabled network: ${network}${reset}"
311           exit 1
312         else
313           echo -e "${blue}INFO: Interface ${this_interface} bridged to bridge ${NET_MAP[$network]} for enabled network: ${network}${reset}"
314         fi
315       else
316         echo "${red}ERROR: Unable to determine interface to bridge to for enabled network: ${network}${reset}"
317         exit 1
318       fi
319     done
320   fi
321
322   # ensure storage pool exists and is started
323   virsh pool-list --all | grep default > /dev/null || virsh pool-define-as --name default dir --target /var/lib/libvirt/images
324   virsh pool-list | grep -Eo "default\s+active" > /dev/null || (virsh pool-autostart default; virsh pool-start default)
325
326   if ! egrep '^flags.*(vmx|svm)' /proc/cpuinfo > /dev/null; then
327     echo "${red}virtualization extensions not found, kvm kernel module insertion may fail.\n  \
328 Are you sure you have enabled vmx in your bios or hypervisor?${reset}"
329   fi
330
331   if ! lsmod | grep kvm > /dev/null; then modprobe kvm; fi
332   if ! lsmod | grep kvm_intel > /dev/null; then modprobe kvm_intel; fi
333
334   if ! lsmod | grep kvm > /dev/null; then
335     echo "${red}kvm kernel modules not loaded!${reset}"
336     return 1
337   fi
338
339   ##sshkeygen for root
340   if [ ! -e ~/.ssh/id_rsa.pub ]; then
341     ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa
342   fi
343
344   echo "${blue}All dependencies installed and running${reset}"
345 }
346
347 ##verify vm exists, an has a dhcp lease assigned to it
348 ##params: none
349 function setup_undercloud_vm {
350   if ! virsh list --all | grep undercloud > /dev/null; then
351       undercloud_nets="default admin_network"
352       if [[ $enabled_network_list =~ "public_network" ]]; then
353         undercloud_nets+=" public_network"
354       fi
355       define_vm undercloud hd 30 "$undercloud_nets" 4 12288
356
357       ### this doesn't work for some reason I was getting hangup events so using cp instead
358       #virsh vol-upload --pool default --vol undercloud.qcow2 --file $CONFIG/stack/undercloud.qcow2
359       #2015-12-05 12:57:20.569+0000: 8755: info : libvirt version: 1.2.8, package: 16.el7_1.5 (CentOS BuildSystem <http://bugs.centos.org>, 2015-11-03-13:56:46, worker1.bsys.centos.org)
360       #2015-12-05 12:57:20.569+0000: 8755: warning : virKeepAliveTimerInternal:143 : No response from client 0x7ff1e231e630 after 6 keepalive messages in 35 seconds
361       #2015-12-05 12:57:20.569+0000: 8756: warning : virKeepAliveTimerInternal:143 : No response from client 0x7ff1e231e630 after 6 keepalive messages in 35 seconds
362       #error: cannot close volume undercloud.qcow2
363       #error: internal error: received hangup / error event on socket
364       #error: Reconnected to the hypervisor
365
366       local undercloud_dst=/var/lib/libvirt/images/undercloud.qcow2
367       cp -f $RESOURCES/undercloud.qcow2 $undercloud_dst
368
369       # resize Undercloud machine
370       echo "Checking if Undercloud needs to be resized..."
371       undercloud_size=$(LIBGUESTFS_BACKEND=direct virt-filesystems --long -h --all -a $undercloud_dst |grep device | grep -Eo "[0-9\.]+G" | sed -n 's/\([0-9][0-9]*\).*/\1/p')
372       if [ "$undercloud_size" -lt 30 ]; then
373         qemu-img resize /var/lib/libvirt/images/undercloud.qcow2 +25G
374         LIBGUESTFS_BACKEND=direct virt-resize --expand /dev/sda1 $RESOURCES/undercloud.qcow2 $undercloud_dst
375         LIBGUESTFS_BACKEND=direct virt-customize -a $undercloud_dst --run-command 'xfs_growfs -d /dev/sda1 || true'
376         new_size=$(LIBGUESTFS_BACKEND=direct virt-filesystems --long -h --all -a $undercloud_dst |grep filesystem | grep -Eo "[0-9\.]+G" | sed -n 's/\([0-9][0-9]*\).*/\1/p')
377         if [ "$new_size" -lt 30 ]; then
378           echo "Error resizing Undercloud machine, disk size is ${new_size}"
379           exit 1
380         else
381           echo "Undercloud successfully resized"
382         fi
383       else
384         echo "Skipped Undercloud resize, upstream is large enough"
385       fi
386
387   else
388       echo "Found Undercloud VM, using existing VM"
389   fi
390
391   # if the VM is not running update the authkeys and start it
392   if ! virsh list | grep undercloud > /dev/null; then
393     echo "Injecting ssh key to Undercloud VM"
394     LIBGUESTFS_BACKEND=direct virt-customize -a $undercloud_dst --run-command "mkdir -p /root/.ssh/" \
395         --upload ~/.ssh/id_rsa.pub:/root/.ssh/authorized_keys \
396         --run-command "chmod 600 /root/.ssh/authorized_keys && restorecon /root/.ssh/authorized_keys" \
397         --run-command "cp /root/.ssh/authorized_keys /home/stack/.ssh/" \
398         --run-command "chown stack:stack /home/stack/.ssh/authorized_keys && chmod 600 /home/stack/.ssh/authorized_keys"
399     virsh start undercloud
400   fi
401
402   sleep 10 # let undercloud get started up
403
404   # get the undercloud VM IP
405   CNT=10
406   echo -n "${blue}Waiting for Undercloud's dhcp address${reset}"
407   undercloud_mac=$(virsh domiflist undercloud | grep default | awk '{ print $5 }')
408   while ! $(arp -e | grep ${undercloud_mac} > /dev/null) && [ $CNT -gt 0 ]; do
409       echo -n "."
410       sleep 10
411       CNT=$((CNT-1))
412   done
413   UNDERCLOUD=$(arp -e | grep ${undercloud_mac} | awk {'print $1'})
414
415   if [ -z "$UNDERCLOUD" ]; then
416     echo "\n\nCan't get IP for Undercloud. Can Not Continue."
417     exit 1
418   else
419      echo -e "${blue}\rUndercloud VM has IP $UNDERCLOUD${reset}"
420   fi
421
422   CNT=10
423   echo -en "${blue}\rValidating Undercloud VM connectivity${reset}"
424   while ! ping -c 1 $UNDERCLOUD > /dev/null && [ $CNT -gt 0 ]; do
425       echo -n "."
426       sleep 3
427       CNT=$((CNT-1))
428   done
429   if [ "$CNT" -eq 0 ]; then
430       echo "Failed to contact Undercloud. Can Not Continue"
431       exit 1
432   fi
433   CNT=10
434   while ! ssh -T ${SSH_OPTIONS[@]} "root@$UNDERCLOUD" "echo ''" 2>&1> /dev/null && [ $CNT -gt 0 ]; do
435       echo -n "."
436       sleep 3
437       CNT=$((CNT-1))
438   done
439   if [ "$CNT" -eq 0 ]; then
440       echo "Failed to connect to Undercloud. Can Not Continue"
441       exit 1
442   fi
443
444   # extra space to overwrite the previous connectivity output
445   echo -e "${blue}\r                                                                 ${reset}"
446   sleep 1
447   ssh -T ${SSH_OPTIONS[@]} "root@$UNDERCLOUD" "if ! ip a s eth2 | grep ${public_network_provisioner_ip} > /dev/null; then ip a a ${public_network_provisioner_ip}/${public_network_cidr##*/} dev eth2; ip link set up dev eth2; fi"
448
449   # ssh key fix for stack user
450   ssh -T ${SSH_OPTIONS[@]} "root@$UNDERCLOUD" "restorecon -r /home/stack"
451 }
452
453 ##Create virtual nodes in virsh
454 ##params: vcpus, ramsize
455 function setup_virtual_baremetal {
456   local vcpus ramsize
457   if [ -z "$1" ]; then
458     vcpus=4
459     ramsize=8192
460   elif [ -z "$2" ]; then
461     vcpus=$1
462     ramsize=8192
463   else
464     vcpus=$1
465     ramsize=$(($2*1024))
466   fi
467   #start by generating the opening json for instackenv.json
468   cat > $CONFIG/instackenv-virt.json << EOF
469 {
470   "nodes": [
471 EOF
472
473   # next create the virtual machines and add their definitions to the file
474   for i in $(seq 0 $vm_index); do
475     if ! virsh list --all | grep baremetal${i} > /dev/null; then
476       define_vm baremetal${i} network 41 'admin_network' $vcpus $ramsize
477       for n in private_network public_network storage_network; do
478         if [[ $enabled_network_list =~ $n ]]; then
479           echo -n "$n "
480           virsh attach-interface --domain baremetal${i} --type network --source $n --model rtl8139 --config
481         fi
482       done
483     else
484       echo "Found Baremetal ${i} VM, using existing VM"
485     fi
486     #virsh vol-list default | grep baremetal${i} 2>&1> /dev/null || virsh vol-create-as default baremetal${i}.qcow2 41G --format qcow2
487     mac=$(virsh domiflist baremetal${i} | grep admin_network | awk '{ print $5 }')
488
489     cat >> $CONFIG/instackenv-virt.json << EOF
490     {
491       "pm_addr": "192.168.122.1",
492       "pm_user": "root",
493       "pm_password": "INSERT_STACK_USER_PRIV_KEY",
494       "pm_type": "pxe_ssh",
495       "mac": [
496         "$mac"
497       ],
498       "cpu": "$vcpus",
499       "memory": "$ramsize",
500       "disk": "41",
501       "arch": "x86_64"
502     },
503 EOF
504   done
505
506   #truncate the last line to remove the comma behind the bracket
507   tail -n 1 $CONFIG/instackenv-virt.json | wc -c | xargs -I {} truncate $CONFIG/instackenv-virt.json -s -{}
508
509   #finally reclose the bracket and close the instackenv.json file
510   cat >> $CONFIG/instackenv-virt.json << EOF
511     }
512   ],
513   "arch": "x86_64",
514   "host-ip": "192.168.122.1",
515   "power_manager": "nova.virt.baremetal.virtual_power_driver.VirtualPowerManager",
516   "seed-ip": "",
517   "ssh-key": "INSERT_STACK_USER_PRIV_KEY",
518   "ssh-user": "root"
519 }
520 EOF
521 }
522
523 ##Create virtual nodes in virsh
524 ##params: name - String: libvirt name for VM
525 ##        bootdev - String: boot device for the VM
526 ##        disksize - Number: size of the disk in GB
527 ##        ovs_bridges: - List: list of ovs bridges
528 ##        vcpus - Number of VCPUs to use (defaults to 4)
529 ##        ramsize - Size of RAM for VM in MB (defaults to 8192)
530 function define_vm () {
531   local vcpus ramsize
532
533   if [ -z "$5" ]; then
534     vcpus=4
535     ramsize=8388608
536   elif [ -z "$6" ]; then
537     vcpus=$5
538     ramsize=8388608
539   else
540     vcpus=$5
541     ramsize=$(($6*1024))
542   fi
543
544   # Create the libvirt storage volume
545   if virsh vol-list default | grep ${1}.qcow2 2>&1> /dev/null; then
546     volume_path=$(virsh vol-path --pool default ${1}.qcow2 || echo "/var/lib/libvirt/images/${1}.qcow2")
547     echo "Volume ${1} exists. Deleting Existing Volume $volume_path"
548     virsh vol-dumpxml ${1}.qcow2 --pool default > /dev/null || echo '' #ok for this to fail
549     touch $volume_path
550     virsh vol-delete ${1}.qcow2 --pool default
551   fi
552   virsh vol-create-as default ${1}.qcow2 ${3}G --format qcow2
553   volume_path=$(virsh vol-path --pool default ${1}.qcow2)
554   if [ ! -f $volume_path ]; then
555       echo "$volume_path Not created successfully... Aborting"
556       exit 1
557   fi
558
559   # create the VM
560   /usr/libexec/openstack-tripleo/configure-vm --name $1 \
561                                               --bootdev $2 \
562                                               --image "$volume_path" \
563                                               --diskbus sata \
564                                               --arch x86_64 \
565                                               --cpus $vcpus \
566                                               --memory $ramsize \
567                                               --libvirt-nic-driver virtio \
568                                               --baremetal-interface $4
569 }
570
571 ##Set network-environment settings
572 ##params: network-environment file to edit
573 function configure_network_environment {
574   local tht_dir
575   tht_dir=/usr/share/openstack-tripleo-heat-templates/network
576
577   sed -i '/ControlPlaneSubnetCidr/c\\  ControlPlaneSubnetCidr: "'${admin_network_cidr##*/}'"' $1
578   sed -i '/ControlPlaneDefaultRoute/c\\  ControlPlaneDefaultRoute: '${admin_network_provisioner_ip}'' $1
579   sed -i '/ExternalNetCidr/c\\  ExternalNetCidr: '${public_network_cidr}'' $1
580   sed -i "/ExternalAllocationPools/c\\  ExternalAllocationPools: [{'start': '${public_network_usable_ip_range%%,*}', 'end': '${public_network_usable_ip_range##*,}'}]" $1
581   sed -i '/ExternalInterfaceDefaultRoute/c\\  ExternalInterfaceDefaultRoute: '${public_network_gateway}'' $1
582   sed -i '/EC2MetadataIp/c\\  EC2MetadataIp: '${admin_network_provisioner_ip}'' $1
583
584   # check for private network
585   if [[ ! -z "$private_network_enabled" && "$private_network_enabled" == "True" ]]; then
586       sed -i 's#^.*Network::Tenant.*$#  OS::TripleO::Network::Tenant: '${tht_dir}'/tenant.yaml#' $1
587       sed -i 's#^.*Controller::Ports::TenantPort:.*$#  OS::TripleO::Controller::Ports::TenantPort: '${tht_dir}'/ports/tenant.yaml#' $1
588       sed -i 's#^.*Compute::Ports::TenantPort:.*$#  OS::TripleO::Compute::Ports::TenantPort: '${tht_dir}'/ports/tenant.yaml#' $1
589       sed -i "/TenantAllocationPools/c\\  TenantAllocationPools: [{'start': '${private_network_usable_ip_range%%,*}', 'end': '${private_network_usable_ip_range##*,}'}]" $1
590       sed -i '/TenantNetCidr/c\\  TenantNetCidr: '${private_network_cidr}'' $1
591   else
592       sed -i 's#^.*Network::Tenant.*$#  OS::TripleO::Network::Tenant: '${tht_dir}'/noop.yaml#' $1
593       sed -i 's#^.*Controller::Ports::TenantPort:.*$#  OS::TripleO::Controller::Ports::TenantPort: '${tht_dir}'/ports/noop.yaml#' $1
594       sed -i 's#^.*Compute::Ports::TenantPort:.*$#  OS::TripleO::Compute::Ports::TenantPort: '${tht_dir}'/ports/noop.yaml#' $1
595   fi
596
597   # check for storage network
598   if [[ ! -z "$storage_network_enabled" && "$storage_network_enabled" == "True" ]]; then
599       sed -i 's#^.*Network::Storage:.*$#  OS::TripleO::Network::Storage: '${tht_dir}'/storage.yaml#' $1
600       sed -i 's#^.*Network::Ports::StorageVipPort:.*$#  OS::TripleO::Network::Ports::StorageVipPort: '${tht_dir}'/ports/storage.yaml#' $1
601       sed -i 's#^.*Controller::Ports::StoragePort:.*$#  OS::TripleO::Controller::Ports::StoragePort: '${tht_dir}'/ports/storage.yaml#' $1
602       sed -i 's#^.*Compute::Ports::StoragePort:.*$#  OS::TripleO::Compute::Ports::StoragePort: '${tht_dir}'/ports/storage.yaml#' $1
603       sed -i "/StorageAllocationPools/c\\  StorageAllocationPools: [{'start': '${storage_network_usable_ip_range%%,*}', 'end': '${storage_network_usable_ip_range##*,}'}]" $1
604       sed -i '/StorageNetCidr/c\\  StorageNetCidr: '${storage_network_cidr}'' $1
605   else
606       sed -i 's#^.*Network::Storage:.*$#  OS::TripleO::Network::Storage: '${tht_dir}'/noop.yaml#' $1
607       sed -i 's#^.*Network::Ports::StorageVipPort:.*$#  OS::TripleO::Network::Ports::StorageVipPort: '${tht_dir}'/ports/noop.yaml#' $1
608       sed -i 's#^.*Controller::Ports::StoragePort:.*$#  OS::TripleO::Controller::Ports::StoragePort: '${tht_dir}'/ports/noop.yaml#' $1
609       sed -i 's#^.*Compute::Ports::StoragePort:.*$#  OS::TripleO::Compute::Ports::StoragePort: '${tht_dir}'/ports/noop.yaml#' $1
610   fi
611
612   # check for ODL L3
613   if [ "${deploy_options_array['sdn_l3']}" == 'true' ]; then
614       ext_net_type=br-ex
615   fi
616
617 }
618 ##Copy over the glance images and instackenv json file
619 ##params: none
620 function configure_undercloud {
621   local controller_nic_template compute_nic_template
622   echo
623   echo "Copying configuration files to Undercloud"
624   if [[ "$net_isolation_enabled" == "TRUE" ]]; then
625     configure_network_environment $CONFIG/network-environment.yaml
626     echo -e "${blue}Network Environment set for Deployment: ${reset}"
627     cat $CONFIG/network-environment.yaml
628     scp ${SSH_OPTIONS[@]} $CONFIG/network-environment.yaml "stack@$UNDERCLOUD":
629     if ! controller_nic_template=$(python3.4 -B $CONFIG/lib/python/apex-python-utils.py nic_template -d $CONFIG -f nics-controller.yaml.jinja2 -n "$enabled_network_list" -e $ext_net_type -af $ip_addr_family); then
630       echo -e "${red}ERROR: Failed to generate controller NIC heat template ${reset}"
631       exit 1
632     fi
633
634     if ! compute_nic_template=$(python3.4 -B $CONFIG/lib/python/apex-python-utils.py nic_template -d $CONFIG -f nics-compute.yaml.jinja2 -n "$enabled_network_list" -e $ext_net_type -af $ip_addr_family); then
635       echo -e "${red}ERROR: Failed to generate compute NIC heat template ${reset}"
636       exit 1
637     fi
638     ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" << EOI
639 mkdir nics/
640 cat > nics/controller.yaml << EOF
641 $controller_nic_template
642 EOF
643 cat > nics/compute.yaml << EOF
644 $compute_nic_template
645 EOF
646 EOI
647   fi
648
649   # ensure stack user on Undercloud machine has an ssh key
650   ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" "if [ ! -e ~/.ssh/id_rsa.pub ]; then ssh-keygen -t rsa -N '' -f ~/.ssh/id_rsa; fi"
651
652   if [ "$virtual" == "TRUE" ]; then
653
654       # copy the Undercloud VM's stack user's pub key to
655       # root's auth keys so that Undercloud can control
656       # vm power on the hypervisor
657       ssh ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" "cat /home/stack/.ssh/id_rsa.pub" >> /root/.ssh/authorized_keys
658
659       DEPLOY_OPTIONS+=" --libvirt-type qemu"
660       INSTACKENV=$CONFIG/instackenv-virt.json
661
662       # upload instackenv file to Undercloud for virtual deployment
663       scp ${SSH_OPTIONS[@]} $INSTACKENV "stack@$UNDERCLOUD":instackenv.json
664   fi
665
666   # allow stack to control power management on the hypervisor via sshkey
667   # only if this is a virtual deployment
668   if [ "$virtual" == "TRUE" ]; then
669       ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" <<EOI
670 while read -r line; do
671   stack_key=\${stack_key}\\\\\\\\n\${line}
672 done < <(cat ~/.ssh/id_rsa)
673 stack_key=\$(echo \$stack_key | sed 's/\\\\\\\\n//')
674 sed -i 's~INSERT_STACK_USER_PRIV_KEY~'"\$stack_key"'~' instackenv.json
675 EOI
676   fi
677
678   # copy stack's ssh key to this users authorized keys
679   ssh -T ${SSH_OPTIONS[@]} "root@$UNDERCLOUD" "cat /home/stack/.ssh/id_rsa.pub" >> ~/.ssh/authorized_keys
680
681   # disable requiretty for sudo
682   ssh -T ${SSH_OPTIONS[@]} "root@$UNDERCLOUD" "sed -i 's/Defaults\s*requiretty//'" /etc/sudoers
683
684   # configure undercloud on Undercloud VM
685   echo "Running undercloud configuration."
686   echo "Logging undercloud configuration to undercloud:/home/stack/apex-undercloud-install.log"
687   ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" << EOI
688 if [[ "$net_isolation_enabled" == "TRUE" ]]; then
689   sed -i 's/#local_ip/local_ip/' undercloud.conf
690   sed -i 's/#network_gateway/network_gateway/' undercloud.conf
691   sed -i 's/#network_cidr/network_cidr/' undercloud.conf
692   sed -i 's/#dhcp_start/dhcp_start/' undercloud.conf
693   sed -i 's/#dhcp_end/dhcp_end/' undercloud.conf
694   sed -i 's/#inspection_iprange/inspection_iprange/' undercloud.conf
695   sed -i 's/#undercloud_debug/undercloud_debug/' undercloud.conf
696
697   openstack-config --set undercloud.conf DEFAULT local_ip ${admin_network_provisioner_ip}/${admin_network_cidr##*/}
698   openstack-config --set undercloud.conf DEFAULT network_gateway ${admin_network_provisioner_ip}
699   openstack-config --set undercloud.conf DEFAULT network_cidr ${admin_network_cidr}
700   openstack-config --set undercloud.conf DEFAULT dhcp_start ${admin_network_dhcp_range%%,*}
701   openstack-config --set undercloud.conf DEFAULT dhcp_end ${admin_network_dhcp_range##*,}
702   openstack-config --set undercloud.conf DEFAULT inspection_iprange ${admin_network_introspection_range}
703   openstack-config --set undercloud.conf DEFAULT undercloud_debug false
704
705 fi
706
707 sudo sed -i '/CephClusterFSID:/c\\  CephClusterFSID: \\x27$(cat /proc/sys/kernel/random/uuid)\\x27' /usr/share/openstack-tripleo-heat-templates/environments/storage-environment.yaml
708 sudo sed -i '/CephMonKey:/c\\  CephMonKey: \\x27'"\$(ceph-authtool --gen-print-key)"'\\x27' /usr/share/openstack-tripleo-heat-templates/environments/storage-environment.yaml
709 sudo sed -i '/CephAdminKey:/c\\  CephAdminKey: \\x27'"\$(ceph-authtool --gen-print-key)"'\\x27' /usr/share/openstack-tripleo-heat-templates/environments/storage-environment.yaml
710
711 # we assume that packages will not need to be updated with undercloud install
712 # and that it will be used only to configure the undercloud
713 # packages updates would need to be handled manually with yum update
714 sudo cp -f /usr/share/diskimage-builder/elements/yum/bin/install-packages /usr/share/diskimage-builder/elements/yum/bin/install-packages.bak
715 cat << 'EOF' | sudo tee /usr/share/diskimage-builder/elements/yum/bin/install-packages > /dev/null
716 #!/bin/sh
717 exit 0
718 EOF
719
720 openstack undercloud install &> apex-undercloud-install.log || {
721     # cat the undercloud install log incase it fails
722     echo "ERROR: openstack undercloud install has failed. Dumping Log:"
723     cat apex-undercloud-install.log
724     exit 1
725 }
726
727 sleep 30
728 sudo systemctl restart openstack-glance-api
729 sudo systemctl restart openstack-nova-conductor
730 sudo systemctl restart openstack-nova-compute
731
732 sudo sed -i '/num_engine_workers/c\num_engine_workers = 2' /etc/heat/heat.conf
733 sudo sed -i '/#workers\s=/c\workers = 2' /etc/heat/heat.conf
734 sudo systemctl restart openstack-heat-engine
735 sudo systemctl restart openstack-heat-api
736 EOI
737 # WORKAROUND: must restart the above services to fix sync problem with nova compute manager
738 # TODO: revisit and file a bug if necessary. This should eventually be removed
739 # as well as glance api problem
740 echo -e "${blue}INFO: Sleeping 15 seconds while services come back from restart${reset}"
741 sleep 15
742
743 }
744
745 ##preping it for deployment and launch the deploy
746 ##params: none
747 function undercloud_prep_overcloud_deploy {
748   if [[ "${#deploy_options_array[@]}" -eq 0 || "${deploy_options_array['sdn_controller']}" == 'opendaylight' ]]; then
749     if [ "${deploy_options_array['sdn_l3']}" == 'true' ]; then
750       DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/opendaylight_l3.yaml"
751     elif [ "${deploy_options_array['sfc']}" == 'true' ]; then
752       DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/opendaylight_sfc.yaml"
753     elif [ "${deploy_options_array['vpn']}" == 'true' ]; then
754       DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/opendaylight_sdnvpn.yaml"
755     else
756       DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/opendaylight.yaml"
757     fi
758     SDN_IMAGE=opendaylight
759     if [ "${deploy_options_array['sfc']}" == 'true' ]; then
760       SDN_IMAGE+=-sfc
761       if [ ! -f $RESOURCES/overcloud-full-${SDN_IMAGE}.qcow2 ]; then
762           echo "${red} $RESOURCES/overcloud-full-${SDN_IMAGE}.qcow2 is required to execute an SFC deployment."
763           echo "Please install the opnfv-apex-opendaylight-sfc package to provide this overcloud image for deployment.${reset}"
764           exit 1
765       fi
766     fi
767   elif [ "${deploy_options_array['sdn_controller']}" == 'opendaylight-external' ]; then
768     DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/opendaylight-external.yaml"
769     SDN_IMAGE=opendaylight
770   elif [ "${deploy_options_array['sdn_controller']}" == 'onos' ]; then
771     DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/onos.yaml"
772     SDN_IMAGE=onos
773   elif [ "${deploy_options_array['sdn_controller']}" == 'opencontrail' ]; then
774     echo -e "${red}ERROR: OpenContrail is currently unsupported...exiting${reset}"
775     exit 1
776   elif [[ -z "${deploy_options_array['sdn_controller']}" || "${deploy_options_array['sdn_controller']}" == 'False' ]]; then
777     echo -e "${blue}INFO: SDN Controller disabled...will deploy nosdn scenario${reset}"
778     SDN_IMAGE=opendaylight
779   else
780     echo "${red}Invalid sdn_controller: ${deploy_options_array['sdn_controller']}${reset}"
781     echo "${red}Valid choices are opendaylight, opendaylight-external, onos, opencontrail, False, or null${reset}"
782     exit 1
783   fi
784
785   # Make sure the correct overcloud image is available
786   if [ ! -f $RESOURCES/overcloud-full-${SDN_IMAGE}.qcow2 ]; then
787       echo "${red} $RESOURCES/overcloud-full-${SDN_IMAGE}.qcow2 is required to execute your deployment."
788       echo "Both ONOS and OpenDaylight are currently deployed from this image."
789       echo "Please install the opnfv-apex package to provide this overcloud image for deployment.${reset}"
790       exit 1
791   fi
792
793   echo "Copying overcloud image to Undercloud"
794   ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" "rm -f overcloud-full.qcow2"
795   scp ${SSH_OPTIONS[@]} $RESOURCES/overcloud-full-${SDN_IMAGE}.qcow2 "stack@$UNDERCLOUD":overcloud-full.qcow2
796
797   # Push performance options to subscript to modify per-role images as needed
798   for option in "${performance_options[@]}" ; do
799     echo -e "${blue}Setting performance option $option${reset}"
800     ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" "bash build_perf_image.sh $option"
801   done
802
803   # Add performance deploy options if they have been set
804   if [ ! -z "${deploy_options_array['performance']}" ]; then
805     DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/numa.yaml"
806   fi
807
808   # make sure ceph is installed
809   DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/storage-environment.yaml"
810
811   # scale compute nodes according to inventory
812   total_nodes=$(ssh -T ${SSH_OPTIONS[@]} "root@$UNDERCLOUD" "cat /home/stack/instackenv.json | grep -c memory")
813
814   # check if HA is enabled
815   if [[ "$ha_enabled" == "TRUE" || "$ha_enabled" == "true" ]]; then
816      DEPLOY_OPTIONS+=" --control-scale 3"
817      compute_nodes=$((total_nodes - 3))
818      DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/puppet-pacemaker.yaml"
819   else
820      compute_nodes=$((total_nodes - 1))
821   fi
822
823   if [ "$compute_nodes" -le 0 ]; then
824     echo -e "${red}ERROR: Invalid number of compute nodes: ${compute_nodes}. Check your inventory file.${reset}"
825     exit 1
826   else
827     echo -e "${blue}INFO: Number of compute nodes set for deployment: ${compute_nodes}${reset}"
828     DEPLOY_OPTIONS+=" --compute-scale ${compute_nodes}"
829   fi
830
831   if [[ "$net_isolation_enabled" == "TRUE" ]]; then
832      #DEPLOY_OPTIONS+=" -e /usr/share/openstack-tripleo-heat-templates/environments/network-isolation.yaml"
833      DEPLOY_OPTIONS+=" -e network-environment.yaml"
834   fi
835
836   if [[ "$ha_enabled" == "TRUE" || "$ha_enabled" == "true"  ]] || [[ "$net_isolation_enabled" == "TRUE" ]]; then
837      DEPLOY_OPTIONS+=" --ntp-server $ntp_server"
838   fi
839
840   if [[ ! "$virtual" == "TRUE" ]]; then
841      DEPLOY_OPTIONS+=" --control-flavor control --compute-flavor compute"
842   else
843      DEPLOY_OPTIONS+=" -e virtual-environment.yaml"
844   fi
845
846   DEPLOY_OPTIONS+=" -e opnfv-environment.yaml"
847
848   echo -e "${blue}INFO: Deploy options set:\n${DEPLOY_OPTIONS}${reset}"
849
850   ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" <<EOI
851 if [ "$debug" == 'TRUE' ]; then
852     LIBGUESTFS_BACKEND=direct virt-customize -a overcloud-full.qcow2 --root-password password:opnfvapex
853 fi
854
855 source stackrc
856 set -o errexit
857 echo "Uploading overcloud glance images"
858 openstack overcloud image upload
859
860 bash -x set_perf_images.sh ${performance_roles}
861
862 echo "Configuring undercloud and discovering nodes"
863 openstack baremetal import --json instackenv.json
864 openstack baremetal configure boot
865 #if [[ -z "$virtual" ]]; then
866 #  openstack baremetal introspection bulk start
867 #fi
868 echo "Configuring flavors"
869 for flavor in baremetal control compute; do
870   echo -e "${blue}INFO: Updating flavor: \${flavor}${reset}"
871   if openstack flavor list | grep \${flavor}; then
872     openstack flavor delete \${flavor}
873   fi
874   openstack flavor create --id auto --ram 4096 --disk 39 --vcpus 1 \${flavor}
875   if ! openstack flavor list | grep \${flavor}; then
876     echo -e "${red}ERROR: Unable to create flavor \${flavor}${reset}"
877   fi
878 done
879 openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" baremetal
880 openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property "capabilities:profile"="control" control
881 openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property "capabilities:profile"="compute" compute
882 echo "Configuring nameserver on ctlplane network"
883 neutron subnet-update \$(neutron subnet-list | grep -v id | grep -v \\\\-\\\\- | awk {'print \$2'}) --dns-nameserver 8.8.8.8
884 echo "Executing overcloud deployment, this should run for an extended period without output."
885 sleep 60 #wait for Hypervisor stats to check-in to nova
886 # save deploy command so it can be used for debugging
887 cat > deploy_command << EOF
888 openstack overcloud deploy --templates $DEPLOY_OPTIONS --timeout 90
889 EOF
890 EOI
891
892   if [ "$interactive" == "TRUE" ]; then
893     if ! prompt_user "Overcloud Deployment"; then
894       echo -e "${blue}INFO: User requests exit${reset}"
895       exit 0
896     fi
897   fi
898
899   ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" <<EOI
900 source stackrc
901 openstack overcloud deploy --templates $DEPLOY_OPTIONS --timeout 90
902 if ! heat stack-list | grep CREATE_COMPLETE 1>/dev/null; then
903   $(typeset -f debug_stack)
904   debug_stack
905   exit 1
906 fi
907 EOI
908
909   if [ "$debug" == 'TRUE' ]; then
910       ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" <<EOI
911 source overcloudrc
912 echo "Keystone Endpoint List:"
913 keystone endpoint-list
914 echo "Keystone Service List"
915 keystone service-list
916 cinder quota-show \$(openstack project list | grep admin | awk {'print \$2'})
917 EOI
918   fi
919 }
920
921 ##Post configuration after install
922 ##params: none
923 function configure_post_install {
924   local opnfv_attach_networks ovs_ip ip_range net_cidr tmp_ip
925   opnfv_attach_networks="admin_network public_network"
926
927   echo -e "${blue}INFO: Post Install Configuration Running...${reset}"
928
929   ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" <<EOI
930 source overcloudrc
931 set -o errexit
932 echo "Configuring Neutron external network"
933 neutron net-create external --router:external=True --tenant-id \$(keystone tenant-get service | grep id | awk '{ print \$4 }')
934 neutron subnet-create --name external-net --tenant-id \$(keystone tenant-get service | grep id | awk '{ print \$4 }') --disable-dhcp external --gateway ${public_network_gateway} --allocation-pool start=${public_network_floating_ip_range%%,*},end=${public_network_floating_ip_range##*,} ${public_network_cidr}
935 EOI
936
937   echo -e "${blue}INFO: Checking if OVS bridges have IP addresses...${reset}"
938   for network in ${opnfv_attach_networks}; do
939     ovs_ip=$(find_ip ${NET_MAP[$network]})
940     tmp_ip=''
941     if [ -n "$ovs_ip" ]; then
942       echo -e "${blue}INFO: OVS Bridge ${NET_MAP[$network]} has IP address ${ovs_ip}${reset}"
943     else
944       echo -e "${blue}INFO: OVS Bridge ${NET_MAP[$network]} missing IP, will configure${reset}"
945       # use last IP of allocation pool
946       eval "ip_range=\${${network}_usable_ip_range}"
947       ovs_ip=${ip_range##*,}
948       eval "net_cidr=\${${network}_cidr}"
949       sudo ip addr add ${ovs_ip}/${net_cidr##*/} dev ${NET_MAP[$network]}
950       sudo ip link set up ${NET_MAP[$network]}
951       tmp_ip=$(find_ip ${NET_MAP[$network]})
952       if [ -n "$tmp_ip" ]; then
953         echo -e "${blue}INFO: OVS Bridge ${NET_MAP[$network]} IP set: ${tmp_ip}${reset}"
954         continue
955       else
956         echo -e "${red}ERROR: Unable to set OVS Bridge ${NET_MAP[$network]} with IP: ${ovs_ip}${reset}"
957         return 1
958       fi
959     fi
960   done
961
962   # for virtual, we NAT public network through Undercloud
963   if [ "$virtual" == "TRUE" ]; then
964     if ! configure_undercloud_nat ${public_network_cidr}; then
965       echo -e "${red}ERROR: Unable to NAT undercloud with external net: ${public_network_cidr}${reset}"
966       exit 1
967     else
968       echo -e "${blue}INFO: Undercloud VM has been setup to NAT Overcloud public network${reset}"
969     fi
970   fi
971
972   # for sfc deployments we need the vxlan workaround
973   if [ "${deploy_options_array['sfc']}" == 'true' ]; then
974       ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" <<EOI
975 source stackrc
976 set -o errexit
977 for node in \$(nova list | grep -Eo "[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+"); do
978 ssh -T ${SSH_OPTIONS[@]} "heat-admin@\$node" <<EOF
979 sudo ifconfig br-int up
980 sudo ip route add 123.123.123.0/24 dev br-int
981 EOF
982 done
983 EOI
984   fi
985
986   # Collect deployment logs
987   ssh -T ${SSH_OPTIONS[@]} "stack@$UNDERCLOUD" <<EOI
988 mkdir -p ~/deploy_logs
989 rm -rf deploy_logs/*
990 source stackrc
991 set -o errexit
992 for node in \$(nova list | grep -Eo "[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+"); do
993  ssh -T ${SSH_OPTIONS[@]} "heat-admin@\$node" <<EOF
994  sudo cp /var/log/messages /home/heat-admin/messages.log
995  sudo chown heat-admin /home/heat-admin/messages.log
996 EOF
997 scp ${SSH_OPTIONS[@]} heat-admin@\$node:/home/heat-admin/messages.log ~/deploy_logs/\$node.messages.log
998 if [ "$debug" == "TRUE" ]; then
999     nova list --ip \$node
1000     echo "---------------------------"
1001     echo "-----/var/log/messages-----"
1002     echo "---------------------------"
1003     cat ~/deploy_logs/\$node.messages.log
1004     echo "---------------------------"
1005     echo "----------END LOG----------"
1006     echo "---------------------------"
1007 fi
1008  ssh -T ${SSH_OPTIONS[@]} "heat-admin@\$node" <<EOF
1009  sudo rm -f /home/heat-admin/messages.log
1010 EOF
1011 done
1012
1013 # Print out the dashboard URL
1014 source stackrc
1015 echo "Overcloud dashboard available at http://\$(heat output-show overcloud PublicVip | sed 's/"//g')/dashboard"
1016 EOI
1017
1018 }
1019
1020 display_usage() {
1021   echo -e "Usage:\n$0 [arguments] \n"
1022   echo -e "   -c|--config : Directory to configuration files. Optional.  Defaults to /var/opt/opnfv/ \n"
1023   echo -e "   -d|--deploy-settings : Full path to deploy settings yaml file. Optional.  Defaults to null \n"
1024   echo -e "   -i|--inventory : Full path to inventory yaml file. Required only for baremetal \n"
1025   echo -e "   -n|--net-settings : Full path to network settings file. Optional. \n"
1026   echo -e "   -p|--ping-site : site to use to verify IP connectivity. Optional. Defaults to 8.8.8.8 \n"
1027   echo -e "   -r|--resources : Directory to deployment resources. Optional.  Defaults to /var/opt/opnfv/stack \n"
1028   echo -e "   -v|--virtual : Virtualize overcloud nodes instead of using baremetal. \n"
1029   echo -e "   --no-ha : disable High Availability deployment scheme, this assumes a single controller and single compute node \n"
1030   echo -e "   --flat : disable Network Isolation and use a single flat network for the underlay network.\n"
1031   echo -e "   --no-post-config : disable Post Install configuration."
1032   echo -e "   --debug : enable debug output."
1033   echo -e "   --interactive : enable interactive deployment mode which requires user to confirm steps of deployment."
1034   echo -e "   --virtual-cpus : Number of CPUs to use per Overcloud VM in a virtual deployment (defaults to 4)."
1035   echo -e "   --virtual-ram : Amount of RAM to use per Overcloud VM in GB (defaults to 8)."
1036 }
1037
1038 ##translates the command line parameters into variables
1039 ##params: $@ the entire command line is passed
1040 ##usage: parse_cmd_line() "$@"
1041 parse_cmdline() {
1042   echo -e "\n\n${blue}This script is used to deploy the Apex Installer and Provision OPNFV Target System${reset}\n\n"
1043   echo "Use -h to display help"
1044   sleep 2
1045
1046   while [ "${1:0:1}" = "-" ]
1047   do
1048     case "$1" in
1049         -h|--help)
1050                 display_usage
1051                 exit 0
1052             ;;
1053         -c|--config)
1054                 CONFIG=$2
1055                 echo "Deployment Configuration Directory Overridden to: $2"
1056                 shift 2
1057             ;;
1058         -d|--deploy-settings)
1059                 DEPLOY_SETTINGS_FILE=$2
1060                 echo "Deployment Configuration file: $2"
1061                 shift 2
1062             ;;
1063         -i|--inventory)
1064                 INVENTORY_FILE=$2
1065                 shift 2
1066             ;;
1067         -n|--net-settings)
1068                 NETSETS=$2
1069                 echo "Network Settings Configuration file: $2"
1070                 shift 2
1071             ;;
1072         -p|--ping-site)
1073                 ping_site=$2
1074                 echo "Using $2 as the ping site"
1075                 shift 2
1076             ;;
1077         -r|--resources)
1078                 RESOURCES=$2
1079                 echo "Deployment Resources Directory Overridden to: $2"
1080                 shift 2
1081             ;;
1082         -v|--virtual)
1083                 virtual="TRUE"
1084                 echo "Executing a Virtual Deployment"
1085                 shift 1
1086             ;;
1087         --no-ha )
1088                 ha_enabled="FALSE"
1089                 vm_index=1
1090                 echo "HA Deployment Disabled"
1091                 shift 1
1092             ;;
1093         --flat )
1094                 net_isolation_enabled="FALSE"
1095                 echo "Underlay Network Isolation Disabled: using flat configuration"
1096                 shift 1
1097             ;;
1098         --no-post-config )
1099                 post_config="FALSE"
1100                 echo "Post install configuration disabled"
1101                 shift 1
1102             ;;
1103         --debug )
1104                 debug="TRUE"
1105                 echo "Enable debug output"
1106                 shift 1
1107             ;;
1108         --interactive )
1109                 interactive="TRUE"
1110                 echo "Interactive mode enabled"
1111                 shift 1
1112             ;;
1113         --virtual-cpus )
1114                 VM_CPUS=$2
1115                 echo "Number of CPUs per VM set to $VM_CPUS"
1116                 shift 2
1117             ;;
1118         --virtual-ram )
1119                 VM_RAM=$2
1120                 echo "Amount of RAM per VM set to $VM_RAM"
1121                 shift 2
1122             ;;
1123         *)
1124                 display_usage
1125                 exit 1
1126             ;;
1127     esac
1128   done
1129
1130   if [[ ! -z "$NETSETS" && "$net_isolation_enabled" == "FALSE" ]]; then
1131     echo -e "${red}INFO: Single flat network requested. Only admin_network settings will be used!${reset}"
1132   elif [[ -z "$NETSETS" ]]; then
1133     echo -e "${red}ERROR: You must provide a network_settings file with -n.${reset}"
1134     exit 1
1135   fi
1136
1137   if [[ -n "$virtual" && -n "$INVENTORY_FILE" ]]; then
1138     echo -e "${red}ERROR: You should not specify an inventory with virtual deployments${reset}"
1139     exit 1
1140   fi
1141
1142   if [[ -z "$DEPLOY_SETTINGS_FILE" || ! -f "$DEPLOY_SETTINGS_FILE" ]]; then
1143     echo -e "${red}ERROR: Deploy Settings: ${DEPLOY_SETTINGS_FILE} does not exist! Exiting...${reset}"
1144     exit 1
1145   fi
1146
1147   if [[ ! -z "$NETSETS" && ! -f "$NETSETS" ]]; then
1148     echo -e "${red}ERROR: Network Settings: ${NETSETS} does not exist! Exiting...${reset}"
1149     exit 1
1150   fi
1151
1152   if [[ ! -z "$INVENTORY_FILE" && ! -f "$INVENTORY_FILE" ]]; then
1153     echo -e "{$red}ERROR: Inventory File: ${INVENTORY_FILE} does not exist! Exiting...${reset}"
1154     exit 1
1155   fi
1156
1157   if [[ -z "$virtual" && -z "$INVENTORY_FILE" ]]; then
1158     echo -e "${red}ERROR: You must specify an inventory file for baremetal deployments! Exiting...${reset}"
1159     exit 1
1160   fi
1161
1162   if [[ "$net_isolation_enabled" == "FALSE" && "$post_config" == "TRUE" ]]; then
1163     echo -e "${blue}INFO: Post Install Configuration will be skipped.  It is not supported with --flat${reset}"
1164     post_config="FALSE"
1165   fi
1166
1167   ##LIBRARIES
1168   # Do this after cli parse so that $CONFIG is set properly
1169   source $CONFIG/lib/common-functions.sh
1170   source $CONFIG/lib/utility-functions.sh
1171   source $CONFIG/lib/installer/onos/onos_gw_mac_update.sh
1172
1173 }
1174
1175 ##END FUNCTIONS
1176
1177 main() {
1178   # Make sure jinja2 is installed
1179   easy_install-3.4 jinja2 > /dev/null
1180   parse_cmdline "$@"
1181   echo -e "${blue}INFO: Parsing network settings file...${reset}"
1182   parse_network_settings
1183   if ! configure_deps; then
1184     echo -e "${red}Dependency Validation Failed, Exiting.${reset}"
1185     exit 1
1186   fi
1187   if [ -n "$DEPLOY_SETTINGS_FILE" ]; then
1188     echo -e "${blue}INFO: Parsing deploy settings file...${reset}"
1189     parse_deploy_settings
1190   fi
1191   setup_undercloud_vm
1192   if [ "$virtual" == "TRUE" ]; then
1193     setup_virtual_baremetal $VM_CPUS $VM_RAM
1194   elif [ -n "$INVENTORY_FILE" ]; then
1195     parse_inventory_file
1196   fi
1197   configure_undercloud
1198   undercloud_prep_overcloud_deploy
1199   if [ "$post_config" == "TRUE" ]; then
1200     if ! configure_post_install; then
1201       echo -e "${red}ERROR:Post Install Configuration Failed, Exiting.${reset}"
1202       exit 1
1203     else
1204       echo -e "${blue}INFO: Post Install Configuration Complete${reset}"
1205     fi
1206   fi
1207   if [[ "${deploy_options_array['sdn_controller']}" == 'onos' ]]; then
1208     if ! onos_update_gw_mac ${public_network_cidr} ${public_network_gateway}; then
1209       echo -e "${red}ERROR:ONOS Post Install Configuration Failed, Exiting.${reset}"
1210       exit 1
1211     else
1212       echo -e "${blue}INFO: ONOS Post Install Configuration Complete${reset}"
1213     fi
1214   fi
1215 }
1216
1217 main "$@"