Correct the mapping of nodes and roles in virtual deploy

JIRA: DAISY-56

Now the roles are assigned to nodes randomly, because the function
'add_hosts_interface' in tempest.py just uses zip to map the
host's name to the host.

libvirt_utils.py: get mac addresses from VM
environment.py: save the mac addresses
daisy_server.py: write a new deploy.yml which contains the mac addresses
    and copy the file to daisy server
get_conf.py: get mac addresses from the new deploy.yml
tempest.py: assigned roles to nodes when the mac addresses matched
controller.xml: increase the RAM to make difference with computer nodes
deploy.sh: apply this change to bash script

Change-Id: Ia61b60d39d319c5d01e3505727fafc63a0585858
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

use only one file get_conf.py to get configuration data from deploy.yml

just move the code from get_para_from_deploy to get_conf file
no functionality change.

Change-Id: I86aa1325ff37cb2ae0784c9487e62e95cc23f644
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Do not provide ipmi user and password in virtual deployment

Change-Id: Ib7989bed237a03cdab01fea89aba4e2038815e5f
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Solve double container removal problem"

Merge "Convert the bash commands in post.sh to python code"

Solve double container removal problem

From [1], We got an error from docker: "No such container: daisy"
while issuing "docker rm -v -f daisy", this OK because we do
docker run --rm before this. So it is safe to add "|| true" after
"docker rm -v -f daisy".

[1] https://build.opnfv.org/ci/job/daisy-build-daily-master/500/console

Change-Id: I3d17595156f1b6181a84d9a03e2cd6ddff275eb3
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Close upstream merge window

Switch to upstream daisy's stable/ocata branch

Change-Id: I5ff0b0a28a8d2f76f0cb813af8f8241175bb6054
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Convert the bash commands in post.sh to python code

According to the comment from Serena in the patch
https://gerrit.opnfv.org/gerrit/#/c/37857/, the bash code
in post.sh can be implemented by python, and the deploy
script can call post/execute.py directly.

Change-Id: Ibcf86fc2b6ee3942e4082384c9d4075d608b7294
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Sync some patches of bash script to python"

when deploy have failed print the api log

Change-Id: I6047340f7f0d2c7b6b175335bdbf836a2a8d0a9c
Signed-off-by: root <zhou.ya@zte.com.cn>

Sync some patches of bash script to python

Change-Id: Ia1eb59e62b1bb98b1871ec591e2c925c1734cc2e
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

md5sum check for cirros image

Change-Id: I874c40eb5da54c38ce8aa2d1fb1840a8aee22b4c
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

add sdn_controller_ip to admin_openrc.sh

Change-Id: I3af46368109bc5358fd0cc61a43f5be60479eab3
Signed-off-by: root <zhou.ya@zte.com.cn>

Enable HA scenarios

Enable HA scenario options due to support HA function in upsteam.

Change-Id: Ie1889afc1a149f171a9b324eb284fd650baed397
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Merge "add heartbeat interface introduction in docs"

add heartbeat interface introduction in docs

Change-Id: Iaf206f9ea5962410c859ad6f84b03ef1a1aa7771
Signed-off-by: root <zhou.ya@zte.com.cn>

add extra interface to enable the keepablived plane and the api plane

Change-Id: I0157bf8b6fa9be254c61bb384065f80107ab3dda
Signed-off-by: root <zhou.ya@zte.com.cn>

os-nosdn-nofeature-ha as a valid scenario

Project job deployment job uses os-nosdn-nofeature-ha currently,
so we need to treat os-nosdn-nofeature-ha as a valid scenario
to let the job continue to work.

Change-Id: Ib9311ada9b043b1f695f43edb51adbb3714d3356
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Initial merge of BM Installation guide"

Merge "Jira: DAISY-36 Initial merge of release-note"

Jira: DAISY-36 Initial merge of release-note

Also fix some index.rst

Change-Id: I6aae9fbc5821e8a1c65a02c6b8926e42a10c19cb
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Initial merge of BM Installation guide

Change-Id: I9964f0d75ae879c6b86d245f2007841236a0b931
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Add an missing parameter and fix a typo in daisy_server.py

Change-Id: I339508f1c07a9bbefa389c6f6eb5e53640a79417
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Add scenario arg check"

Add scenario arg check

Add the scenario argument valid check in deploy.sh.

Change-Id: Ifeeed3882b22ba379975c2356d761e0536c5c2c9
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Enlarge the RAM of the nodes in virtual deployment

Now the RAM of controller node in virtual deploymeny is only 4GB.

[root@host-10-20-11-6 ~]# free -h
              total        used        free      shared  buff/cache   available
Mem:           3.7G        3.2G        145M        1.7M        408M        191M
Swap:          4.0G        4.0G        2.3M

Since the RAM on the deploy server is at least 64GB (see installation
guide), we can enlarge every node's RAM to improve the performance.

Signed-off-by: Alex Yang <yangyang1@zte.com.cn>
Change-Id: Ie4e1297697e349a6b3edf0fa0c54eeeb94255ca8
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Adapt the scenario arg add in tempset.py"

Adapt the scenario arg add in tempset.py

1.adapt the scenario argument add in tempset.py, detail please
refer to
https://gerrit.opnfv.org/gerrit/#/c/36229/5/deploy/tempest.py.
2.bugfix to update the self.deploy_file with the constructed final
deploy file in deoploy.py.

Change-Id: Ia46720649a2361f0b84749925d2c0dede78ccdb5
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Update VM intallation network setup for ODL scenario

Change-Id: Ie26ca7d81b8d293fbcdc73d5bfa6f2bdbe21e215
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Correct the kolla image version in makefile_patch.sh

Makefile_patch.sh is missed in patch 36229.

Change-Id: I8da88a0f8220061b4ad03711c1a52715703dd579
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

enable opendaylight

Change-Id: I759d864efa524c0d564b9d93aa480e155149adaa
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Merge "add the scenarios option"

add the scenarios option

Add the scenarios option and yaml configuration files,
currently only support three scenarios as below.
os-nosdn-nofeature-noha/os-odl_l3-nofeature-noha/
os-odl_l2-nofeature-noha.
we will support more secnarios such as os-odl_l3-nofeature-ha
in future.

Change-Id: I24d7875208e277f6ee1b794c0033d5fee6b5e371
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

solve "no disks in host-detail" error

Change-Id: Ifb408a3b3dfa139bb938cc7ef8c9b0981e4266c3
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Merge "add deployment guidance in vm deployment doc"

add deployment guidance in vm deployment doc

Change-Id: Ia9b370b314b5e897087ae82463af90c4b61018d5
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Merge "Set compute to qemu only in virtual deployment"

Merge "Support scenario parameter"

Set compute to qemu only in virtual deployment

Change-Id: I0660c016e18491395c7253e5576f8fa1c8aa051e
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Support scenario parameter

Default is os-nosdn-nofeature-noha

Change-Id: I12e70552c426884269c2c7f1bfa05e1db5658bea
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Remove iptables rules only in virtual deployment

There are error messages "iptables: No chain/target/match by that name"
in baremetal deployment:
https://build.opnfv.org/ci/job/daisy-deploy-daily-master/298/console

Change-Id: I7e2940222fd0a99ee42823a08a285bdd93892fe6
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

add the missing openrc token

Change-Id: Id9fca539f2f5a866376b12a11306a9ea97760a0d
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

modify deploy script to deploy 1 lb and 4computer

Change-Id: I654a27042ff9807a502773d48df1c26d12302de7
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

bugfix: delete extra firewalls in virtual deployment

Change-Id: I179b5aab51958c0cd4653e65bbd74df5cfd7c53e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Call python script directly in preparation & post-phase"

Merge "Add network name and update gateway of ext-net of baremetal env"

Merge "Create ceph disk in bash script"

Merge "create data disk for each node in virtual deploy"

create data disk for each node in virtual deploy

Since the roles are assigned randomly now, data disk should be created
for every node.

Change-Id: Idd12191033844dad58676de65df0fbc99a51cfbc
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Call python script directly in preparation & post-phase

Avoid calling python though a bash in the deployment script of python.

Change-Id: I655c7b919ea5970ff842ac03cafed11b82d03601
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Add network name and update gateway of ext-net of baremetal env

The configurations in securedlab has already been updated.

Change-Id: I663c3c8a9bac7fe8ef1a5d16018f9c848ca5427c
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Increase the timeout to avoid possible deployment failure

Multi-node virtual deployment takes longer than baremetal or all_in_one
deployment. Increase the timeout to avoid possible failure.

Change-Id: Ib6060ad34563724e9949e152fb41accb7a6528da
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

add prepare and post process for baremental deployment

Change-Id: I3026c4dd83cc19246c19ab568005c4c0b37ff9d9
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Create ceph disk in bash script

Change-Id: Ib80710c784d384ebc27eb0f51fcb4384017eecca
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Use unified vm template files in python deploy script"

Remove the incomplete file and re-download it

The kolla file downloaded on the ci node may be incomplete.

Change-Id: Id15695504bd29f31178054b5e8cc83d8612543d9
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Use unified vm template files in python deploy script

Change-Id: I386011a35a9be3e4f1d468744a6945360bb2adb3
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Code optimization for list traversal"

Merge "enlarge the ram of all_in_one node"

Add dependencies for ocata version into docker file

Change-Id: I3dc81449293a00b5b095ecea8a48a0cdb03cd4e8
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

enlarge the ram of all_in_one node

No the memory is not enough to creates vms in openstack to finish
functest cases.

Change-Id: I836ba43e8cd8a26a0dec3f5831cabcb9ae04e5da
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

support ocata openstack, keep up with the upstream

The upstream openstack/daisycloud-core supports ocata openstack now.
https://review.openstack.org/#/c/465410/

Change-Id: I14825c80cdd2297e5b0df3680f30fa5c32de3cc4
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Code optimization for list traversal

1.replace the list to generator to simply the code.

Change-Id: Ia67cf265f3ca004eab5abb8b1d742f53b7d554ad
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

add separated disk for ceph in multi-nodes virtual deploy

Change-Id: Ic3f67bb889c20e95916a1052f0cfa1e238f133a8
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "refacort deploy.yml and add jsonschema to validate it"

Kill git-version-gen

This PS set the jasmine version in configure.ac so there is no need
to calculate version from git. So we can get rid of git-version-gen
as well as its GPL licence.

Change-Id: I7434dcd5259ba800f17e28281ef6c6f484aa7ef3
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

refacort deploy.yml and add jsonschema to validate it

1. add adapter type in deploy.yml
Do not rely on the pod's name to detemine whether impi or libvirt
should be used.

2. increase disk size in deploy.yml
The disk sizes should be bigger than 102400 mega-bytes according to
the minimum of root_lv_size in upstream openstack/daisycloud-core.

3. add schemas.py
Use jsonschema to validate deploy.yml

Change-Id: I3f197f93403caece75460147c8df49b95e0ae9d3
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Compatible with the no mapping in network.yml

1)resolve the error  ' AttributeError: 'NetworkConfig' object has
no attribute 'ext_mapping'' with the no mapping in network.yml.

2)resolve the creating external subnet failure if the external
netwok exists.

Change-Id: I578365d91b8b61f9f88a5d4ff2c9db9ecc512edc
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Merge "Hardcoded physnet1 changed to obtain from .yml"

Merge "Increase PACKETS_PER_BUFFER to 65536"

Merge "Implement the deployment script with python"

Increase PACKETS_PER_BUFFER to 65536

1) This mainly increase PACKETS_PER_BUFFER to 65536 to reduce the
frequency of TCP client acks.

2) Also kills TCP_BUFF_SIZE and define each buffer size in a
more intuitive way.

3) Free more unused memory to prevent being killed by oom-killer
after enlarged PACKETS_PER_BUFFER.

4) Increase client's select() timeout to 20 secs, since we encountered
timeout due to CPU busy in the same BM but with 20 VMs.

Tested this PS in a 10 VM node env, and it can multicast a 2.7G
file to 10 VMs in 6 minutes, while unicast needs 30+ minutes.

Change-Id: Iaf862fb1f1259cc770f720ccdd95dcc281aef262
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Hardcoded physnet1 changed to obtain from .yml

the physical network device of external network is hardcode to
'physnet1',change it to obtain from network.yml configuration
file.

Change-Id: Id2e45ac488619db2247e73cc3fed5706db31d9e9
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Implement the deployment script with python

1. deploy.py: control the work flow of the deployment
2. daisy_server.py: maintain the ssh connection with daisy server
     and execute ssh commands
3. environment.py: create/find/delete the nodes/vms, install operating system
     and openstack on nodes
4. libvirt_utils.py: deal with the vm templates and call virsh commands
5. utils.py: some common functions such as file/directory/bash operation

Change-Id: I1caa4b0b3118665e15410e8f02bcb6473e5a530b
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Print out error message of docker commands"

Print out error message of docker commands

This print out error message of docker commands to find out the
reason of error like[1]

[1] https://build.opnfv.org/ci/job/daisy-build-daily-master/239/consoleFull

Change-Id: Ic1bd85d999dbe584764bc9a05d22579835e55516
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

modify daisy.conf sleep long for trustme modify cpumode

1.add multicast flag in daisy.conf
2.sleep40 for trustme.sh execute ok
3.modify cpu mode of xml file to make it much more general
4.fix check_openstack_progress parameter error

Change-Id: Ic150698ede448b7651e95d129aeb7d97a8f34309
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Merge "ignore the git history in daisy building job"

ignore the git history in daisy building job

Now the daisycloud-core is a big repo because there are some big files
in the git history. Use "--depth 1" to reduce the amount to download.

Change-Id: I8ce0dc6675d2239a126bcf558300f1ad45cd3fb3
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Unify the kolla config in py

put the kolla nova-compute.conf file  update handle to prepare/
execute.py for unify the all relate kolla config in py way.

Change-Id: Iac585df97d2855038a83f9bfdadfb9e449660c9c
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Solve "Buffer I/O error on dev loop0p1" error message

This add "losetup" before "kpartx -l" command, otherwise, we encountered
many "Buffer I/O error on dev loop0p1, logical block 104854018,
async page read" in dmesg. But they are seems no harm.

No need to do "losetup -d" after "losetup", because "kpartx -dv"
will do that for us.

Change-Id: I326ef35a241d8b09f0f3f3fc90ef749df3f4768f
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "The image file is deleted mistakenly"

Merge "Modify the log message in deploy script"

Merge "Treat bad command line usage as error"

The image file is deleted mistakenly

There's an mistake in patch 33327.
See https://gerrit.opnfv.org/gerrit/#/c/33327/
The cleanup function was called twice, so the image file was deleted.

Change-Id: I5fe6a90b46739d1c6d8b66365d2c8e55350cde00
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Modify the log message in deploy script

1. Move an log message to the correct location(now at line 331).
   In baremetal deployment, the virtual-deploy message is printed.
2. Modify all the "===" in the log messages to the same number of "="
3. Remove the TODO list since the work finished

Change-Id: I34325c522036caf9d1aa58c9cbf30eb77843fdfc
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Treat bad command line usage as error

Since we can not tolerate any kind of error which may result in
multicasting failed to run. So even the usage error shall be
treated as error too.

Change-Id: I5483bb2cebf437ed33ebb79eeeac640f8728a73f
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "add the argument WORKDIR in daisy-img-modify.sh"

add the argument WORKDIR in daisy-img-modify.sh

the daisy install tmp workdir can be configurated as an input
argument in deploy.sh,and it also should be used in subshell
daisy-img-modify.sh,so add the input argument -w workdir
in daisy-img-modify.sh.

1.add an input argument -w workdir in daisy-img-modify.sh.
2.modify the WORKDIR default value to /tmp/workdir/daisy.
3.code refactor to put the centos7.qcow2 file clean statement
from the deploy.sh to daisy-img-modify.sh.

Change-Id: Id375a15ad2839c209329e644c5e032d044604e7d
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Merge "support mutinode deploy in vm deployment env"

Merge "Nominating Alex Yang <yangyang1@zte.com.cn> as committer for Daisy4NFV project."

Nominating Alex Yang <yangyang1@zte.com.cn> as committer for Daisy4NFV project.

Alex has been contributing the majority of code to Daisy4NFV since the
last season[1][2].

I have had a talk with him on IRC meeting [3] and he expressed willing to
contribute more to Daisy4NFV project and I believe he will make a great
addition to the core review team.

All Daisy4NFV committers, please vote +1 or +2 if you support this nomination [4].

This PS also propose a committer removal. Jian Yang  (yangjianyjy@chinamobile.com)
has been inactive in the project for a long time. He

- was not present in the project meetings for more than 6 months
 (see participant lists in the minutes or IRC); AND
- did not contribute any patch for the project for more than 6 months; AND
- did not participate in the email discussion of the project for more than 6 month AND
- We failed to contact him offline.

[1] http://stackalytics.com/?project_type=opnfv-group&metric=commits&release=all&module=daisy
[2] https://gerrit.opnfv.org/gerrit/#/q/owner:yangyang1%2540zte.com.cn+status:merged+project:daisy
[3] http://eavesdrop.openstack.org/meetings/daisycloud/2017/daisycloud.2017-03-24-07.58.log.html
[4] https://wiki.opnfv.org/display/DEV/Committer+Promotions

Change-Id: Ibd416d93d01c7fe769dfc0c5809baca4cdefca46
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

support mutinode deploy in vm deployment env

Change-Id: Ic9e19d4e120fc53d96d0794239cd6e421f25ea27
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Add rpm based installation doc

Change-Id: I50d5750e985b258cef7874c88902b8fae0539e25
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Add required packages for build jasmine"

Add required packages for build jasmine

Also add code/jasmine/.tarball-version to set version manually,
otherwise we need more software such as git to get the version and
also we may encounter rpmbuild error due to rpmbuild does not
support dash character in git version.

Change-Id: If9b7ef75cbc0a5e4987658454b47abf02b451989
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

modify service name in service disk table

Change-Id: Ic33381ef3339bdcec82cba7afbfc2d32f6e88be4
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Merge "code variable name refactor"

code variable name refactor

refactor the deploy.sh variable name
1.unify the glabs var name to upper case.
2.refactor the variable of target_node_net/daisy_server_net
to add prefix VMDEPLOY for code readablity.
3.refactor the usage() to function usage for uniform the
code style.

Change-Id: Ibd7ea91ac8b19cd7147e3a7d97b3359880cec59c
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

jasmine(Just A Simple Multicast engINE) Initial merge

Change-Id: I7a543019c8d92314ef549bf72369b7276f39577d
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>