Add network name and update gateway of ext-net of baremetal env

The configurations in securedlab has already been updated.

Change-Id: I663c3c8a9bac7fe8ef1a5d16018f9c848ca5427c
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

add prepare and post process for baremental deployment

Change-Id: I3026c4dd83cc19246c19ab568005c4c0b37ff9d9
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Use unified vm template files in python deploy script"

Remove the incomplete file and re-download it

The kolla file downloaded on the ci node may be incomplete.

Change-Id: Id15695504bd29f31178054b5e8cc83d8612543d9
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Use unified vm template files in python deploy script

Change-Id: I386011a35a9be3e4f1d468744a6945360bb2adb3
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Code optimization for list traversal"

Merge "enlarge the ram of all_in_one node"

Add dependencies for ocata version into docker file

Change-Id: I3dc81449293a00b5b095ecea8a48a0cdb03cd4e8
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

enlarge the ram of all_in_one node

No the memory is not enough to creates vms in openstack to finish
functest cases.

Change-Id: I836ba43e8cd8a26a0dec3f5831cabcb9ae04e5da
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

support ocata openstack, keep up with the upstream

The upstream openstack/daisycloud-core supports ocata openstack now.
https://review.openstack.org/#/c/465410/

Change-Id: I14825c80cdd2297e5b0df3680f30fa5c32de3cc4
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Code optimization for list traversal

1.replace the list to generator to simply the code.

Change-Id: Ia67cf265f3ca004eab5abb8b1d742f53b7d554ad
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

add separated disk for ceph in multi-nodes virtual deploy

Change-Id: Ic3f67bb889c20e95916a1052f0cfa1e238f133a8
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "refacort deploy.yml and add jsonschema to validate it"

Kill git-version-gen

This PS set the jasmine version in configure.ac so there is no need
to calculate version from git. So we can get rid of git-version-gen
as well as its GPL licence.

Change-Id: I7434dcd5259ba800f17e28281ef6c6f484aa7ef3
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

refacort deploy.yml and add jsonschema to validate it

1. add adapter type in deploy.yml
Do not rely on the pod's name to detemine whether impi or libvirt
should be used.

2. increase disk size in deploy.yml
The disk sizes should be bigger than 102400 mega-bytes according to
the minimum of root_lv_size in upstream openstack/daisycloud-core.

3. add schemas.py
Use jsonschema to validate deploy.yml

Change-Id: I3f197f93403caece75460147c8df49b95e0ae9d3
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Compatible with the no mapping in network.yml

1)resolve the error  ' AttributeError: 'NetworkConfig' object has
no attribute 'ext_mapping'' with the no mapping in network.yml.

2)resolve the creating external subnet failure if the external
netwok exists.

Change-Id: I578365d91b8b61f9f88a5d4ff2c9db9ecc512edc
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Merge "Hardcoded physnet1 changed to obtain from .yml"

Merge "Increase PACKETS_PER_BUFFER to 65536"

Merge "Implement the deployment script with python"

Increase PACKETS_PER_BUFFER to 65536

1) This mainly increase PACKETS_PER_BUFFER to 65536 to reduce the
frequency of TCP client acks.

2) Also kills TCP_BUFF_SIZE and define each buffer size in a
more intuitive way.

3) Free more unused memory to prevent being killed by oom-killer
after enlarged PACKETS_PER_BUFFER.

4) Increase client's select() timeout to 20 secs, since we encountered
timeout due to CPU busy in the same BM but with 20 VMs.

Tested this PS in a 10 VM node env, and it can multicast a 2.7G
file to 10 VMs in 6 minutes, while unicast needs 30+ minutes.

Change-Id: Iaf862fb1f1259cc770f720ccdd95dcc281aef262
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Hardcoded physnet1 changed to obtain from .yml

the physical network device of external network is hardcode to
'physnet1',change it to obtain from network.yml configuration
file.

Change-Id: Id2e45ac488619db2247e73cc3fed5706db31d9e9
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Implement the deployment script with python

1. deploy.py: control the work flow of the deployment
2. daisy_server.py: maintain the ssh connection with daisy server
     and execute ssh commands
3. environment.py: create/find/delete the nodes/vms, install operating system
     and openstack on nodes
4. libvirt_utils.py: deal with the vm templates and call virsh commands
5. utils.py: some common functions such as file/directory/bash operation

Change-Id: I1caa4b0b3118665e15410e8f02bcb6473e5a530b
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Print out error message of docker commands"

Print out error message of docker commands

This print out error message of docker commands to find out the
reason of error like[1]

[1] https://build.opnfv.org/ci/job/daisy-build-daily-master/239/consoleFull

Change-Id: Ic1bd85d999dbe584764bc9a05d22579835e55516
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

modify daisy.conf sleep long for trustme modify cpumode

1.add multicast flag in daisy.conf
2.sleep40 for trustme.sh execute ok
3.modify cpu mode of xml file to make it much more general
4.fix check_openstack_progress parameter error

Change-Id: Ic150698ede448b7651e95d129aeb7d97a8f34309
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Merge "ignore the git history in daisy building job"

ignore the git history in daisy building job

Now the daisycloud-core is a big repo because there are some big files
in the git history. Use "--depth 1" to reduce the amount to download.

Change-Id: I8ce0dc6675d2239a126bcf558300f1ad45cd3fb3
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Unify the kolla config in py

put the kolla nova-compute.conf file  update handle to prepare/
execute.py for unify the all relate kolla config in py way.

Change-Id: Iac585df97d2855038a83f9bfdadfb9e449660c9c
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Solve "Buffer I/O error on dev loop0p1" error message

This add "losetup" before "kpartx -l" command, otherwise, we encountered
many "Buffer I/O error on dev loop0p1, logical block 104854018,
async page read" in dmesg. But they are seems no harm.

No need to do "losetup -d" after "losetup", because "kpartx -dv"
will do that for us.

Change-Id: I326ef35a241d8b09f0f3f3fc90ef749df3f4768f
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "The image file is deleted mistakenly"

Merge "Modify the log message in deploy script"

Merge "Treat bad command line usage as error"

The image file is deleted mistakenly

There's an mistake in patch 33327.
See https://gerrit.opnfv.org/gerrit/#/c/33327/
The cleanup function was called twice, so the image file was deleted.

Change-Id: I5fe6a90b46739d1c6d8b66365d2c8e55350cde00
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Modify the log message in deploy script

1. Move an log message to the correct location(now at line 331).
   In baremetal deployment, the virtual-deploy message is printed.
2. Modify all the "===" in the log messages to the same number of "="
3. Remove the TODO list since the work finished

Change-Id: I34325c522036caf9d1aa58c9cbf30eb77843fdfc
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Treat bad command line usage as error

Since we can not tolerate any kind of error which may result in
multicasting failed to run. So even the usage error shall be
treated as error too.

Change-Id: I5483bb2cebf437ed33ebb79eeeac640f8728a73f
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "add the argument WORKDIR in daisy-img-modify.sh"

add the argument WORKDIR in daisy-img-modify.sh

the daisy install tmp workdir can be configurated as an input
argument in deploy.sh,and it also should be used in subshell
daisy-img-modify.sh,so add the input argument -w workdir
in daisy-img-modify.sh.

1.add an input argument -w workdir in daisy-img-modify.sh.
2.modify the WORKDIR default value to /tmp/workdir/daisy.
3.code refactor to put the centos7.qcow2 file clean statement
from the deploy.sh to daisy-img-modify.sh.

Change-Id: Id375a15ad2839c209329e644c5e032d044604e7d
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Merge "support mutinode deploy in vm deployment env"

Merge "Nominating Alex Yang <yangyang1@zte.com.cn> as committer for Daisy4NFV project."

Nominating Alex Yang <yangyang1@zte.com.cn> as committer for Daisy4NFV project.

Alex has been contributing the majority of code to Daisy4NFV since the
last season[1][2].

I have had a talk with him on IRC meeting [3] and he expressed willing to
contribute more to Daisy4NFV project and I believe he will make a great
addition to the core review team.

All Daisy4NFV committers, please vote +1 or +2 if you support this nomination [4].

This PS also propose a committer removal. Jian Yang  (yangjianyjy@chinamobile.com)
has been inactive in the project for a long time. He

- was not present in the project meetings for more than 6 months
 (see participant lists in the minutes or IRC); AND
- did not contribute any patch for the project for more than 6 months; AND
- did not participate in the email discussion of the project for more than 6 month AND
- We failed to contact him offline.

[1] http://stackalytics.com/?project_type=opnfv-group&metric=commits&release=all&module=daisy
[2] https://gerrit.opnfv.org/gerrit/#/q/owner:yangyang1%2540zte.com.cn+status:merged+project:daisy
[3] http://eavesdrop.openstack.org/meetings/daisycloud/2017/daisycloud.2017-03-24-07.58.log.html
[4] https://wiki.opnfv.org/display/DEV/Committer+Promotions

Change-Id: Ibd416d93d01c7fe769dfc0c5809baca4cdefca46
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

support mutinode deploy in vm deployment env

Change-Id: Ic9e19d4e120fc53d96d0794239cd6e421f25ea27
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Add rpm based installation doc

Change-Id: I50d5750e985b258cef7874c88902b8fae0539e25
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Add required packages for build jasmine"

Add required packages for build jasmine

Also add code/jasmine/.tarball-version to set version manually,
otherwise we need more software such as git to get the version and
also we may encounter rpmbuild error due to rpmbuild does not
support dash character in git version.

Change-Id: If9b7ef75cbc0a5e4987658454b47abf02b451989
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

modify service name in service disk table

Change-Id: Ic33381ef3339bdcec82cba7afbfc2d32f6e88be4
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Merge "code variable name refactor"

code variable name refactor

refactor the deploy.sh variable name
1.unify the glabs var name to upper case.
2.refactor the variable of target_node_net/daisy_server_net
to add prefix VMDEPLOY for code readablity.
3.refactor the usage() to function usage for uniform the
code style.

Change-Id: Ibd7ea91ac8b19cd7147e3a7d97b3359880cec59c
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

jasmine(Just A Simple Multicast engINE) Initial merge

Change-Id: I7a543019c8d92314ef549bf72369b7276f39577d
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Add multicast spec"

Add multicast spec

Change-Id: I3f9b9167864126b7b455761799dc79c40c394854
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "delete redundant parameters in cluster_meta"

delete redundant parameters in cluster_meta

when we deploy the baremetal,do not have to use pxe_only
and skip_pxe_ipmi parameters,or we can't call 'daisy install'
command

Change-Id: Ief5131c47c16412b8dacec50b5a7858b65baa7a2
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Get the right columns according to the upstream patch

A column named 'Tecs_version_id' is added in the upstream patch
https://review.openstack.org/#/c/450056/.
So the column numbers of 'Role_progress' and 'Role_status' should
be modified in check_openstack_progress.sh

Change-Id: I47607bfe3ab89195569f785b3f815e57cee0406d
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "enable ceph backend for deploy cinder"

enable ceph backend for deploy cinder

Change-Id: I71255872e6bcf485f8ab72c105db931d96233d03
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

add tox framework for pep8 and unittest

Change-Id: If783d387c29dad7fa472578ead2bcd5a6d42ee70
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "unify the way of obtaining network configuration"

Merge "Fix bug in virtual deploy"

Fix bug in virtual deploy

In prepare_install function of tempest.py:
1. get_config.py needs dha and network parameters
2. install_os_for_vm_step2 function needs cluster_id parameter

Change-Id: Idb13f71ced76f0d99dcbe818cdac3d3f2eb7d5df
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

unify the way of obtaining network configuration

Change-Id: Idd960d7faf0f24ae8caac13562858ccaa1c67f7b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

unify the way of getting openstack clients

Change-Id: If3a1d1a8b74e11c5861c016bd722b78f4cf9b475
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "modify image path according to https://review.openstack.org/#/c/446820/"

modify image path
according to https://review.openstack.org/#/c/446820/

Change-Id: Ie5ece043ac27e207e232cb05b8b007fa6c1b04c5
Signed-off-by: Yao Lu <lu.yao135@zte.com.cn>

simplify get_xx process using query.find()

Change-Id: I2a911fc15c1456b409db840b9ae76c04a23d449d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "add missing license"

Merge "abolish tag to use branch to get daisy from upstream"

Merge "bugfix hardcoded network configuration"

Merge "use local cirros image in post-deploy script"

abolish tag to use branch to get daisy from upstream

Change-Id: I3bcc1e6d9cbcb2974fc9246a3b1559f9b988d530
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

add missing license

Change-Id: Ie187f76db9ae7518c4fb129b4571cedbd7d931c6
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix hardcoded network configuration

Change-Id: I1fb6036a2805ccb9bdbe23622514ccd9d997c1a5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

use local cirros image in post-deploy script

In daisy building job, cirros image is packed in daisy image file.
And it would be copied to /var/lib/daisy/images/ directory after daisy
installed. The post-deploy script can use it locally.

Change-Id: I45adbdd8b7c87b574367820076f6019638310ed8
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

distinguish virtual and bm deploy

Change-Id: I9fcc4f08283c832d32c22c2195401dd86ecf9dc5
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Merge "download and pack cirros image into opnfv.bin"

Merge "unify the definition of NETWORK and NETWORK_CONF"

Merge "refactor set default_floating_pool"

Merge "set 'trusts' auth model in heat"

download and pack cirros image into opnfv.bin

In daisy-build job, download and pack cirros 0.3.5 image into daisy
image file. Then post-deploy script can use it as a glance image.
It will locate in /var/lib/daisy/images/ on daisy server.

Change-Id: I1bf67c32bd245b43dd50974076daaca04721bc11
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

unify the definition of NETWORK and NETWORK_CONF

Change-Id: I1669c92f24739812a4e2d47655b1fc0a1daa3171
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

refactor set default_floating_pool

Change-Id: I2e59f1ea7abdfc2bbd1f89cb19d55dd4eb053112
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

set 'trusts' auth model in heat

Change-Id: I2b61d756adbeef0efecb2a9d479e8c43c56c21fb
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

create default TestVM for Functest

Change-Id: I505a0819d5f1a4350e82ceaa9e5cbee285c8fba0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: test_external_network_visibility failed"

Merge "add default_floating_pool configuration for nova-api"

Merge "create m1.micro flavor for functest"

bugfix: test_external_network_visibility failed

subnet should be invisible

Change-Id: I27d7a9ceab3604ccd35667b949e490e341f95f6a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

add default_floating_pool configuration for nova-api

Change-Id: I9db5509667e9c10a9c07b55531c6d78fb95cc223
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

create m1.micro flavor for functest

Change-Id: Iacb36cb05e72b0755cec0a5bd5a6c48f3ec70c6f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

modify daisy install interface and modify check_openstack_progress targetnode nums

Change-Id: I19f8c18f8b977619c9bbf6f1e80f7c48f8f5db9e
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

remove blanks from cluster_id

There are blanks at the head and the tail of $cluster_id. Then in
https://build.opnfv.org/ci/job/daisy-deploy-virtual-daily-master/26/console
there are error messages as "No such file or directory".

Change-Id: Ia5d119df85d4f64fbc3a47705ccc208d7a67b2de
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "add known_hosts file in daisy vm"

Merge "Fix ipmi info updating in OS installation"

add known_hosts file in daisy vm

Change-Id: Icc58c1ad41264557ad462174188f518fbb1f5ef6
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Eliminate the exception in image-modify

Sometimes kpartx fails when it deletes the partition device mappings
because of the automatic mounting to /run/media/root/xxxx. So umounting
and removing forcibly are needed.

Change-Id: Ic8a19ef9139adb9c0c5c4bead0ae0ffbd92f24b8
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Fix ipmi info updating in OS installation

1. No need for virtual deploy to update ipmi info
2. Print host details in virtual deploy

Change-Id: Ie1f16f869440191458c7f672fc3cea2393b76245
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "create admin external subnet"

Merge "add patch from upstream to fit bm deploy"

Merge "fix libvirt bug of https://bugzilla.redhat.com/show_bug.cgi?id=1404627"

add patch from upstream to fit bm deploy

Change-Id: Iefba02c658f7feb45868822334deada245b1d7aa
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

fix libvirt bug of https://bugzilla.redhat.com/show_bug.cgi?id=1404627

Change-Id: Ia018529ed3ca89e883a8ba2b1a693e2a5250af21
Signed-off-by: zhouya <zhou.ya@zte.com.cn>