Merge "Switch to upstream daisy's master branch"

Switch to upstream daisy's master branch

Change-Id: I7a88d8b65168356420aee2042ac3902834633477
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Fix delete_virtual_network function call"

securelab parameter bug fix

This is a bug fix of 02e1f1c8ab3f3857ca2370f98575ccbf41f12a01

Change-Id: I628c5e33a76bc28e0af139e338b29a7393700525
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Fix delete_virtual_network function call

create_daisy_server_network method in VirtualEnvironment class
calls self.delete_virtual_network, but it doesn't exist,
actually it should be delete_virtual_network function in module
libvirt_utils.py.

Change-Id: I381e916097744827a22d311b275611df38d8e1be
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Fix unittest

Change-Id: I82086b85da488e183589af7b4adbd6c80835c039
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Add some unittest files such as test_nova.py"

Merge "Use pxe bridge to replace the bridge in VM template"

Merge "Support passing securelab dir as a optional param"

Support passing securelab dir as a optional param

Change-Id: I5caadb42b3890858e7642a5fd260392370dbbfc8
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Add some unittest files such as test_nova.py

1.Add test_glance.py, test_neutron.py and test_nova.py unittest
files, and modify the neutron.py to adapt the unittest.
2.Add some unittest functions in test_post_execute.py,
test_deploy.py, test_keystoneauth.py.
3.rename test_prepare_execure.py to test_prepare_execute.py.

Change-Id: Ie0640d133e27c558648416a6a5cf044a00ffa67f
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Use pxe bridge to replace the bridge in VM template

1. Eliminate hard code about pxe bridge
2. Replace the bridge in daisy VM template with the pxe bridge
provided by jenkins

Change-Id: I7a8463181847417d10705ce9ff4db6e68d505c6d
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Some optimizations about unit test"

Merge "Add the pytest file test_environment.py"

Add the pytest file test_environment.py

1.Add the pytest file test_enviroment.py
2.Add the pytest file test_daisy_server.py

Change-Id: If679c3a7279a915d078dd3008bcfc56be6dccc3e
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Some optimizations about unit test

Remove some "if/else".
Rename a variables and a file.
Split a testcase in two cases.

Change-Id: Ic107845ac8eff41ba20e1501c93925586d6cbde9
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Use virsh reset instead of reboot"

Merge "Update doc content for Euphrates"

Use virsh reset instead of reboot

Sometimes the VMs do not reboot when using "virsh reboot".
The virtual depoyment CI jobs failed recently.

Change-Id: Id8b3ef638a7ba8f584c6e4c03d11e77d2919a35b
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Update doc content for Euphrates

Change-Id: Ide23a73bd0f610bf949431538e64788c2dae0e12
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Add the pytest file test_deploy.py"

Eliminate hard code about ipmi info in bash script

Change-Id: I642d130566137dff727b7227658afe6ace9473d6
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>
(cherry picked from commit 94d3957c5aba2db70d06929ac9538280a71c6641)

Merge "Eliminate hard code about ipmi info in bash script"

Eliminate hard code about ipmi info in bash script

Change-Id: I642d130566137dff727b7227658afe6ace9473d6
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Add developer doc for deployment detail

Change-Id: I03c283222060677f7ce7b5ddb0241db78e52b481
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Add the pytest file test_deploy.py

1.add the pytest file test_deploy.py
2.fix the tmpfile clearup issue.

Change-Id: I3a7e0f9199f1bf518b332fd3e9884c8f084575ae
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

get_mac_addresses_for_virtual() suppors all-in-one env

Change-Id: I6514292b16c784ced0dcb82d639fe10b425d63e2
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Export kolla preparation log when install failed

Change-Id: I08844b899de2dba539b3c3942345f83d1ac3c198
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Kill zip() in add_hosts_interface()"

Kill zip() in add_hosts_interface()

Since mac_address_map is always avaliable, there is no need to
pass host_name into add_hosts_interface() and use zip() to do
strange combination any more.

This change:
1) Is trying to make code more understandable
2) Also delete a unused parameter for add_host_role()

Change-Id: Icef47cdf7f1a1522600b351f6e2f47d6f62efa9f
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Eliminate hard coding about ipmi info"

Eliminate hard coding about ipmi info

1. Eliminate hard coding
2. Add ipmi info in schemas
3. Add unit test

Change-Id: I4561bbc9454e02fd1de2106645db341a4129245b
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Add doc for building kolla image

Change-Id: I7d25c13221e60d40801dc694efe8c32c31ebfabf
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Uniform the variable definition makefile_path.sh"

Enlarge kolla log output size to 5000 lines

Change-Id: I9916d494e67b788d491b44fc1d0202d5ac20e710
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Add some unit test files test_netwrok.py"

Uniform the variable definition makefile_path.sh

replace all the "${TOOLS_PATH}/setup/bin_temp" statement to
the variable $target_dir

Change-Id: I62b95f1780a7cd5e0c8c4e60a5b0661a2a9937bd
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Add some unit test files test_netwrok.py

1.add the below unit test files:
test_netwrok.py/test_schemas.py/test_query.py/test_utils.py
2.add the corresponding test conf file deploy_virtual_error.yml.

Change-Id: I01292d4c94b9d6159597961a0cab515f57727ec3
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Merge "Add some test case in test_post_execute.py"

Merge "change update doc"

Merge "Support build with extent tag"

change update doc

Change-Id: I3593593d540bf0e74ae1642f3450d4945af8a334
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Support build with extent tag

Kolla offcial image tag is, for example, 4.0.2. Daisy images can
be names as 4.0.2.n And Kolla supports upgrading not only from
4.0.2 to 4.0.3, but also from 4.0.2 to 4.0.2.n. It is a convenient
way for Daisy to publish its own small changes into images for
upgrading.

Change-Id: I9d283e1ffa452ac3e04046ab6c96d018d42e0bf9
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Refactor the parameters checking"

Add some test case in test_post_execute.py

1.add some test case in test_post_execute.py.
2.rename test_execute.py to test_prepare_execute.py and
add clearup handle in test function.

Change-Id: I1ed27ce6f0a5ba8bbd56544ae8d53e14f7daa9ea
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Refactor the parameters checking

Change-Id: I0acd39671ea8b7e574719acb96b8c5df93b66443
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Add OpenStack reconfig and Upgrade docs

Change-Id: I971cc23d47b90cbf03b194d3e6918262b5e3f8a5
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Introduce deployment error recovery level

Change-Id: I023a637e793bae845feabed0d7b80072d3f9f0b7
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

revert build_pxe_for_discover function to build pxe server

In case of deploy failed with deploy.sh file without reinstall
daisy node, we need to resetup DHCP in tempest.py script

Change-Id: Ia7b4de7933bf4957226a2bf0965858a555f0ed54
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Merge "deploy.sh refactory"

Merge "Add the pytest files for post py files"

deploy.sh refactory

This can be seen as a code clean up before we implementing
running deploy.sh without recreate daisy vm and networks.

Change-Id: I9bb67fdc7220cc70e2e876cc05750c22630d5ac8
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Add the pytest files for post py files

1.add the test_keystoneauth.py and test_post_execute.py
2.modify the test-requirements.txt to update the dependent
python package.

Change-Id: I0957c723bd82faa9060c7d5ae021d46feaed05ae
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Update all-in-one VM CPUs from 4 to 8

By testing we found that all-in-one VM needs more CPUs, otherwise
, we encountered high probability failure during kolla deployment.

Change-Id: I4ee798c9427c61a696bc8ec33ba4bc72fafcebba
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Add tools for testing FIP"

Add tools for testing FIP

After deployment, we can manually use this script to
simply test basic FIP connectivity.

Change-Id: Iccc3edd71ea4c3d38dbed09411093a96a9679ae7
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "delete the HEARTBEAT plane in all_in_one network"

Merge "Add doc for describing CI jobs"

delete the HEARTBEAT plane in all_in_one network

There is only one node in all-in-one env,so do not need to
configure the HEARTBEAT plane, without this ps,we may get the
globals.yml file an extra wrong value of
keepalived_interface: '{{ network_interface }}' which is unnecessary
for all-in-one env, and will result in keepalive not work, VIP lose,
and since we still use VIP in all-in-one env, the whole deployment may fail.

Change-Id: Ic1efabb533fd63e95254ad19ccf98adb5da6ae78
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

detail deploy guide rst

Change-Id: I0a3dddb1356a8f50f9d0a35d69c39b7a483b7a20
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Add doc for describing CI jobs

Change-Id: Ief4cdd41324bd1957b581937ad19f4779575c35a
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Sync the kolla version with the upstream"

Merge "Add pytest file for prepare/execute.py"

Sync the kolla version with the upstream

Please see https://review.openstack.org/#/c/494347/ in
openstack/daisycloud-core.

Change-Id: I9f8ed06b8d2baef6b27562920722c76f4d01f5b1
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Add pytest file for prepare/execute.py

1.Add pytest file test_execute.py for prepare/execute.py.
2.Change the makedirs mode from 0600 to 0700 for test env.

Change-Id: Ie29e9e4b4210b170f448faf4df907e55bff1435f
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Merge "Modify schemas.py"

Modify schemas.py

1. add schemas for elements added recently in deploy.yml
2. remove daisy_ip from required list, prepare for generate it auto
3. add main() function to make this file useful in bash

Change-Id: Ic7a3a87305f96b064260967862f976e33cdea294
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

use daisy.conf to build pxe server

we use the interface of daisyclient to build the pxe server
in tempest.py,but we can use the daisy.conf to build the pxe
server instead,this is just the optimization of code

Change-Id: I7a75d33aa8f80326750d304fa0a881201e956c57
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Fix an error in sed statement

JIRA: DAISY-42

Change-Id: I0fd709bb0dbee42cdc73076773cb635be6ba02cd
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Add more unit test case in test_get_conf.py

Add more unit test cases by pytest parametrize fixture.

Change-Id: I208bcff9af79b73556638e20df96235c4ac60ee2
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Merge "Use PDF(POD descriptor file) and correct the mapping of nodes and roles"

Fix bug in baremetal deploy with python script

Change-Id: I782c4d732ee8774526b21abd3e8636e65916ce3b
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Rename jasmine to daisy4nfv-jasmine"

Revert "Optimize list express to list generator"

This reverts commit e5a787046aff97a9925a35874d2b6535a9a41c0c.

Trying to solve [1]

Deploy failed!!!.Traceback (most recent call last):
  File "/home/daisy/deploy/tempest.py", line 94, in prepare_install
    host_interface_map, vip, isbare)
  File "/home/daisy/deploy/tempest.py", line 216, in add_hosts_interface
    add_host_role(cluster_id, host['id'], host_name, host['name'], vip)
  File "/home/daisy/deploy/tempest.py", line 225, in add_host_role
    role.name == "COMPUTER"][0]
IndexError: list index out of range

[1] https://build.opnfv.org/ci/job/daisy-deploy-daily-master/626/consoleFull

Change-Id: I4017b4b38fa350a28d9e9dd5b157caab885a80d0
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Rename jasmine to daisy4nfv-jasmine

Rename to prevent naming confilct

Change-Id: I4f2f9cbb0ccf119901c3f450b3220cd4436de4ec
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Ignore oder in unit test of test_get_conf.py

Since the result contains a list, so ignore_order should be True
in the comparison.

Change-Id: Iff4c655312015a55a69b91692ab6f9696715a143
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Fix the assert comparison error in test_get_conf.py"

Fix the assert comparison error in test_get_conf.py

Because the list/dict parse can not ensure the element sequence in
python, using == method to compare the dict content may cause the
fault. we replace it with DeepDiff function.

Change-Id: I1db52347e24a0b3968bcf645fd47c4fc5b768dc7
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Merge "Support os-odl-nofeature-* as new scenarios"

Support os-odl-nofeature-* as new scenarios

Rename all scenarios with "odl_l3" in their name in Euphrates to
just "odl".

Daisy will keep "odl_l3" and "odl_l2" (in code, not for user)
for further reference.

Change-Id: Ib762dd808d4f9467b0e6827b8bbed6d9df7e0e0e
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Optimize list express to list generator"

Merge "Add the unit test by pytest for get_conf.py"

Optimize list express to list generator

optimize list express to list generator in tempest.py

Change-Id: I8ba12d33a1fc8b33e29fa0a08d7be40a1361bb65
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Add the unit test by pytest for get_conf.py

Add the unit test cases by pytest way for get_conf.py,
other python files will be added unit test cases gradually
in the future.

Change-Id: I2495645defcf7ee1b6014b27810ac956eec9f7de
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Use PDF(POD descriptor file) and correct the mapping of nodes and roles

JIRA: DAISY-42
JIRA: DAISY-56

In bare metal deployment, we can use PDF to get MAC addresses of nodes
https://gerrit.opnfv.org/gerrit/#/c/38387/.
Then we can use the MACs to help to distinguish the discovered nodes
and assign roles to them, like virtual deployment in the link
https://gerrit.opnfv.org/gerrit/#/c/38381/.

Change-Id: Ib0f1a60b8935f528a828f716ccc916b767cfa6f9
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Eliminate error logs in virtual deployment"

Eliminate error logs in virtual deployment

There are some error messages in virtual deployment, such as
"Domain not found" or "network is already active".
The script forgets to destroy the keep-alived network, and should
not destroy a non-existent VM or network.

Change-Id: I8d9dce9d70f732bd6942b293e407e1845d81fc39
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "use template to replace duplicate xml file"

Merge "Remove useless parameters and rename some parameters in get_conf.py"

use template to replace duplicate xml file

Change-Id: I9764612171ef3bf2cdfc652420a2b162fcbfab43
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Remove useless parameters and rename some parameters in get_conf.py

Change-Id: I47949f44ea609932059374b128018e36590e88fd
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Jira: DAISY-36 Update doc structure

This PS update doc structure according to [1].

Note: This PS also add content to doc for describing the
mapping methods for map role to discovered nodes.

[1] http://docs.opnfv.org/en/stable-danube/how-to-use-docs/documentation-guide.html?highlight=templates#document-structure-and-contribution

Change-Id: I7b2ef916753cddd8cd845abae8c7d5865c49e1ac
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Fix typo in patch 38381

JIRA: DAISY-56

controller01 -> $name

Change-Id: Icd959ca55079a6ac0bfbd181ff134d7decfb89f5
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Correct the mapping of nodes and roles in virtual deploy

JIRA: DAISY-56

Now the roles are assigned to nodes randomly, because the function
'add_hosts_interface' in tempest.py just uses zip to map the
host's name to the host.

libvirt_utils.py: get mac addresses from VM
environment.py: save the mac addresses
daisy_server.py: write a new deploy.yml which contains the mac addresses
    and copy the file to daisy server
get_conf.py: get mac addresses from the new deploy.yml
tempest.py: assigned roles to nodes when the mac addresses matched
controller.xml: increase the RAM to make difference with computer nodes
deploy.sh: apply this change to bash script

Change-Id: Ia61b60d39d319c5d01e3505727fafc63a0585858
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

use only one file get_conf.py to get configuration data from deploy.yml

just move the code from get_para_from_deploy to get_conf file
no functionality change.

Change-Id: I86aa1325ff37cb2ae0784c9487e62e95cc23f644
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Do not provide ipmi user and password in virtual deployment

Change-Id: Ib7989bed237a03cdab01fea89aba4e2038815e5f
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Solve double container removal problem"

Merge "Convert the bash commands in post.sh to python code"

Solve double container removal problem

From [1], We got an error from docker: "No such container: daisy"
while issuing "docker rm -v -f daisy", this OK because we do
docker run --rm before this. So it is safe to add "|| true" after
"docker rm -v -f daisy".

[1] https://build.opnfv.org/ci/job/daisy-build-daily-master/500/console

Change-Id: I3d17595156f1b6181a84d9a03e2cd6ddff275eb3
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Close upstream merge window

Switch to upstream daisy's stable/ocata branch

Change-Id: I5ff0b0a28a8d2f76f0cb813af8f8241175bb6054
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>