prototypes: xci: Make sure Ansible dependencies are installed

'pip install ansible' is not enough on newly installed hosts which may
lack the necessary build tools to install Ansible's dependencies. As
such, we add a script similar to the bifrost/scripts/install-deps.sh
one to pull in all the necessary distro-specific packages so Ansible
and it's dependencies can be installed from scratch.

Change-Id: I4b1e74644db9ace451ad763e4c54f1a3a43214fd

Merge "Fix the parameters of downloading"

Fix the parameters of downloading

aria2c should use "-d" to indicate the directory to store the downloaded
file.

Change-Id: I6590403fb0c0b2938ee384cf5b1d5acc42ed94c1
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Improve daisy download speed by multi-thread tool"

Get ODL distro from the new location on the nexus log server

Change-Id: Ief68ecad4570f1d6ea0a5142f6071adf3188f50b
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Change name of pod jinja file to reduce confusion

Change-Id: I353b8d96709fb149aa4574ecd0f0b06439770652
Signed-off-by: agardner <agardner@linuxfoundation.org>

Apex: Converts machine type for snapshot deploys to 'pc'

Change-Id: Ic996d49b161af23184fbbce4812c103a158ebef2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[Functest][Apex] Use v3 credentials"

Merge "leverage executor to test_testcase.py in TestAPI"

Merge "leverage executor to test_project.py in TestAPI"

Merge "leverage executor to test_result.py in TestAPI"

fixed syntax errors in zte pods, change labconfig name

Change-Id: I2d0e6c1199fe3ac2841923abdabd19c239b2b5f8
Signed-off-by: agardner <agardner@linuxfoundation.org>

prototypes: bifrost: Add keystone roles

The os_client_config Ansible module used by all the ironic-* roles
depends on the keystone roles so we need to make use of them even
though they do not affect the end result. This fixes the following
OPNFV CI problem due to not having a clouds.yaml file present to
be consumed by the os_client_config Ansible module.

fatal: [controller00]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}
An exception occurred during task execution. The full traceback is:
Traceback (most recent call last):
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 75, in <module>
    main()
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 63, in main
    for cloud in config.get_all_clouds():
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 798, in get_all_clouds
    cloud, region_name=region['name']))
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 1071, in get_one_cloud
    auth_plugin = loader.load_from_options(**config['auth'])
  File "/usr/lib/python2.7/site-packages/keystoneauth1/loading/base.py", line 162, in load_from_options
    raise exceptions.MissingRequiredOptions(missing_required)
keystoneauth1.exceptions.auth_plugins.MissingRequiredOptions: Auth plugin requires parameters which were not given: auth_url
fatal: [opnfv]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}

Moreover, we cleanup the ~/openstack directory which may contain some
bifrost artifacts such as a clouds.yaml file.

Finally, we use 'sudo -H' because for the keystone roles we need the HOME
variable to be set properly.

Change-Id: I45b08bd33dd8ea9505fe10eb4b2b10956b3b683c

[Functest][Apex] Use v3 credentials

Soon, Functest will start using only public endpoints
and will remove admin connectivity to the deployments.

Change-Id: I2089ccd3d6e7f1acda7b46d3104a8a78a47af8ff
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Support opera test in functest releng"

Support opera test in functest releng

Because opera vnf test requires Open-O msb ip and the independency
of this test case, set specific docker env vars for compass4nfv
os-nosdn-openo-ha scenario.

Change-Id: I486e3896dc86d29cf93818b317675c088c1c5198
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Bugfix: wrong work directory

JIRA: DOVETAIL-420

CI wrong with:
Archiving artifacts
WARN: No artifacts found that match the file pattern "results/*/". Configuration error?
WARN: ?results/*/? doesn?t match anything, but ?*/? does. Perhaps that?s what you mean?

Change-Id: Ia548cb4e3b5e34f43c130c2860892364bffad233
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Trigger Functest VNF test case for opera"

Merge "dovetail: docker tag support"

Trigger Functest VNF test case for opera

Change-Id: I313dc0661b41556a6b9cb4cc3ba0d79db9c16c88
Signed-off-by: helenyao <yaohelan@huawei.com>

dovetail: docker tag support

JIRA: DOVETAIL-419

since dovetal has no A/B/C/D branch, only have master,
need docker image name sth like opnfv/dovetail:plugfest_april_2017
rather than opnfv/dovetail:<release>.1.0, etc.
then when RELEASE_VERSION is empty, generate opnfv/dovetail:latest
ortherwise opnfv/dovetail:<RELEASE_VERSION>

Change-Id: I92573bee35da16305074393401e5e5da65aaa22c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Bugfix: Permission denied when pip install virtualenv

JIRA: DOVETAIL-420

Collecting virtualenv
Downloading virtualenv-15.1.0-py2.py3-none-any.whl (1.8MB)
Installing collected packages: virtualenv
Exception:
Traceback (most recent call last):
File "/usr/lib/python2.7/site-packages/pip/basecommand.py", line 223, in main
status = self.run(options, args)
File "/usr/lib/python2.7/site-packages/pip/commands/install.py", line 308, in run
strip_file_prefix=options.strip_file_prefix,
File "/usr/lib/python2.7/site-packages/pip/req/req_set.py", line 646, in install
**kwargs
File "/usr/lib/python2.7/site-packages/pip/req/req_install.py", line 816, in install
strip_file_prefix=strip_file_prefix
File "/usr/lib/python2.7/site-packages/pip/req/req_install.py", line 1013, in move_wheel_files
strip_file_prefix=strip_file_prefix,
File "/usr/lib/python2.7/site-packages/pip/wheel.py", line 339, in move_wheel_files
clobber(source, lib_dir, True)
File "/usr/lib/python2.7/site-packages/pip/wheel.py", line 317, in clobber
shutil.copyfile(srcfile, destfile)
File "/usr/lib64/python2.7/shutil.py", line 83, in copyfile
with open(dst, 'wb') as fdst:
IOError: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/virtualenv.py'

Change-Id: I7c387013739252402fa3774b1a2df241a09f24c0
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail: create file pod.yaml for running HA test cases"

Merge "Apex: enable ha for os-odl_l3-fdio"

Apex: enable ha for os-odl_l3-fdio

Change-Id: If23c52437b45806526c0b38e6176ab040715a70e
Signed-off-by: Tim Rozet <trozet@redhat.com>

dovetail: create file pod.yaml for running HA test cases

JIRA: DOVETAIL-407

1. HA test cases need a file pod.yaml giving the info of the pod
   (node's ip, username, password/key_file).
2. Dovetail client has finished the adaption JIRA: DOVETAIL-405.
3. CI uses create_pod_file.py to generate /home/opnfv/dovetail/userconfig/pod.yaml
4. If INSTALLER_TYPE is fuel, fetch it's jumpserver key to
   /home/opnfv/dovetail/userconfig/id_rsa

Change-Id: Iaf6afbdfb8e4331ae9a10ea3df060c37e9010a0a
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Add set -o to daisy4nfv-build.sh"

Improve daisy download speed by multi-thread tool

Use multi-thread tool such as aria2c to download the daisy image,
to reduce the time spent on downloading.

Change-Id: Id1b7f9195fe0d499b9b02b0a8410e02871f675f9
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Rename arm-pod3-2 to arm-pod4"

need to escape <, so move to include raw and shell script

Change-Id: I7b54d303bffcbc2fefce6db135ad9efefa0e9ed3
Signed-off-by: agardner <agardner@linuxfoundation.org>

Job is not triggering,

did something wrong with builders

Change-Id: I55818fa155e33362a47bd9651ea8733e301f9c0b
Signed-off-by: agardner <agardner@linuxfoundation.org>

Check all jinja templates against all lab files

Dont use zte files as they are not valid yaml
(ill fix that later)

Change-Id: I5a21edb774a64ef134dd3f49c552f33b0d13f01e
Signed-off-by: agardner <agardner@linuxfoundation.org>

slave reqires this build to be concurrent true

Also trigger on changes to yaml files

Change-Id: Idfc2a45fbf5e6e6e9583912d43af005ae2cf30a0
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Syntax Check for jinja2 files"

Syntax Check for jinja2 files

Just something basic, theres no real logic yet

Change-Id: I37efa8ffbe44981100d6849120d0900b8fb9280c
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "leverage executor to test_token/version.py in TestAPI"

Merge changes from topics 'unittest_executor', 'import_absolute'

* changes:
  impl executor and leverage to test_pod.py in TestAPI
  import from absolute path in TestAPI unit

Rename arm-pod3-2 to arm-pod4

Arm-pod3-2 is a second jenkins slave for arm-pod3.
This slave is arm while the old jenkins slave is x86.
Fatih requested for this slave to be renamed to arm-pod4
instead of arm-pod3-2, even if it's a slave for an existing pod

JIRA: ARMBAND-252

Change-Id: I5645edd7d774f763e5e72115851c7061bfafd344
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "AArch64 Dovetail docker creation job"

Apex: fixes iso verify

Change-Id: Id22995b49d12fdb2a5d5d7532d1459f3ac4338f2
Signed-off-by: Tim Rozet <trozet@redhat.com>

xci: Ensure ansible is bootstrapped as last step

Role requirements file is used during ansible bootstrap on opnfv
host so we must ensure the right ansible role requirements is there
in advance.

Change-Id: I2c5a1edd82a51cbbe1469c31f37b5d638d32ec27
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add set -o to daisy4nfv-build.sh

By using set -o, this can prevent CI from uploading *.properties
files without *.bin to artifact.opnfv.org if build was failed.

This once happened to [1].

[1] http://artifacts.opnfv.org/daisy/opnfv-2017-04-25_06-57-05.properties

Change-Id: I26c3112af1d73a84df05c3852038c99d7070ab59
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

xci: Always use pinned versions of openstack-ansible-requirements

Pinned versions used to be used only if XCI_LOOP == 'daily', but it
seems to be required, otherwise this is very likely to fail

Change-Id: I21f638bba75846a58b12373a903d414fa89b4bc6
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Apex: fix iso verify

Change-Id: Ia1d6da64fa245407c5c71f7a56bb6d372fb11ebc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes iso verify/upload

Change-Id: I25baff8b74bf26903e5196f31b9f47dab94fd048
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix iso verify

Change-Id: I212437ebec64aa8521ad95c5b57a7824476a4580
Signed-off-by: Tim Rozet <trozet@redhat.com>

AArch64 Dovetail docker creation job

Add support for creating and pulling Dovetail docker container
for aarch64 platform

Change-Id: I1e6f2b677e4c972cd80ad2c6f2cd304f0d4d8cad
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

Merge "dovetail: Change CI jobs to run test suite "proposed_tests" instead of "debug""

Merge "[doctor] fix test case name"

Merge "Make arm-virtual1 pod not available for CI jobs"

Apex: more fixes for iso verify

Change-Id: Ie1a59806b20072f27adc2f7248c4244e53a5f2bb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes iso verify

Change-Id: I2aeca682d6543b36cd8b28f78580c4194db85453
Signed-off-by: Tim Rozet <trozet@redhat.com>

[doctor] fix test case name

See, https://gerrit.opnfv.org/gerrit/#/c/33099/ .

Change-Id: I3bf5bbeef88445512b70fc47be08ecc481c42c2a
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "unify data existence check"

dovetail: Change CI jobs to run test suite "proposed_tests" instead of "debug"

JIRA: DOVETAIL-397

now, team decide to use proposed_tests suite instead of debug

Change-Id: Iff8ec0b32a24e51bc2d2536605c9867b94f8921c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Adding iso verify to Apex builds

JIRA: APEX-377

Change-Id: I1e02fc602e8258e76f9447d05b09b17e55d0d25a
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "xci: Merge configure-targethosts.yml playbooks into one"

xci: Fix nfs server ip for glance

Change-Id: Iebb9945bfd9cad9ebfda127f130542f4a6334aec
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Make arm-virtual1 pod not available for CI jobs

Change-Id: I1ae47f2105744bfea8c8c589f41282d1c4ae2159
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

xci: Merge configure-targethosts.yml playbooks into one

They are exactly same now after moving nfs to compute00.

Change-Id: I9d9d2f037aa3684ba130ae0a4f9aef2e733f2d2e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Change cinder backend and move nfs to compute00

This change
- switches cinder backend from lvm to nfs as examplified in [1].
- moves nfs shares from compute01 to compute00 in order to merge
configure-targethosts.yml playbook in upcoming change.
- updates openstack_user_config.yml to reflect the switch to nfs
and move of nfs server to compute00.
- removes exports file due to switching to lineinfile module.

[1] https://docs.openstack.org/project-deploy-guide/openstack-ansible/draft/app-config-prod.html

Change-Id: I0715c98a89ab124256e3857c1047e374f261e39b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Force sync time

For some reason, when the nodes are provisioned, they are out
of sync time-wise. This prevents neutron agents on compute nodes
from starting and then everything fails.

This change restarts chrony after the network configuration is updated
and the nodes have internet access and force synchs time on nodes.

Change-Id: Ib27b1fa0313223b52fa2e6229d5a179581d62686
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Fix network configuration

This change
- sets static IP for controller nodes' vxlan bridges as stated
in osa documentation: compute and network hosts must have an IP [1]
- configures IPs for controller nodes' vxlan bridges.
- removes the additional vlan ip from compute nodes as it seems to
be there for all in one.
- removes glean.rules as they mess with the network configuration once
the network changes are applied.
- removes the contents of interfaces.d as osa populates config for
lxc bridges and includes this config in interfaces file thus all the
files in interfaces.d must be removed in order not to mess with the
network configuration.
- updates modules appropriately.

[1] https://docs.openstack.org/project-deploy-guide/openstack-ansible/draft/app-config-prod.html

Change-Id: I84d5f07216c8d0246da06080fb0ed19f917d6637
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

KVMFORNFV: Disabling kvmfornfv daily danube job.

This patch is used to temporarily disable kvmfornfv daily danube
job from triggering as Intel-pod10 is currently not available for
executing daily danube test cases.

Note: Will enable the kvmfornfv daily danube job once Intel-pod10
is available for executing test cases.

Change-Id: I26cb1e360962a895b2e3ced3ccadfc1f770a5663
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Revert "Cleanup dirty daisy build workspace directory""

leverage executor to test_token/version.py in TestAPI

Change-Id: Ia1e6b0e787d477a19c78b56ff249d544b49a087b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage executor to test_testcase.py in TestAPI

Change-Id: I8bb7459e5dee49cd120e848ac70834c8d9665a45
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage executor to test_result.py in TestAPI

Change-Id: Ie4388a4be0cb174129ac168530559114046680ab
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage executor to test_project.py in TestAPI

Change-Id: I2ebc86a4c395182ca783d3d36befbed2a21f512b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

impl executor and leverage to test_pod.py in TestAPI

implement executor.py
leverage executor to test_pod.py

Change-Id: Ief70a28a935c86430e26f90f35112a7bab9fa81b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Do not run docker with -t option"

Do not run docker with -t option

Change-Id: I33fc01c36b6e290cc47464087a1e84da35a8c56a
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Bugfix: Convert the string list to list"

change the url

we need download the package from the http://artifacts.opnfv.org,
instead of http://205.177.226.237.

Change-Id: Ibf6b1caa8d0ad27aa144fd25aeb6dd8f3004067a
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Revert "Cleanup dirty daisy build workspace directory"

This reverts commit 3ede21905ba5df94df06952e90d89ec0c16e7bb7.

The deleted line in daisy4nfv-basic.sh in this PS was used exclusively
by a job to clean up files with wrong ownership in workspace previously.
Now, daisy4nfv-basic.sh is used combind with build/test scripts in job,
so we need to delete this line, otherwise, we encountered workspace was
wiped which resulted in build/test scripts failed to run.

Change-Id: I8812a495db789838c3a88510a05956a11e8227d5
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Add flake8 examination to Bottlenecks

JIRA: RELENG-211

Add flake8 examination to CI pipeline for Bottlenecks.

Change-Id: I14d8bd4fe288d1dedb7c23dd158fc8c3765bf309
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Bugfix: Convert the string list to list

Compass information failed to be printed as the roles were string list

Change-Id: I38037dae099862a040b817b690d451951e0bb23b
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "xci: Fix images directory permissions"

import from absolute path in TestAPI unit

Change-Id: Ic42db22d825229713b38c75c141af7742ca65dd3
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "change not_found to forbidden when db not exist"

Merge "unify error message in TestAPI"

unify data existence check

Change-Id: I2ee4c3be6f34ce12530450cd22f2561c458685f9
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

xci: Fix images directory permissions

Change-Id: Ibc1b9662bb9865c0e309128327d620324ddca85c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

APEX: Change virtual compute ram to 7gb

Change-Id: I6f42ffe5fad41ac90830784d8a4ec8ee04eae7d2
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "xci: Exclude aodh, ceilometer, and gnocchi from deployments"

APEX: Remove setting of hugepages

Change-Id: Ic482f75bb905082f503958c1be01c9cd7e68566a
Signed-off-by: Feng Pan <fpan@redhat.com>

xci: Exclude aodh, ceilometer, and gnocchi from deployments

Aodh is broken on the master branch due to use of conflicting
sqlAlhcemy package, causing issues during osa repo_build.

This patch disables aodh and the related services ceilometer
and gnocchi since the reason for us to have these 2 is to get
aodh.

See the failure from
https://build.opnfv.org/ci/job/xci-deploy-virtual-xenial-daily-master/26/consoleFull

Change-Id: Ic6b74328cf1692b5e26c5f30b3eb3799240c7117
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

APEX: reduce hugepages and ram for virtual fdio/ovs deployments

Change-Id: Ifeea80111dd55785acbc6697ae216da4c8d3670a
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "[WIP]:jobs to deploy danube and run dovetail from master"

change not_found to forbidden when db not exist

Change-Id: I1aa61c5d1b057b5a53cf6369b26605867a4d092e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

unify error message in TestAPI

Change-Id: I994feb7bf340c9e48bebe9fdf3dc3a76bc254652
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "xci: Introduce XCI_LOOP variable to control what to do properly"

[WIP]:jobs to deploy danube and run dovetail from master

JIRA: DOVETAIL-180

Change-Id: Ia8d44b609c53696c141eced747e3855c67faccb5
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

APEX: Reduce virtual ram on compute nodes for fdio/ovs scenarios

Change-Id: I7df2c6a6a940f49268146334cb7f77d3fffeb665
Signed-off-by: Feng Pan <fpan@redhat.com>

jjb: xci: bifrost-cleanup-job: Fix undefined variable

Variable 'i' does not exist. It should be 'try_to_rm' instead.

Change-Id: Ic2aa5a1115715851379e2c7ba5c11699cb8e7407
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: Log info about provisioned VMs to console"

Merge "xci: Start developer documentation"

xci: Log info about provisioned VMs to console

Change-Id: If29aaf0be6ddd860450eeb10432fe75e12b1d03b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: SHA bump as of April 4

The bifrost, osa, and ansible role requirements sha1s are bumped
based on the HEAD of the master of the projects on April 4.

designate is also disabled based on the comment the osa commit
mentions.

https://review.openstack.org/gitweb?p=openstack/openstack-ansible.git;a=commit;h=d9e1330c7ff9d72a604b6b4f3af765f66a01b30e

Change-Id: Ib47515490c799d3b1d2b4b319277c8900cd37328
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Compass Adapter to get deployment information"