Merge "Allow Asynchronous Apex Builds"

Merge "leverage tornado framework to simply impl of TestAPI"

Merge "correct the import impl of TestAPI"

Merge "change swagger urls based on v1.2 specification"

Bugfix: Error when create pod.yaml file

JIRA: DOVETAIL-426

1. ImportError: No module named netaddr
2. rm: cannot remove '/home/opnfv/dovetail/userconfig/*': No such file or directory

Change-Id: I81ad703667c798589855fdafc1668644e9a342b9
Signed-off-by: xudan <xudan16@huawei.com>

Allow Asynchronous Apex Builds

- Remove any build blockers on 'apex-build-*' jobs.
- Adds script to download latest build artifacts before deployment.
- Make each deploy download the needed artifacts before running.
- ARTIFACT_VERSION now set to dev for verify builds to indicate tarball
  should be uploaded to artifacts repo
- apex.yml jjb is now generated by using apex-jjb-renderer
- scenarios are managed in scenarios.yaml

JIRA: APEX-328

Change-Id: I4a51565686bd2011a310c3926d8260cd4641dca5
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Bug Fixes: remove Db name + path"

Bug Fixes: remove Db name + path

as case have been renamed in testcases.yaml
no more need or translation name/Db name

Change-Id: I0656ec478369224d44d9c3cdf0c6426f140e4029
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add qtip reporting"

Merge "Add short_description field to testcase in test API"

Merge "Bugfix: Error when create pod.yaml file"

Add short_description field to testcase in test API

this field will be used for the catalogue
Description may be too long - displayed in case of roll over
name is often not explicit enough for humanes

Change-Id: Ibb1f74208376c93616fc89fa10fdeecaf0f8c8fb
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add arm support in functest reporting pages"

leverage tornado framework to simply impl of TestAPI

1) make better use of initialize() method
2) better naming global arguments

Change-Id: I89dc72a358bcb2a5688a1ffeb3ed5d735d875a4a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

correct the import impl of TestAPI

Change-Id: Ia721ff61e02b1819c32d228f5f8910364c139c8a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

change swagger urls based on v1.2 specification

According to swagger1.2 specification, The Swagger specification
is comprised of two file types: The Resources Listing and The
API Declaration.

https://github.com/OAI/OpenAPI-Specification/blob/master/versions/1.2.md

Change-Id: I8f92897e41dbf6d4d2c3b1fe64ea6729f04cf3ad
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bugfix: Error when create pod.yaml file

JIRA: DOVETAIL-426

os.path.makedirs(os.path.dirname(args.filepath))
AttributeError: 'module' object has no attribute 'makedirs'

Change-Id: I2b75576f05b7926b76148ea6152e4479215344f5
Signed-off-by: xudan <xudan16@huawei.com>

Wild card needed now that compass4nfv configs have been added

Change-Id: I490b7b1de44e7a04ea631ffa4808f633353f94c5
Signed-off-by: agardner <agardner@linuxfoundation.org>

XCI: change functest job to use master

Change-Id: If0ce98b4d6f86a0bb6ad5b7b78bf134ef87c1fd9
Signed-off-by: Tim Rozet <trozet@redhat.com>

3rd Party CI: Adds carbon branch to ODL xci

Change-Id: I53ddedb80f19ec9f8224cb0e22e4657b1472169f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "prototypes: xci: Make sure Ansible dependencies are installed"

Merge "jjb: xci: Run bifrost provisioning as normal user"

Merge "prototypes: bifrost: Write clouds.yaml file for regular users"

Add arm support in functest reporting pages

Create different pages for installer@architectures
- x86
- aarch64

JIRA: FUNCTEST-821

Change-Id: I3c4ebba3f7969f6c1a5d04c4d5b5a63db5a3e7c2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[Functest] Remove Colorado and Brahmaputra support"

Merge "dovetail: add a suitable job used for vpn test case validation in CI"

Merge "Bugfix: Error when create pod.yaml file if one node's role is None"

Merge "Change tempest_smoke_serial to odl_netvirt"

Apex: fixes overcloudrc v3 filename

Change-Id: I086adca7f9671c2c5e6fd04a1ec339e8b22f1de4
Signed-off-by: Tim Rozet <trozet@redhat.com>

jjb: xci: Run bifrost provisioning as normal user

Ansible can request elevated privileges using the 'become' directive.
As such there is no need to run ansible using sudo. Furthermore,
OpenStack CI runs all jobs as normal user and we need to do the same
in order to compare behavior and results properly.

Change-Id: Id198efd1d6fdf4619de931fbedc7caba8d68d2a0

prototypes: bifrost: Write clouds.yaml file for regular users

This is similar to commit 6769ae9bcbf6 ("prototypes: bifrost: Add
keystone roles"). In preparation for running the bifrost jobs as normal
user we need to write a clouds.yaml file to users home directory.
This is similar to the bifrost upstream testing playbook.

Change-Id: Iae4bc73906649707667925280a19282ec5c93998

prototypes: xci: Make sure Ansible dependencies are installed

'pip install ansible' is not enough on newly installed hosts which may
lack the necessary build tools to install Ansible's dependencies. As
such, we add a script similar to the bifrost/scripts/install-deps.sh
one to pull in all the necessary distro-specific packages so Ansible
and it's dependencies can be installed from scratch.

Change-Id: I4b1e74644db9ace451ad763e4c54f1a3a43214fd

Merge "Fix the parameters of downloading"

Fix the parameters of downloading

aria2c should use "-d" to indicate the directory to store the downloaded
file.

Change-Id: I6590403fb0c0b2938ee384cf5b1d5acc42ed94c1
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Improve daisy download speed by multi-thread tool"

add qtip reporting

Change-Id: Ie573486080fbd36857ff0709d53f6bdcdd43363e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bugfix: Error when create pod.yaml file if one node's role is None

DOVETAIL-426

Error message:
if node.roles[0].lower() == "controller":
IndexError: list index out of range

Change-Id: I96d26cc3798b993b5b296f554becfc175e3e87b4
Signed-off-by: xudan <xudan16@huawei.com>

Get ODL distro from the new location on the nexus log server

Change-Id: Ief68ecad4570f1d6ea0a5142f6071adf3188f50b
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Change name of pod jinja file to reduce confusion

Change-Id: I353b8d96709fb149aa4574ecd0f0b06439770652
Signed-off-by: agardner <agardner@linuxfoundation.org>

Apex: Converts machine type for snapshot deploys to 'pc'

Change-Id: Ic996d49b161af23184fbbce4812c103a158ebef2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[Functest][Apex] Use v3 credentials"

Merge "leverage executor to test_testcase.py in TestAPI"

Merge "leverage executor to test_project.py in TestAPI"

Merge "leverage executor to test_result.py in TestAPI"

dovetail: add a suitable job used for vpn test case validation in CI

JIRA: DOVETAIL-424

the principle is
1) not disturb the original work flow
2) after vpn testcases integrated into dovetail, i.e, CVP tool,
   there is a need to find a POD has bgpvpn feature which is
   suitable to validate bgp vpn test cases in proposed_tests.
3) only add dovetail proposed_tests into bgpvpn scenario deploy-test loop
   to reduce unnecessary time consuming.
4) further, should consider to add dovetail job in os-nosdn-nofeature loop

Change-Id: Iad6ae1e44470c8e9d49a25980d292ba3871bd6a4
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

fixed syntax errors in zte pods, change labconfig name

Change-Id: I2d0e6c1199fe3ac2841923abdabd19c239b2b5f8
Signed-off-by: agardner <agardner@linuxfoundation.org>

prototypes: bifrost: Add keystone roles

The os_client_config Ansible module used by all the ironic-* roles
depends on the keystone roles so we need to make use of them even
though they do not affect the end result. This fixes the following
OPNFV CI problem due to not having a clouds.yaml file present to
be consumed by the os_client_config Ansible module.

fatal: [controller00]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}
An exception occurred during task execution. The full traceback is:
Traceback (most recent call last):
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 75, in <module>
    main()
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 63, in main
    for cloud in config.get_all_clouds():
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 798, in get_all_clouds
    cloud, region_name=region['name']))
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 1071, in get_one_cloud
    auth_plugin = loader.load_from_options(**config['auth'])
  File "/usr/lib/python2.7/site-packages/keystoneauth1/loading/base.py", line 162, in load_from_options
    raise exceptions.MissingRequiredOptions(missing_required)
keystoneauth1.exceptions.auth_plugins.MissingRequiredOptions: Auth plugin requires parameters which were not given: auth_url
fatal: [opnfv]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}

Moreover, we cleanup the ~/openstack directory which may contain some
bifrost artifacts such as a clouds.yaml file.

Finally, we use 'sudo -H' because for the keystone roles we need the HOME
variable to be set properly.

Change-Id: I45b08bd33dd8ea9505fe10eb4b2b10956b3b683c

[Functest][Apex] Use v3 credentials

Soon, Functest will start using only public endpoints
and will remove admin connectivity to the deployments.

Change-Id: I2089ccd3d6e7f1acda7b46d3104a8a78a47af8ff
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[Functest] Remove Colorado and Brahmaputra support

CI no longer runs brahmaputra and colorado jobs.
To keep the jobs as simple as possible, remove
that support.

Change-Id: I29661f414923807dc6c0d22526dc852a45dbe7bb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Support opera test in functest releng"

Support opera test in functest releng

Because opera vnf test requires Open-O msb ip and the independency
of this test case, set specific docker env vars for compass4nfv
os-nosdn-openo-ha scenario.

Change-Id: I486e3896dc86d29cf93818b317675c088c1c5198
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Bugfix: wrong work directory

JIRA: DOVETAIL-420

CI wrong with:
Archiving artifacts
WARN: No artifacts found that match the file pattern "results/*/". Configuration error?
WARN: ?results/*/? doesn?t match anything, but ?*/? does. Perhaps that?s what you mean?

Change-Id: Ia548cb4e3b5e34f43c130c2860892364bffad233
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Trigger Functest VNF test case for opera"

Merge "dovetail: docker tag support"

Trigger Functest VNF test case for opera

Change-Id: I313dc0661b41556a6b9cb4cc3ba0d79db9c16c88
Signed-off-by: helenyao <yaohelan@huawei.com>

dovetail: docker tag support

JIRA: DOVETAIL-419

since dovetal has no A/B/C/D branch, only have master,
need docker image name sth like opnfv/dovetail:plugfest_april_2017
rather than opnfv/dovetail:<release>.1.0, etc.
then when RELEASE_VERSION is empty, generate opnfv/dovetail:latest
ortherwise opnfv/dovetail:<RELEASE_VERSION>

Change-Id: I92573bee35da16305074393401e5e5da65aaa22c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Bugfix: Permission denied when pip install virtualenv

JIRA: DOVETAIL-420

Collecting virtualenv
Downloading virtualenv-15.1.0-py2.py3-none-any.whl (1.8MB)
Installing collected packages: virtualenv
Exception:
Traceback (most recent call last):
File "/usr/lib/python2.7/site-packages/pip/basecommand.py", line 223, in main
status = self.run(options, args)
File "/usr/lib/python2.7/site-packages/pip/commands/install.py", line 308, in run
strip_file_prefix=options.strip_file_prefix,
File "/usr/lib/python2.7/site-packages/pip/req/req_set.py", line 646, in install
**kwargs
File "/usr/lib/python2.7/site-packages/pip/req/req_install.py", line 816, in install
strip_file_prefix=strip_file_prefix
File "/usr/lib/python2.7/site-packages/pip/req/req_install.py", line 1013, in move_wheel_files
strip_file_prefix=strip_file_prefix,
File "/usr/lib/python2.7/site-packages/pip/wheel.py", line 339, in move_wheel_files
clobber(source, lib_dir, True)
File "/usr/lib/python2.7/site-packages/pip/wheel.py", line 317, in clobber
shutil.copyfile(srcfile, destfile)
File "/usr/lib64/python2.7/shutil.py", line 83, in copyfile
with open(dst, 'wb') as fdst:
IOError: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/virtualenv.py'

Change-Id: I7c387013739252402fa3774b1a2df241a09f24c0
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail: create file pod.yaml for running HA test cases"

Merge "Apex: enable ha for os-odl_l3-fdio"

Apex: enable ha for os-odl_l3-fdio

Change-Id: If23c52437b45806526c0b38e6176ab040715a70e
Signed-off-by: Tim Rozet <trozet@redhat.com>

dovetail: create file pod.yaml for running HA test cases

JIRA: DOVETAIL-407

1. HA test cases need a file pod.yaml giving the info of the pod
   (node's ip, username, password/key_file).
2. Dovetail client has finished the adaption JIRA: DOVETAIL-405.
3. CI uses create_pod_file.py to generate /home/opnfv/dovetail/userconfig/pod.yaml
4. If INSTALLER_TYPE is fuel, fetch it's jumpserver key to
   /home/opnfv/dovetail/userconfig/id_rsa

Change-Id: Iaf6afbdfb8e4331ae9a10ea3df060c37e9010a0a
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Add set -o to daisy4nfv-build.sh"

Improve daisy download speed by multi-thread tool

Use multi-thread tool such as aria2c to download the daisy image,
to reduce the time spent on downloading.

Change-Id: Id1b7f9195fe0d499b9b02b0a8410e02871f675f9
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Rename arm-pod3-2 to arm-pod4"

need to escape <, so move to include raw and shell script

Change-Id: I7b54d303bffcbc2fefce6db135ad9efefa0e9ed3
Signed-off-by: agardner <agardner@linuxfoundation.org>

Job is not triggering,

did something wrong with builders

Change-Id: I55818fa155e33362a47bd9651ea8733e301f9c0b
Signed-off-by: agardner <agardner@linuxfoundation.org>

Check all jinja templates against all lab files

Dont use zte files as they are not valid yaml
(ill fix that later)

Change-Id: I5a21edb774a64ef134dd3f49c552f33b0d13f01e
Signed-off-by: agardner <agardner@linuxfoundation.org>

slave reqires this build to be concurrent true

Also trigger on changes to yaml files

Change-Id: Idfc2a45fbf5e6e6e9583912d43af005ae2cf30a0
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Syntax Check for jinja2 files"

Syntax Check for jinja2 files

Just something basic, theres no real logic yet

Change-Id: I37efa8ffbe44981100d6849120d0900b8fb9280c
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "leverage executor to test_token/version.py in TestAPI"

Merge changes from topics 'unittest_executor', 'import_absolute'

* changes:
  impl executor and leverage to test_pod.py in TestAPI
  import from absolute path in TestAPI unit

Rename arm-pod3-2 to arm-pod4

Arm-pod3-2 is a second jenkins slave for arm-pod3.
This slave is arm while the old jenkins slave is x86.
Fatih requested for this slave to be renamed to arm-pod4
instead of arm-pod3-2, even if it's a slave for an existing pod

JIRA: ARMBAND-252

Change-Id: I5645edd7d774f763e5e72115851c7061bfafd344
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "AArch64 Dovetail docker creation job"

Apex: fixes iso verify

Change-Id: Id22995b49d12fdb2a5d5d7532d1459f3ac4338f2
Signed-off-by: Tim Rozet <trozet@redhat.com>

xci: Ensure ansible is bootstrapped as last step

Role requirements file is used during ansible bootstrap on opnfv
host so we must ensure the right ansible role requirements is there
in advance.

Change-Id: I2c5a1edd82a51cbbe1469c31f37b5d638d32ec27
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add set -o to daisy4nfv-build.sh

By using set -o, this can prevent CI from uploading *.properties
files without *.bin to artifact.opnfv.org if build was failed.

This once happened to [1].

[1] http://artifacts.opnfv.org/daisy/opnfv-2017-04-25_06-57-05.properties

Change-Id: I26c3112af1d73a84df05c3852038c99d7070ab59
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

xci: Always use pinned versions of openstack-ansible-requirements

Pinned versions used to be used only if XCI_LOOP == 'daily', but it
seems to be required, otherwise this is very likely to fail

Change-Id: I21f638bba75846a58b12373a903d414fa89b4bc6
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Apex: fix iso verify

Change-Id: Ia1d6da64fa245407c5c71f7a56bb6d372fb11ebc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes iso verify/upload

Change-Id: I25baff8b74bf26903e5196f31b9f47dab94fd048
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix iso verify

Change-Id: I212437ebec64aa8521ad95c5b57a7824476a4580
Signed-off-by: Tim Rozet <trozet@redhat.com>

AArch64 Dovetail docker creation job

Add support for creating and pulling Dovetail docker container
for aarch64 platform

Change-Id: I1e6f2b677e4c972cd80ad2c6f2cd304f0d4d8cad
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

Merge "dovetail: Change CI jobs to run test suite "proposed_tests" instead of "debug""

Merge "[doctor] fix test case name"

Merge "Make arm-virtual1 pod not available for CI jobs"

Apex: more fixes for iso verify

Change-Id: Ie1a59806b20072f27adc2f7248c4244e53a5f2bb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes iso verify

Change-Id: I2aeca682d6543b36cd8b28f78580c4194db85453
Signed-off-by: Tim Rozet <trozet@redhat.com>

[doctor] fix test case name

See, https://gerrit.opnfv.org/gerrit/#/c/33099/ .

Change-Id: I3bf5bbeef88445512b70fc47be08ecc481c42c2a
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "unify data existence check"

dovetail: Change CI jobs to run test suite "proposed_tests" instead of "debug"

JIRA: DOVETAIL-397

now, team decide to use proposed_tests suite instead of debug

Change-Id: Iff8ec0b32a24e51bc2d2536605c9867b94f8921c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Adding iso verify to Apex builds

JIRA: APEX-377

Change-Id: I1e02fc602e8258e76f9447d05b09b17e55d0d25a
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "xci: Merge configure-targethosts.yml playbooks into one"

xci: Fix nfs server ip for glance

Change-Id: Iebb9945bfd9cad9ebfda127f130542f4a6334aec
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Make arm-virtual1 pod not available for CI jobs

Change-Id: I1ae47f2105744bfea8c8c589f41282d1c4ae2159
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

xci: Merge configure-targethosts.yml playbooks into one

They are exactly same now after moving nfs to compute00.

Change-Id: I9d9d2f037aa3684ba130ae0a4f9aef2e733f2d2e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Change cinder backend and move nfs to compute00

This change
- switches cinder backend from lvm to nfs as examplified in [1].
- moves nfs shares from compute01 to compute00 in order to merge
configure-targethosts.yml playbook in upcoming change.
- updates openstack_user_config.yml to reflect the switch to nfs
and move of nfs server to compute00.
- removes exports file due to switching to lineinfile module.

[1] https://docs.openstack.org/project-deploy-guide/openstack-ansible/draft/app-config-prod.html

Change-Id: I0715c98a89ab124256e3857c1047e374f261e39b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Force sync time

For some reason, when the nodes are provisioned, they are out
of sync time-wise. This prevents neutron agents on compute nodes
from starting and then everything fails.

This change restarts chrony after the network configuration is updated
and the nodes have internet access and force synchs time on nodes.

Change-Id: Ib27b1fa0313223b52fa2e6229d5a179581d62686
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Fix network configuration

This change
- sets static IP for controller nodes' vxlan bridges as stated
in osa documentation: compute and network hosts must have an IP [1]
- configures IPs for controller nodes' vxlan bridges.
- removes the additional vlan ip from compute nodes as it seems to
be there for all in one.
- removes glean.rules as they mess with the network configuration once
the network changes are applied.
- removes the contents of interfaces.d as osa populates config for
lxc bridges and includes this config in interfaces file thus all the
files in interfaces.d must be removed in order not to mess with the
network configuration.
- updates modules appropriately.

[1] https://docs.openstack.org/project-deploy-guide/openstack-ansible/draft/app-config-prod.html

Change-Id: I84d5f07216c8d0246da06080fb0ed19f917d6637
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

KVMFORNFV: Disabling kvmfornfv daily danube job.

This patch is used to temporarily disable kvmfornfv daily danube
job from triggering as Intel-pod10 is currently not available for
executing daily danube test cases.

Note: Will enable the kvmfornfv daily danube job once Intel-pod10
is available for executing test cases.

Change-Id: I26cb1e360962a895b2e3ced3ccadfc1f770a5663
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Revert "Cleanup dirty daisy build workspace directory""