Apex: add gerrit to deploy

Change-Id: I9260d053c74584e1c80e880d73d8671e3515b4c2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes node parameters and git revision on verify

Change-Id: I02243d359b4204ab38dee143332c8d1bac86ac8e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: adds missing deploy env vars

Change-Id: I515afe7a8f230ebbece8ee4d99ca7744a6a35fb8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes upload artifact

Change-Id: Ib12722ec85fe46d1b6dccb7bfc2da748386dac97
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes build directory in upload artifact

Change-Id: I5d3c5c76159a1bc4b83ef5855ad412962d00fcb6
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "KVMFORNFV: Common build packages for daily test cases"

Apex: fix apex upload for images

Change-Id: Ibff76b1ce7cb4e071e576fd111bfff8af2cc2021
Signed-off-by: Tim Rozet <trozet@redhat.com>

KVMFORNFV: Common build packages for daily test cases

This patch is used to upload the metadata file only for the artifacts
built by daily build job. Also used to add seperate checks for the
artifacts uploaded by build and test phases.

Change-Id: I4c760e2269f3251fd0de91a803123167fb2ad225
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Apex: updates cache to unique name

Change-Id: I4131efd042f5d1aa4e8a5dc78b24be8ba6fbf87c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes dev label names for artifacts

Change-Id: I2dae20c688ccd2cb690c01a843cb75d5743e129b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes checking dev for verify build

Change-Id: I8f283f6db366fc55a7eb52789affed7426521d17
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes building rpms for patches

Change-Id: I2de72d983035cbf79f9f09850cd98dfd349783ca
Signed-off-by: Tim Rozet <trozet@redhat.com>

KVMFORNFV: Common build packages for daily test cases

This patch is used to upload the metadata file only for the artifacts
built by daily build job so that both the kvmfornfv cyclictest and
packet forwarding test cases will download the same artifacts uploaded
by the daily build job for testing on the test pod.

Change-Id: Ic2d58eca4fc86a257877159bb6910a2d8e8f3887
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "KVMFORNFV: Common build packages for daily test cases"

Apex: adds timeouts to deploy and build jobs

Change-Id: I760952825e9f3d36d66ecb51e26a66b8ad69aaac
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes build directory assumption in upload artifact

Change-Id: Iae230e37137b0408a74ba74bd551a88dd6ffa076
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: changes build job to use git-scm-gerrit

Change-Id: I2701ecea73ae58dc6115a93cbfc8b35ef7949b3b
Signed-off-by: Tim Rozet <trozet@redhat.com>

KVMFORNFV: Common build packages for daily test cases

This patch is used to implement the common daily build job so that
both the kvmfornfv cyclictest and packet forwarding test cases will
download the same artifacts uploaded by the daily build job for
testing on the test pod.

Change-Id: Ifbe3ab1d6c62bd73c982065242cbfe29ce5dea1e
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "re-enable testapi auto update"

Merge "add web portal framework for TestAPI"

Merge "big fixes: wrong path"

Merge "clarify schema base on swagger1.2 specification"

add web portal framework for TestAPI

Change-Id: I62cea8b59ffe6a6cde98051c130f4502c07d3557
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "KVMFORNFV: Disable packet forwarding daily build job."

Apex: remove global build slave

Change-Id: I2d4216e63a16baafcebe636107449b334c953f04
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: remove blocking on daily jobs

Change-Id: I6ee953c983fce4280d0e2e4653458cfbe6998710
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes promote jobs missing upload snapshot

Change-Id: I850a287f4226d59968e06ff31e268d7d2b485e3d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Sub repo for security gate, add lhinds as commiter"

Merge "Allow Asynchronous Apex Builds"

clarify schema base on swagger1.2 specification

Change-Id: I98e165ae943b54d6a38783f2a3822d381c247ee4
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "leverage tornado framework to simply impl of TestAPI"

Merge "correct the import impl of TestAPI"

Merge "change swagger urls based on v1.2 specification"

re-enable testapi auto update

Change-Id: Ied3c2f0c0ba1bd8cbaaa44bfff52ea52614db56c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

KVMFORNFV: Disable packet forwarding daily build job.

This patch is used to disable the kvmfornfv packet forwarding
daily build job to avoid seperate rpm building for cyclictest
and packet forwarding test cases. Both the test cases will use
the rpms uploaded to artifacts as a part of cyclictest daily
build job for testing.

Change-Id: Ia6c1ce2ddc435aa5ae3cbf88b5cfedf6f6d3c106
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

big fixes: wrong path

- remove link to daisy for storperf results
- fix yardstick installer page links

Change-Id: Idae2163862c681db05cfc24c5c29eaea793d3c88
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Bugfix: Error when create pod.yaml file

JIRA: DOVETAIL-426

1. ImportError: No module named netaddr
2. rm: cannot remove '/home/opnfv/dovetail/userconfig/*': No such file or directory

Change-Id: I81ad703667c798589855fdafc1668644e9a342b9
Signed-off-by: xudan <xudan16@huawei.com>

Allow Asynchronous Apex Builds

- Remove any build blockers on 'apex-build-*' jobs.
- Adds script to download latest build artifacts before deployment.
- Make each deploy download the needed artifacts before running.
- ARTIFACT_VERSION now set to dev for verify builds to indicate tarball
  should be uploaded to artifacts repo
- apex.yml jjb is now generated by using apex-jjb-renderer
- scenarios are managed in scenarios.yaml

JIRA: APEX-328

Change-Id: I4a51565686bd2011a310c3926d8260cd4641dca5
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Bug Fixes: remove Db name + path"

Bug Fixes: remove Db name + path

as case have been renamed in testcases.yaml
no more need or translation name/Db name

Change-Id: I0656ec478369224d44d9c3cdf0c6426f140e4029
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add qtip reporting"

Merge "Add short_description field to testcase in test API"

Merge "Bugfix: Error when create pod.yaml file"

Add short_description field to testcase in test API

this field will be used for the catalogue
Description may be too long - displayed in case of roll over
name is often not explicit enough for humanes

Change-Id: Ibb1f74208376c93616fc89fa10fdeecaf0f8c8fb
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add arm support in functest reporting pages"

leverage tornado framework to simply impl of TestAPI

1) make better use of initialize() method
2) better naming global arguments

Change-Id: I89dc72a358bcb2a5688a1ffeb3ed5d735d875a4a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

correct the import impl of TestAPI

Change-Id: Ia721ff61e02b1819c32d228f5f8910364c139c8a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

change swagger urls based on v1.2 specification

According to swagger1.2 specification, The Swagger specification
is comprised of two file types: The Resources Listing and The
API Declaration.

https://github.com/OAI/OpenAPI-Specification/blob/master/versions/1.2.md

Change-Id: I8f92897e41dbf6d4d2c3b1fe64ea6729f04cf3ad
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bugfix: Error when create pod.yaml file

JIRA: DOVETAIL-426

os.path.makedirs(os.path.dirname(args.filepath))
AttributeError: 'module' object has no attribute 'makedirs'

Change-Id: I2b75576f05b7926b76148ea6152e4479215344f5
Signed-off-by: xudan <xudan16@huawei.com>

Wild card needed now that compass4nfv configs have been added

Change-Id: I490b7b1de44e7a04ea631ffa4808f633353f94c5
Signed-off-by: agardner <agardner@linuxfoundation.org>

XCI: change functest job to use master

Change-Id: If0ce98b4d6f86a0bb6ad5b7b78bf134ef87c1fd9
Signed-off-by: Tim Rozet <trozet@redhat.com>

3rd Party CI: Adds carbon branch to ODL xci

Change-Id: I53ddedb80f19ec9f8224cb0e22e4657b1472169f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "prototypes: xci: Make sure Ansible dependencies are installed"

Merge "jjb: xci: Run bifrost provisioning as normal user"

Merge "prototypes: bifrost: Write clouds.yaml file for regular users"

Add arm support in functest reporting pages

Create different pages for installer@architectures
- x86
- aarch64

JIRA: FUNCTEST-821

Change-Id: I3c4ebba3f7969f6c1a5d04c4d5b5a63db5a3e7c2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[Functest] Remove Colorado and Brahmaputra support"

Merge "dovetail: add a suitable job used for vpn test case validation in CI"

Merge "Bugfix: Error when create pod.yaml file if one node's role is None"

Merge "Change tempest_smoke_serial to odl_netvirt"

Apex: fixes overcloudrc v3 filename

Change-Id: I086adca7f9671c2c5e6fd04a1ec339e8b22f1de4
Signed-off-by: Tim Rozet <trozet@redhat.com>

jjb: xci: Run bifrost provisioning as normal user

Ansible can request elevated privileges using the 'become' directive.
As such there is no need to run ansible using sudo. Furthermore,
OpenStack CI runs all jobs as normal user and we need to do the same
in order to compare behavior and results properly.

Change-Id: Id198efd1d6fdf4619de931fbedc7caba8d68d2a0

prototypes: bifrost: Write clouds.yaml file for regular users

This is similar to commit 6769ae9bcbf6 ("prototypes: bifrost: Add
keystone roles"). In preparation for running the bifrost jobs as normal
user we need to write a clouds.yaml file to users home directory.
This is similar to the bifrost upstream testing playbook.

Change-Id: Iae4bc73906649707667925280a19282ec5c93998

prototypes: xci: Make sure Ansible dependencies are installed

'pip install ansible' is not enough on newly installed hosts which may
lack the necessary build tools to install Ansible's dependencies. As
such, we add a script similar to the bifrost/scripts/install-deps.sh
one to pull in all the necessary distro-specific packages so Ansible
and it's dependencies can be installed from scratch.

Change-Id: I4b1e74644db9ace451ad763e4c54f1a3a43214fd

Merge "Fix the parameters of downloading"

Fix the parameters of downloading

aria2c should use "-d" to indicate the directory to store the downloaded
file.

Change-Id: I6590403fb0c0b2938ee384cf5b1d5acc42ed94c1
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Improve daisy download speed by multi-thread tool"

add qtip reporting

Change-Id: Ie573486080fbd36857ff0709d53f6bdcdd43363e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bugfix: Error when create pod.yaml file if one node's role is None

DOVETAIL-426

Error message:
if node.roles[0].lower() == "controller":
IndexError: list index out of range

Change-Id: I96d26cc3798b993b5b296f554becfc175e3e87b4
Signed-off-by: xudan <xudan16@huawei.com>

Get ODL distro from the new location on the nexus log server

Change-Id: Ief68ecad4570f1d6ea0a5142f6071adf3188f50b
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Change name of pod jinja file to reduce confusion

Change-Id: I353b8d96709fb149aa4574ecd0f0b06439770652
Signed-off-by: agardner <agardner@linuxfoundation.org>

Apex: Converts machine type for snapshot deploys to 'pc'

Change-Id: Ic996d49b161af23184fbbce4812c103a158ebef2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[Functest][Apex] Use v3 credentials"

Merge "leverage executor to test_testcase.py in TestAPI"

Merge "leverage executor to test_project.py in TestAPI"

Merge "leverage executor to test_result.py in TestAPI"

dovetail: add a suitable job used for vpn test case validation in CI

JIRA: DOVETAIL-424

the principle is
1) not disturb the original work flow
2) after vpn testcases integrated into dovetail, i.e, CVP tool,
   there is a need to find a POD has bgpvpn feature which is
   suitable to validate bgp vpn test cases in proposed_tests.
3) only add dovetail proposed_tests into bgpvpn scenario deploy-test loop
   to reduce unnecessary time consuming.
4) further, should consider to add dovetail job in os-nosdn-nofeature loop

Change-Id: Iad6ae1e44470c8e9d49a25980d292ba3871bd6a4
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

fixed syntax errors in zte pods, change labconfig name

Change-Id: I2d0e6c1199fe3ac2841923abdabd19c239b2b5f8
Signed-off-by: agardner <agardner@linuxfoundation.org>

prototypes: bifrost: Add keystone roles

The os_client_config Ansible module used by all the ironic-* roles
depends on the keystone roles so we need to make use of them even
though they do not affect the end result. This fixes the following
OPNFV CI problem due to not having a clouds.yaml file present to
be consumed by the os_client_config Ansible module.

fatal: [controller00]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}
An exception occurred during task execution. The full traceback is:
Traceback (most recent call last):
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 75, in <module>
    main()
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 63, in main
    for cloud in config.get_all_clouds():
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 798, in get_all_clouds
    cloud, region_name=region['name']))
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 1071, in get_one_cloud
    auth_plugin = loader.load_from_options(**config['auth'])
  File "/usr/lib/python2.7/site-packages/keystoneauth1/loading/base.py", line 162, in load_from_options
    raise exceptions.MissingRequiredOptions(missing_required)
keystoneauth1.exceptions.auth_plugins.MissingRequiredOptions: Auth plugin requires parameters which were not given: auth_url
fatal: [opnfv]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}

Moreover, we cleanup the ~/openstack directory which may contain some
bifrost artifacts such as a clouds.yaml file.

Finally, we use 'sudo -H' because for the keystone roles we need the HOME
variable to be set properly.

Change-Id: I45b08bd33dd8ea9505fe10eb4b2b10956b3b683c

[Functest][Apex] Use v3 credentials

Soon, Functest will start using only public endpoints
and will remove admin connectivity to the deployments.

Change-Id: I2089ccd3d6e7f1acda7b46d3104a8a78a47af8ff
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[Functest] Remove Colorado and Brahmaputra support

CI no longer runs brahmaputra and colorado jobs.
To keep the jobs as simple as possible, remove
that support.

Change-Id: I29661f414923807dc6c0d22526dc852a45dbe7bb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Support opera test in functest releng"

Support opera test in functest releng

Because opera vnf test requires Open-O msb ip and the independency
of this test case, set specific docker env vars for compass4nfv
os-nosdn-openo-ha scenario.

Change-Id: I486e3896dc86d29cf93818b317675c088c1c5198
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Bugfix: wrong work directory

JIRA: DOVETAIL-420

CI wrong with:
Archiving artifacts
WARN: No artifacts found that match the file pattern "results/*/". Configuration error?
WARN: ?results/*/? doesn?t match anything, but ?*/? does. Perhaps that?s what you mean?

Change-Id: Ia548cb4e3b5e34f43c130c2860892364bffad233
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Trigger Functest VNF test case for opera"

Merge "dovetail: docker tag support"

Trigger Functest VNF test case for opera

Change-Id: I313dc0661b41556a6b9cb4cc3ba0d79db9c16c88
Signed-off-by: helenyao <yaohelan@huawei.com>

dovetail: docker tag support

JIRA: DOVETAIL-419

since dovetal has no A/B/C/D branch, only have master,
need docker image name sth like opnfv/dovetail:plugfest_april_2017
rather than opnfv/dovetail:<release>.1.0, etc.
then when RELEASE_VERSION is empty, generate opnfv/dovetail:latest
ortherwise opnfv/dovetail:<RELEASE_VERSION>

Change-Id: I92573bee35da16305074393401e5e5da65aaa22c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Bugfix: Permission denied when pip install virtualenv

JIRA: DOVETAIL-420

Collecting virtualenv
Downloading virtualenv-15.1.0-py2.py3-none-any.whl (1.8MB)
Installing collected packages: virtualenv
Exception:
Traceback (most recent call last):
File "/usr/lib/python2.7/site-packages/pip/basecommand.py", line 223, in main
status = self.run(options, args)
File "/usr/lib/python2.7/site-packages/pip/commands/install.py", line 308, in run
strip_file_prefix=options.strip_file_prefix,
File "/usr/lib/python2.7/site-packages/pip/req/req_set.py", line 646, in install
**kwargs
File "/usr/lib/python2.7/site-packages/pip/req/req_install.py", line 816, in install
strip_file_prefix=strip_file_prefix
File "/usr/lib/python2.7/site-packages/pip/req/req_install.py", line 1013, in move_wheel_files
strip_file_prefix=strip_file_prefix,
File "/usr/lib/python2.7/site-packages/pip/wheel.py", line 339, in move_wheel_files
clobber(source, lib_dir, True)
File "/usr/lib/python2.7/site-packages/pip/wheel.py", line 317, in clobber
shutil.copyfile(srcfile, destfile)
File "/usr/lib64/python2.7/shutil.py", line 83, in copyfile
with open(dst, 'wb') as fdst:
IOError: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/virtualenv.py'

Change-Id: I7c387013739252402fa3774b1a2df241a09f24c0
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail: create file pod.yaml for running HA test cases"

Merge "Apex: enable ha for os-odl_l3-fdio"

Apex: enable ha for os-odl_l3-fdio

Change-Id: If23c52437b45806526c0b38e6176ab040715a70e
Signed-off-by: Tim Rozet <trozet@redhat.com>

dovetail: create file pod.yaml for running HA test cases

JIRA: DOVETAIL-407

1. HA test cases need a file pod.yaml giving the info of the pod
   (node's ip, username, password/key_file).
2. Dovetail client has finished the adaption JIRA: DOVETAIL-405.
3. CI uses create_pod_file.py to generate /home/opnfv/dovetail/userconfig/pod.yaml
4. If INSTALLER_TYPE is fuel, fetch it's jumpserver key to
   /home/opnfv/dovetail/userconfig/id_rsa

Change-Id: Iaf6afbdfb8e4331ae9a10ea3df060c37e9010a0a
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Add set -o to daisy4nfv-build.sh"

Improve daisy download speed by multi-thread tool

Use multi-thread tool such as aria2c to download the daisy image,
to reduce the time spent on downloading.

Change-Id: Id1b7f9195fe0d499b9b02b0a8410e02871f675f9
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Rename arm-pod3-2 to arm-pod4"

need to escape <, so move to include raw and shell script

Change-Id: I7b54d303bffcbc2fefce6db135ad9efefa0e9ed3
Signed-off-by: agardner <agardner@linuxfoundation.org>

Job is not triggering,

did something wrong with builders

Change-Id: I55818fa155e33362a47bd9651ea8733e301f9c0b
Signed-off-by: agardner <agardner@linuxfoundation.org>

Check all jinja templates against all lab files

Dont use zte files as they are not valid yaml
(ill fix that later)

Change-Id: I5a21edb774a64ef134dd3f49c552f33b0d13f01e
Signed-off-by: agardner <agardner@linuxfoundation.org>

slave reqires this build to be concurrent true

Also trigger on changes to yaml files

Change-Id: Idfc2a45fbf5e6e6e9583912d43af005ae2cf30a0
Signed-off-by: agardner <agardner@linuxfoundation.org>