Merge "prototypes: bifrost: Remove OPNFV specific group_vars file"

Merge "prototypes: xci: configure-localhost: Use 'connection: local'"

Merge "prototypes: xci: provision-vm-nodes: Do not provision VMs as root."

Merge "prototypes: xci: user-vars: Move root directory away from /opt"

Merge "prototypes: xci: xci-deploy: Do not use sudo when connecting to remote hosts"

Merge "prototypes: xci: Do not require root privileges in xci-deploy"

Apex: add ramdisk and kernel to upload

Change-Id: I81e89f9fe313977d6a06c6283cc5301f672a77c3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "refactor config parser to facilitate adding new configs"

Apex: fix clean cmds in deploy

Change-Id: I7da324903df1cc0c26cfba4433748dab459bbeb1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: add gerrit to deploy

Change-Id: I9260d053c74584e1c80e880d73d8671e3515b4c2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes node parameters and git revision on verify

Change-Id: I02243d359b4204ab38dee143332c8d1bac86ac8e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: adds missing deploy env vars

Change-Id: I515afe7a8f230ebbece8ee4d99ca7744a6a35fb8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes upload artifact

Change-Id: Ib12722ec85fe46d1b6dccb7bfc2da748386dac97
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes build directory in upload artifact

Change-Id: I5d3c5c76159a1bc4b83ef5855ad412962d00fcb6
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "KVMFORNFV: Common build packages for daily test cases"

Apex: fix apex upload for images

Change-Id: Ibff76b1ce7cb4e071e576fd111bfff8af2cc2021
Signed-off-by: Tim Rozet <trozet@redhat.com>

KVMFORNFV: Common build packages for daily test cases

This patch is used to upload the metadata file only for the artifacts
built by daily build job. Also used to add seperate checks for the
artifacts uploaded by build and test phases.

Change-Id: I4c760e2269f3251fd0de91a803123167fb2ad225
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Apex: updates cache to unique name

Change-Id: I4131efd042f5d1aa4e8a5dc78b24be8ba6fbf87c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes dev label names for artifacts

Change-Id: I2dae20c688ccd2cb690c01a843cb75d5743e129b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes checking dev for verify build

Change-Id: I8f283f6db366fc55a7eb52789affed7426521d17
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes building rpms for patches

Change-Id: I2de72d983035cbf79f9f09850cd98dfd349783ca
Signed-off-by: Tim Rozet <trozet@redhat.com>

KVMFORNFV: Common build packages for daily test cases

This patch is used to upload the metadata file only for the artifacts
built by daily build job so that both the kvmfornfv cyclictest and
packet forwarding test cases will download the same artifacts uploaded
by the daily build job for testing on the test pod.

Change-Id: Ic2d58eca4fc86a257877159bb6910a2d8e8f3887
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "KVMFORNFV: Common build packages for daily test cases"

Apex: adds timeouts to deploy and build jobs

Change-Id: I760952825e9f3d36d66ecb51e26a66b8ad69aaac
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes build directory assumption in upload artifact

Change-Id: Iae230e37137b0408a74ba74bd551a88dd6ffa076
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: changes build job to use git-scm-gerrit

Change-Id: I2701ecea73ae58dc6115a93cbfc8b35ef7949b3b
Signed-off-by: Tim Rozet <trozet@redhat.com>

refactor config parser to facilitate adding new configs

refactor hardcoded config.py to facilitate adding new
configurations come along with web portal and Authentication
features

Change-Id: Ibc16166ade0d6e730bb4c9d81e9b9bc9b297faa1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

KVMFORNFV: Common build packages for daily test cases

This patch is used to implement the common daily build job so that
both the kvmfornfv cyclictest and packet forwarding test cases will
download the same artifacts uploaded by the daily build job for
testing on the test pod.

Change-Id: Ifbe3ab1d6c62bd73c982065242cbfe29ce5dea1e
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "re-enable testapi auto update"

Merge "add web portal framework for TestAPI"

Merge "big fixes: wrong path"

Merge "clarify schema base on swagger1.2 specification"

add web portal framework for TestAPI

Change-Id: I62cea8b59ffe6a6cde98051c130f4502c07d3557
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "KVMFORNFV: Disable packet forwarding daily build job."

prototypes: bifrost: Remove OPNFV specific group_vars file

The only reason we had this file was because we had to define our own
'ssh_public_key_path' variable to look in the /root directory since we
were running everything as root. Since we are now moving away from this
approach, this file is not needed anymore.

Change-Id: Ic938c4c8c877c95ce261721dc32fc5147081e236
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: configure-localhost: Use 'connection: local'

Since we are operating on localhost, there is no need to do that via ssh
so we use 'connection: local' instead. Moreover, we do not need to
execute everything as root so we drop the remote user directive.

Change-Id: Ib2127edad29e2da1cd1beebf42cb8f0d278ce3ad
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: provision-vm-nodes: Do not provision VMs as root.

There is no need to provision VM nodes as root. The only thing that we
need to run as root is the destroy-env.sh script and for that we move
it to its own play so we can use Ansible's become directive. Moreover,
since this playbook operates on localhost we can use 'connection: local'
so we don't have to execute everything via ssh and possibly speed up
the whole process.

Change-Id: Ia9efd5f30e95385b5cf193dde352f93551846c0e
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: user-vars: Move root directory away from /opt

Having everything in the /opt implies root privileges. However, xci
should work as normal user and as such we use the /tmp directory as
the root directory.

Change-Id: I985ded289208e1de53ad0ba878afd5bfd745c3fd
Signed-off-by: Markos Chandras <mchandras@suse.de>

Apex: remove global build slave

Change-Id: I2d4216e63a16baafcebe636107449b334c953f04
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: remove blocking on daily jobs

Change-Id: I6ee953c983fce4280d0e2e4653458cfbe6998710
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes promote jobs missing upload snapshot

Change-Id: I850a287f4226d59968e06ff31e268d7d2b485e3d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Sub repo for security gate, add lhinds as commiter"

Merge "Allow Asynchronous Apex Builds"

clarify schema base on swagger1.2 specification

Change-Id: I98e165ae943b54d6a38783f2a3822d381c247ee4
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "leverage tornado framework to simply impl of TestAPI"

Merge "correct the import impl of TestAPI"

Merge "change swagger urls based on v1.2 specification"

re-enable testapi auto update

Change-Id: Ied3c2f0c0ba1bd8cbaaa44bfff52ea52614db56c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

KVMFORNFV: Disable packet forwarding daily build job.

This patch is used to disable the kvmfornfv packet forwarding
daily build job to avoid seperate rpm building for cyclictest
and packet forwarding test cases. Both the test cases will use
the rpms uploaded to artifacts as a part of cyclictest daily
build job for testing.

Change-Id: Ia6c1ce2ddc435aa5ae3cbf88b5cfedf6f6d3c106
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

big fixes: wrong path

- remove link to daisy for storperf results
- fix yardstick installer page links

Change-Id: Idae2163862c681db05cfc24c5c29eaea793d3c88
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

prototypes: xci: xci-deploy: Do not use sudo when connecting to remote hosts

In preparation for running xci-deploy as normal user, we do not need to
gain elevated privileges in order to connect to remote hosts. SSH keys
will be placed in user's ssh directory so we can ssh as normal user.

Change-Id: Ieb705515ec191955a646839e8f195d089df184bd
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Do not require root privileges in xci-deploy

There is no good reason to run the script as root. If elevated
privileges are required then we will do it on a per case basis.

Change-Id: I7195fb3a0026ea20ce04e0b652dd3c1c56ca5741
Signed-off-by: Markos Chandras <mchandras@suse.de>

Bugfix: Error when create pod.yaml file

JIRA: DOVETAIL-426

1. ImportError: No module named netaddr
2. rm: cannot remove '/home/opnfv/dovetail/userconfig/*': No such file or directory

Change-Id: I81ad703667c798589855fdafc1668644e9a342b9
Signed-off-by: xudan <xudan16@huawei.com>

Allow Asynchronous Apex Builds

- Remove any build blockers on 'apex-build-*' jobs.
- Adds script to download latest build artifacts before deployment.
- Make each deploy download the needed artifacts before running.
- ARTIFACT_VERSION now set to dev for verify builds to indicate tarball
  should be uploaded to artifacts repo
- apex.yml jjb is now generated by using apex-jjb-renderer
- scenarios are managed in scenarios.yaml

JIRA: APEX-328

Change-Id: I4a51565686bd2011a310c3926d8260cd4641dca5
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Bug Fixes: remove Db name + path"

Bug Fixes: remove Db name + path

as case have been renamed in testcases.yaml
no more need or translation name/Db name

Change-Id: I0656ec478369224d44d9c3cdf0c6426f140e4029
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add qtip reporting"

Merge "Add short_description field to testcase in test API"

Merge "Bugfix: Error when create pod.yaml file"

Add short_description field to testcase in test API

this field will be used for the catalogue
Description may be too long - displayed in case of roll over
name is often not explicit enough for humanes

Change-Id: Ibb1f74208376c93616fc89fa10fdeecaf0f8c8fb
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add arm support in functest reporting pages"

leverage tornado framework to simply impl of TestAPI

1) make better use of initialize() method
2) better naming global arguments

Change-Id: I89dc72a358bcb2a5688a1ffeb3ed5d735d875a4a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

correct the import impl of TestAPI

Change-Id: Ia721ff61e02b1819c32d228f5f8910364c139c8a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

change swagger urls based on v1.2 specification

According to swagger1.2 specification, The Swagger specification
is comprised of two file types: The Resources Listing and The
API Declaration.

https://github.com/OAI/OpenAPI-Specification/blob/master/versions/1.2.md

Change-Id: I8f92897e41dbf6d4d2c3b1fe64ea6729f04cf3ad
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bugfix: Error when create pod.yaml file

JIRA: DOVETAIL-426

os.path.makedirs(os.path.dirname(args.filepath))
AttributeError: 'module' object has no attribute 'makedirs'

Change-Id: I2b75576f05b7926b76148ea6152e4479215344f5
Signed-off-by: xudan <xudan16@huawei.com>

Wild card needed now that compass4nfv configs have been added

Change-Id: I490b7b1de44e7a04ea631ffa4808f633353f94c5
Signed-off-by: agardner <agardner@linuxfoundation.org>

XCI: change functest job to use master

Change-Id: If0ce98b4d6f86a0bb6ad5b7b78bf134ef87c1fd9
Signed-off-by: Tim Rozet <trozet@redhat.com>

3rd Party CI: Adds carbon branch to ODL xci

Change-Id: I53ddedb80f19ec9f8224cb0e22e4657b1472169f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "prototypes: xci: Make sure Ansible dependencies are installed"

Merge "jjb: xci: Run bifrost provisioning as normal user"

Merge "prototypes: bifrost: Write clouds.yaml file for regular users"

Add arm support in functest reporting pages

Create different pages for installer@architectures
- x86
- aarch64

JIRA: FUNCTEST-821

Change-Id: I3c4ebba3f7969f6c1a5d04c4d5b5a63db5a3e7c2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[Functest] Remove Colorado and Brahmaputra support"

Merge "dovetail: add a suitable job used for vpn test case validation in CI"

Merge "Bugfix: Error when create pod.yaml file if one node's role is None"

Merge "Change tempest_smoke_serial to odl_netvirt"

Apex: fixes overcloudrc v3 filename

Change-Id: I086adca7f9671c2c5e6fd04a1ec339e8b22f1de4
Signed-off-by: Tim Rozet <trozet@redhat.com>

jjb: xci: Run bifrost provisioning as normal user

Ansible can request elevated privileges using the 'become' directive.
As such there is no need to run ansible using sudo. Furthermore,
OpenStack CI runs all jobs as normal user and we need to do the same
in order to compare behavior and results properly.

Change-Id: Id198efd1d6fdf4619de931fbedc7caba8d68d2a0

prototypes: bifrost: Write clouds.yaml file for regular users

This is similar to commit 6769ae9bcbf6 ("prototypes: bifrost: Add
keystone roles"). In preparation for running the bifrost jobs as normal
user we need to write a clouds.yaml file to users home directory.
This is similar to the bifrost upstream testing playbook.

Change-Id: Iae4bc73906649707667925280a19282ec5c93998

prototypes: xci: Make sure Ansible dependencies are installed

'pip install ansible' is not enough on newly installed hosts which may
lack the necessary build tools to install Ansible's dependencies. As
such, we add a script similar to the bifrost/scripts/install-deps.sh
one to pull in all the necessary distro-specific packages so Ansible
and it's dependencies can be installed from scratch.

Change-Id: I4b1e74644db9ace451ad763e4c54f1a3a43214fd

Merge "Fix the parameters of downloading"

Fix the parameters of downloading

aria2c should use "-d" to indicate the directory to store the downloaded
file.

Change-Id: I6590403fb0c0b2938ee384cf5b1d5acc42ed94c1
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Improve daisy download speed by multi-thread tool"

add qtip reporting

Change-Id: Ie573486080fbd36857ff0709d53f6bdcdd43363e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bugfix: Error when create pod.yaml file if one node's role is None

DOVETAIL-426

Error message:
if node.roles[0].lower() == "controller":
IndexError: list index out of range

Change-Id: I96d26cc3798b993b5b296f554becfc175e3e87b4
Signed-off-by: xudan <xudan16@huawei.com>

Get ODL distro from the new location on the nexus log server

Change-Id: Ief68ecad4570f1d6ea0a5142f6071adf3188f50b
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Change name of pod jinja file to reduce confusion

Change-Id: I353b8d96709fb149aa4574ecd0f0b06439770652
Signed-off-by: agardner <agardner@linuxfoundation.org>

Apex: Converts machine type for snapshot deploys to 'pc'

Change-Id: Ic996d49b161af23184fbbce4812c103a158ebef2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[Functest][Apex] Use v3 credentials"

Merge "leverage executor to test_testcase.py in TestAPI"

Merge "leverage executor to test_project.py in TestAPI"

Merge "leverage executor to test_result.py in TestAPI"

dovetail: add a suitable job used for vpn test case validation in CI

JIRA: DOVETAIL-424

the principle is
1) not disturb the original work flow
2) after vpn testcases integrated into dovetail, i.e, CVP tool,
   there is a need to find a POD has bgpvpn feature which is
   suitable to validate bgp vpn test cases in proposed_tests.
3) only add dovetail proposed_tests into bgpvpn scenario deploy-test loop
   to reduce unnecessary time consuming.
4) further, should consider to add dovetail job in os-nosdn-nofeature loop

Change-Id: Iad6ae1e44470c8e9d49a25980d292ba3871bd6a4
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

fixed syntax errors in zte pods, change labconfig name

Change-Id: I2d0e6c1199fe3ac2841923abdabd19c239b2b5f8
Signed-off-by: agardner <agardner@linuxfoundation.org>

prototypes: bifrost: Add keystone roles

The os_client_config Ansible module used by all the ironic-* roles
depends on the keystone roles so we need to make use of them even
though they do not affect the end result. This fixes the following
OPNFV CI problem due to not having a clouds.yaml file present to
be consumed by the os_client_config Ansible module.

fatal: [controller00]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}
An exception occurred during task execution. The full traceback is:
Traceback (most recent call last):
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 75, in <module>
    main()
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 63, in main
    for cloud in config.get_all_clouds():
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 798, in get_all_clouds
    cloud, region_name=region['name']))
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 1071, in get_one_cloud
    auth_plugin = loader.load_from_options(**config['auth'])
  File "/usr/lib/python2.7/site-packages/keystoneauth1/loading/base.py", line 162, in load_from_options
    raise exceptions.MissingRequiredOptions(missing_required)
keystoneauth1.exceptions.auth_plugins.MissingRequiredOptions: Auth plugin requires parameters which were not given: auth_url
fatal: [opnfv]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}

Moreover, we cleanup the ~/openstack directory which may contain some
bifrost artifacts such as a clouds.yaml file.

Finally, we use 'sudo -H' because for the keystone roles we need the HOME
variable to be set properly.

Change-Id: I45b08bd33dd8ea9505fe10eb4b2b10956b3b683c

[Functest][Apex] Use v3 credentials

Soon, Functest will start using only public endpoints
and will remove admin connectivity to the deployments.

Change-Id: I2089ccd3d6e7f1acda7b46d3104a8a78a47af8ff
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[Functest] Remove Colorado and Brahmaputra support

CI no longer runs brahmaputra and colorado jobs.
To keep the jobs as simple as possible, remove
that support.

Change-Id: I29661f414923807dc6c0d22526dc852a45dbe7bb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Support opera test in functest releng"

Support opera test in functest releng

Because opera vnf test requires Open-O msb ip and the independency
of this test case, set specific docker env vars for compass4nfv
os-nosdn-openo-ha scenario.

Change-Id: I486e3896dc86d29cf93818b317675c088c1c5198
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Bugfix: wrong work directory

JIRA: DOVETAIL-420

CI wrong with:
Archiving artifacts
WARN: No artifacts found that match the file pattern "results/*/". Configuration error?
WARN: ?results/*/? doesn?t match anything, but ?*/? does. Perhaps that?s what you mean?

Change-Id: Ia548cb4e3b5e34f43c130c2860892364bffad233
Signed-off-by: xudan <xudan16@huawei.com>