Set STORAGE_PROTOCOL=ceph if Apex

It should fix most of errors raised by tempest_full [1].

[1] https://artifacts.opnfv.org/logs/functest/lf-pod1/2018-10-20_12-23-41/tempest_full/tempest-report.html

Change-Id: Ie93fe14d687a28185ac28b8c35636265a4fb4be2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Revert "Select the right Functest repos when master"

This reverts commit 751002f537007f35a536959e4180ce7c48e18bf1.

Change-Id: I4c7cef7f4296686fda70011e9bf840b114f11845
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Revert "Apex: Enable OS master clients with Tempest"

This reverts commit 2e1815d026f209e46fcc7eb29a7d4a28a48b2354.

Change-Id: Idff665fdc88c0936bf7b4fb0bb895d90553ca835
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Increase verify jobs timeout

Verify durations have mostly been doubled without changes in Functest.
Increasing the timeout allows bypassing the releng issues and falsy
-1.

Change-Id: I8e6244f358f18705716cf379f4ddfe8d6014a578
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "[docs] local docs building for missing submodules"

[XCI] Remove inventory for prepare-tests.yml

We are finally fetching all ODL variables from inside the scenarios.
Therefore, we don't need to use the inventory:

${XCI_PATH}/.cache/repos/openstack-ansible/inventory/dynamic_inventory.py

Change-Id: I91d17cb899a037887bc97441a1c1e37ff57b4850
Signed-off-by: Manuel Buil <mbuil@suse.com>

[Compass4nfv]add missing jobs

This patch add the Functest and Yardstick jobs for compass Gambia branch.

Change-Id: Icf4504841b7fe28b7ec29ae44aad01be24a691ef
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Remove skip vote from passing jobs.

I ran all the rtd jobs that were just created
all the ones that got a +1 I have removed the skip vote
these jobs will vote going forward

Change-Id: Ia9a7749f758b96cf1b6a46f00d08a5de7f7d9bbe
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

[armband] Add RTD Build Jobs

Change-Id: I48a7b8a36be7a9a56110bfa4c84caf954a85fe18
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

RTD jobs for all projects

RTD jobs for all active projects
All jobs start as non-voting.
All rtd jobs are in their own file to
faciliate future bulk changes:
jjb/$project/$project-rtd-jobs.yaml

All project have rtd pages
https://opnfv-$project.readthedocs.io

Change-Id: I776e41f968d38f08cb3187f743f69d5d6b697e8e
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Add arm-virtual3 pod into CI pod list"

Merge "[dovetail] refactor the part of getting pod.yaml"

Functest, Yardstick, Apex: Fix missing jobs

Functest/yardstick jobs are missing for Gambia. This patch
adds them.

Change-Id: If65bc5927dba745ff5dbd858b4e612c0f48e1ab1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Configure daily gambia jobs for fuel installer"

Merge "Fix duplicate IMAGE_PROPERTIES env variable in functest run"

Apex: Do not use apex branch in promote gs path

When we promote artifacts we do not want to include the apex branch (for
example "gambia") in the gs path URL for where snapshots are uploaded.
We may use a different apex branch to promote older OS versions of
snapshots, but we still want a unified url of just
apex/<os_version>/<topology> for our snapshot artifacts.

Change-Id: I7dfe40558ce05d04e1805884cd6a47c82220581e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Configure daily gambia jobs for fuel installer

Add fuel CI PODs and armband CI PODs for gambia stream in yardstick-daily jobs

Change-Id: I1b685ca4859eb476f56ceddb4368215605ad7ae5
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[dovetail] refactor the part of getting pod.yaml

This patch should be merged after https://gerrit.opnfv.org/gerrit/#/c/63305/

Change-Id: Ic809d8de200ba1b55e18c3079587404e4077cea0
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Update Global-jjb to master"

Fix duplicate IMAGE_PROPERTIES env variable in functest run

Update envs only once with IMAGE_PROPERTIES and FLAVOR_EXTRA_SPECS
if installer type is fuel or deploy scenario is ovs or fdio

Change-Id: I7c1e997cf95d30972688e697574458a3a0f1e55c
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Apex: Adds ability to force snapshot promotion

We want the ability to be able to force a promotion and skip CSIT. This
patch introduces a variable we can use when manually triggering a
promotion job to force promotion. The use case here is for HA scenarios
we have no snapshots because CSIT always fails. We want to be able to
force promotions for this case to at least have some snapshot available.

Change-Id: I7e81b458f4169596929f032e9394695477fbb940
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update Global-jjb to master

This brings in:
  Skip vote for releng-rtd from gerrit trigger
and three changes after it that are either innocuous or important.

xmldiff:
https://hastebin.com/zutufehafa.diff

Change-Id: Ic5c67ff5d6aebc6fc2149b212acc3bcf7cf9951b
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

[compass4nfv] correct the compass branch docker tag

Change-Id: Id789121634fc1a009878b61bcf4756ee4009c99d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "[dovetail] Bugfix: incorrectly exit when file doesn't exist"

Merge "Create Stable Branch Jobs for doctor"

Merge "Add builds for Clover modsecurity docker image"

Merge "[storperf] Create stable/gambia branch"

Set JJB version in Releng CI Jobs

Moves the jjb-version configuration from globals to releng CI jobs. This
was not being pulled into the '{project-name}-ci-jobs' configuration and
kept our JJB version at 2.2.1.

Change-Id: I33a62e639bbca6d519957515af591615543d27b7
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Apex: Fix csit job blocking

apex-virtual-{stream} is not being blocked and running at the same time
while csit tests are running. This should stop it from running until the
promotion job is finished.

Change-Id: Ie164bbee08253a7e79892d36780b66fe0ad2cf97
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Update Jenkins Job Builder to 2.5.0"

Merge "Correctly set IMAGE_PROPERTIES in functest-alpine.sh"

Merge "Provide libvirt credentials"

Merge "Functest: Sets max concurrent jobs to 10"

Update Jenkins Job Builder to 2.5.0

We need the fix:
'Allow running only on one of nodes with label parameter'
https://review.openstack.org/#/c/590356/

This fix is present in 2.5.0

Change-Id: Iff9e9e6357573db382d94b688b7cfe7d42d4023c
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Remove arm build6 from rotation, it is offline

Has been offline for > 1 week

https://build.opnfv.org/ci/job/functest-core-docker-build-arm64-gambia/
is showing
There are no nodes with the label ‘Job triggered without a valid online
node, given where: arm-build6’)

Change-Id: Ia00281f9c05fac9b16bd914063ccffeca3fb135b
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Apex: Fix csit deployments for queens

With changes to deploy scenario files for gambia, we still need the
logic to pull in the right csit-env. That logic broke as it depended on
DEPLOY_SCENARIO with the changes to scenario names. This patch fixes it
to check openstack version (OS_VERSION) instead.

Change-Id: Ie130efd0fc3cb7f09a3fa4e896ad461d24394777
Signed-off-by: Tim Rozet <trozet@redhat.com>

Functest: Sets max concurrent jobs to 10

In Apex, some random jobs are queueing to intel-pod11 which does not
exist anymore. The problem is, when these jobs queue they are blocking
apex daily functest, as it looks like the job is only set to allow 1 job
globally at a time. This change bumps the max concurrent global jobs to
10.

Change-Id: I62d458a92abfa35bb0d1c459ccf4ffedfd51e66d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add arm-virtual3 pod into CI pod list

Add arm-virtual3 pod into CI pod list for running
the functest-kubernetes cases on arm platform.

Change-Id: Iae1881320956795304896d8ea2c1790430f919da
Signed-off-by: Jingzhao Ni <jingzhao.ni@arm.com>

Merge "Add builds for Clover controller, collector, jmeter"

Merge "[Compass4nfv] Make the Gambia stream available to Docker builds"

[Compass4nfv] Make the Gambia stream available to Docker builds

Change-Id: I36b2f245aa2044ebcdab5122d3b30ae1d9fb1788
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "CPERF: Reduce CSIT for HA deployments"

CPERF: Reduce CSIT for HA deployments

Since CSIT does not pass on HA, but we still want to promote some
snapshots for HA, reduce the CSIT suites to L2 and L3 only.

Change-Id: Iaf739f972211c1e94de781a006065d7130ddf1c3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Fix scenario promote name for queens

Now that Gambia branch is used for queens promotion, scenario files use
nofeature instead of using branch name.

Change-Id: I76e8f851bc6ef337301d1367dcafd798b212bb38
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add newly minted lf-build3

Change-Id: I2c9c1f042b4b13af58526e23a44680304313cee9
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Add dependencies to Ubuntu Builders"

Ensure jobs don't get queued on offline builders

A change to the NodeLabelParameter config in JJB caused any jobs using
the plugin to possibly have their jobs triggered on builders which
weren't online.

This in turn caused the queue to backup and newer jobs are blocked
waiting for older ones to complete, which never happens as they're never
queued on an online builder.

The 'all-nodes' parameter ensure jobs that are set to run concurrently
don't trigger across all available nodes at once, as this will include
offline nodes as well. As this is the default of the plugin, projects
which need it can enable it individually.

Change-Id: Ia690eef078209b6b056dad85613dda6868b18271
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "[doctor][docs] add RTD docs job for doctor"

Apex: Fix pkg install for gambia

Missed a check where we install packages based on old package
convention.

Change-Id: If1da8db9b10b81ea5825b7548509be29e08e6f91
Signed-off-by: Tim Rozet <trozet@redhat.com>

[doctor][docs] add RTD docs job for doctor

Change-Id: Ibe83eb4131d8ff553aa81e343cfe5ae8c19b4cf6
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

[dovetail] Bugfix: incorrectly exit when file doesn't exist

When checking files, it shouldn't exit when getting an non-zero results.
However, the scripts set -e at the begining.
In order to continue the following steps when the file doesn't exists, replace
all "return 0" or "return 1" to be "echo 0/1".

Change-Id: I28ea81d52182d4dc5db56d47abbfbc1761f17d81
Signed-off-by: xudan <xudan16@huawei.com>

Correctly set IMAGE_PROPERTIES in functest-alpine.sh

Change-Id: I4cecaf7302fa1f39aa1e8b2c3e34f11ee49b4359
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Prepare repo for global-jjb v0.25.0

Global JJB now has non-JJB YAML configuration and requires action on the
ci-management repo when upgrading to this version of Global JJB to
prevent JJB from picking up these YAMLs as config. Follow the
instructions below BEFORE upgrading globall-jjb:

cd <git-root>
git mv jjb/global-jjb global-jjb
mkdir jjb/global-jjb
ln -s ../../global-jjb/shell jjb/global-jjb/shell
ln -s ../../global-jjb/jjb jjb/global-jjb/jjb
git add jjb/global-jjb
git commit -sm "Prepare repo for global-jjb v0.25.0"

Git diff confirms no changes.
diff -bur . /tmp/releng/job_output/

Change-Id: I6d7239b8bab8ef08368f833d9a64cd94a824b158
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Update global jjb v0.24.6

From the release notes:
Upgrade to global-jjb v0.24.6 before performing this upgrade. This
ensures that jjb-verify job pulls in a regex fix that will allow it to
verify the v0.25.0 upgrade.

Change-Id: I48335de599b46b7e6c70f8bb77fb8c254cfe85f4
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Create Stable Branch Jobs for ovn4nfv"

Merge "Update jenkins-job-builder to 2.2.1"

Create Stable Branch Jobs for ovn4nfv

Change-Id: I89040a4f7ac493efe8a11a268ce891c156e53c18
Signed-off-by: jenkins-ci <jenkins-opnfv-ci@opnfv.org>

Update jenkins-job-builder to 2.2.1

jjb/lf-ci-jobs.yaml has jjb-version: 2.2.1 as a minimum

change block-level to blocking-level:
https://review.openstack.org/#/c/608092/
We will need to change this back once we move past
jenkins-job-builder>2.5.0

Change-Id: I12d0f55ee3c2dad20340ebf0fa8428ee1ad8484c
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

[storperf] Create stable/gambia branch

Change-Id: I388d5b46d206655990f3fb2723a90e8ed4397c89
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "Keep Repository Archiving Job on lf-build2"

Add builds for Clover modsecurity docker image

Push OPNFV docker builds for clover-ns-modsecurity-crs image

Change-Id: I134108d78d84de8a04bb7372c49314d0491a1248
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Run unit tests on gerrit events"

Merge "refactor the part to get credential file"

Merge "Set image and flavor env variables functest for ovs|fdio"

Merge "Create Stable Branch Jobs for clover"

Merge "[compass4nfv]Add gambia jobs"

Merge "Bug fix: Path to inventory wrong"

Create Stable Branch Jobs for clover

Adds the gambia stable branch stream.

Change-Id: Ic1afb65b580396f11c00488a7f135e0e5cdc96cd
Signed-off-by: jenkins-ci <jenkins-opnfv-ci@opnfv.org>
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Clover project stable branch for OPNFV Gambia release"

Keep Repository Archiving Job on lf-build2

This node has permissions for Google Storage to upload the archive while
master does not.

Also adds myself to list of recipients so I'll get notified when the job
fails.

Change-Id: I07a13dcc72c59854222f6e5ace9d1e18c24e6479
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update LaaS Docker Build Dockerfile Path

The dockerfile path is relative to the dockerdir, not the root of the
cloned repository.

Change-Id: I7836abf8f15d4d9f14cb8d39bc951ec9341d39ba
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Update LaaS Container Build context"

CPERF: Do not remove docker images in clean

Removing the cperf docker image in clean just adds more overhead to the
next cperf run, because the entire docker image has to be re-downloaded.
Docker pull will automatically download the difference between the old
image and the new image (less bandwidth) so there is no reason to remove
the image.

Change-Id: I79ba2af20e3bdacfedc28d468fb629e040d7098f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Stor4NFV: stable branch creation

Change-Id: I7baab0712ee5531b12ac15af5c36672778a8c6d4
Signed-off-by: Qiaowei Ren <qiaowei.ren@intel.com>

[barometer] Remove stable/fraser jobs

Change-Id: I0f5f8225c38f535241ecd78aa93aee28782cbc4f
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[barometer] Create stable/gambia jobs for Barometer

Change-Id: I71a3ed0c242554cc685f4a610c3651d1e2cab98f
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "Apex: Fixes promotion per Apex branch"

Apex: Fixes promotion per Apex branch

Now that we branched for Gambia, we want Gambia code to handle promotion
for Queens snapshots, while Apex master is responsible for rocky/master
promotions.

Change-Id: I6f4fffabd728d72fe9b6b2e5a983f6d8762272a9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fix docker run command for functest on fuel installer"

Clover project stable branch for OPNFV Gambia release

Change-Id: I7841a2397e3c856726e44da0bb4281e442b69192
Signed-off-by: Stephen Wong <stephen.kf.wong@gmail.com>

Bug fix: Path to inventory wrong

The path to reach the inventory was wrong and thus the error message in
CI:

Unable to parse /root/releng-xci/.cache/repos/openstack-
ansible/inventory/dynamic_inventory.py as an inventory source

Change-Id: Ic9e01e0895f3df2f6f27d782b8375dbcceb036e6
Signed-off-by: Manuel Buil <mbuil@suse.com>

Apex: Fix building for gambia

The logic should have been checking for stable/fraser and didn't account
for newer branches other than master.

Change-Id: I1164ce57338ba1734aa68c98bfe22a8a5f4209ac
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[XCI] Add inventory to run prepare-tests.yml"

Set image and flavor env variables functest for ovs|fdio

Set IMAGE_PROPERTIES and FLAVOR_EXTRA_SPECS environment variables
for functest CI run for ovs and fdio scenarios.

Change-Id: Ib2be311ee28d4ae633ec5496a12e741f701cc7ab
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

[compass4nfv]Add gambia jobs

Change-Id: I0e9521a4b5dcb025464b6b193848454aacd5a86c
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix docker run command for functest on fuel installer

Fix docker error because of environment variable IMAGE_PROPERTIES
for fuel installer in functest

Change-Id: I916f965f8432216104b767e5aa62dc93a8f6ce72
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

refactor the part to get credential file

Change-Id: Iebab0714f1cd7123c18d98a41b7da224726c5421
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Correct the scenario error in container4nfv"

Merge "Add image extra properties for fuel installer in functest test"

Merge "[barometer] Add stable/gambia branch"

[barometer] Add stable/gambia branch

Change-Id: Icc8c518bda5240d814be9110b5d09b19c5868078
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Stable/gambia branch creation for SDNVPN project

Change-Id: Iaf668d3f496f7a5343e10e59ff2b7f9073c52f28
Signed-off-by: dimitris.tsiolakis <dmts@intracom-telecom.com>

Add image extra properties for fuel installer in functest test

With using scsi volume device type, additional image
extra_properties are needed.
Set environment variable IMAGE_PROPERTIES when installer is fuel for
functest test run.

Related to:
  https://gerrit.opnfv.org/gerrit/#/c/61913/
  https://gerrit.opnfv.org/gerrit/#/c/63225/

Change-Id: If35aa282abaf5dab1a5bacc2f26fe89292b09605
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Update LaaS Container Build context

Updates the docker builds for LaaS to share the same context but point
at different Dockerfiles. This way the dashboard code can be copied into
the container instead of requiring to be volume mounted.

Change-Id: I26fe345c8901b772a2e9da56fac71956a8a76583
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

[XCI] Add inventory to run prepare-tests.yml

To pass functest healthcheck test in odl scenarios, some odl variables
must be fetched. To do so, we require to know where opendaylight is
deployed and that we can know using the dynamic_inventory.py file in OSA

This is needed for this patch:
https://gerrit.opnfv.org/gerrit/#/c/63175/

Change-Id: I04643ce93078bad53838e4d4e611f7684d4bd314
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "Add Gambia stream for noop jobs"

Merge changes from topic 'yardstick-docker-gambia'

* changes:
  Enable yardstick-docker-build-arm-push-gambia job
  Make Gambia stream available to ARM Docker builds
  Enable yardstick-docker-build-push-gambia job

Merge "Configure functest daily  gambia jobs for fuel installer"

Enable yardstick-docker-build-arm-push-gambia job

Similar to https://gerrit.opnfv.org/gerrit/63177 (done for x86_64).
It replaces the yardstick-docker-build-arm-push-fraser job, for the
same reasons.

Depends on https://gerrit.opnfv.org/gerrit/63179

Change-Id: I482bc05d4c6d1316bfde799a44360decacb60a5e
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Make Gambia stream available to ARM Docker builds

Similar to https://gerrit.opnfv.org/gerrit/63047 (done for x86_64).

Change-Id: Ie61a11c60ce0fd7c724f308ecfdcca982ebdf3ec
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>