Merge "Fetch creds according scenario type(os or k8)"

Add job timeout for clover and container4nfv

- set clover-daily-deploy job timeout to 3h
- set container4nfv-daily-deploy job timeout to 4h
- add time trigger for clover upload job

Change-Id: I3809828d764a2da176c8f51713ebb763f979211d
Signed-off-by: QiLiang <liangqi1@huawei.com>

xci: Disable merge jobs on centos until centos is fixed properly

Change-Id: Ieab479d257fb1922136eb343d1dd25f2006c2ac2
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Make centos jobs non-voting for promotion

Change-Id: I981b115bc37f034db991667a29f0ce66b239cbdf
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Add Compass POD ipmi info to pod.yaml for ha.tc009"

Add jjb for clover

- clover-project.yml is a modified copy of container4nfv-project.yml
- clover and container4nfv temporary share the same vpod huawei-virtual6
- add job blocker between clover and container4nfv
- add clover doc to opnfvdocs

Change-Id: I6e4b133670fd46c57e338af37f2a066c95ce4bc6
Signed-off-by: QiLiang <liangqi1@huawei.com>

Fetch creds according scenario type(os or k8)

We have two kinds of scenario: os and k8, their creds
is defferent, so we need to fetch creds according different
scenario type.

Change-Id: I54d1a1fcdfa981fed2a1433693aa3483abf4baf0
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Make Apex JJB Renderer Importable"

xci: Set CI_LOOP, FUNCTEST_MODE, and FUNCTEST_SUITE_NAME in jobs

These variables are needed for displaying details of functest run.
Apart from that and more importantly, FUNCTEST_SUITE_NAME will be
important for adjusting the criteria for verifying and promoting
scenarios.

Change-Id: I7a3c82c6babc4d5e057b26fda697e9fc969c8526
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: Enable post merge promotion for generic scenarios"

Add Compass POD ipmi info to pod.yaml for ha.tc009

1. For ha.tc009 which needs to login one controller node and shut it down
   with its ipmi info.
2. So it needs to add impi info and jumpserver info into pod.yaml file.
3. Remove yardstick.img file to save artifacts space

JIRA: DOVETAIL-628

Change-Id: I4d2aa48b209155f27e49a7bb871a170683b47fc9
Signed-off-by: xudan <xudan16@huawei.com>

Merge "xci: Make centos job non-voting for promotion"

Merge "Temporary incease functest jobs timeout for arm"

Make Apex JJB Renderer Importable

Wrapping the script into a function will make it importable from other
python code. Calling the file directly will still work as it did before.

Change-Id: I8336d34b05687fa650ce1c123bb37fa311ce2978
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

xci: Make centos job non-voting for promotion

verify-centos jobs do not vote for patch verification since
things on centos are still shaky. Make merge-centos jobs
non-voting for promotion as well by not allowing them to
fail the entire promotion job or by stopping the promotion.

Change-Id: Idf7b3c7586d94454ff94cd0bccf42f02954c722c
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Initial Release files from Euphrates Release"

xci: Enable post merge promotion for generic scenarios

Change-Id: Iacbd6515de08e77e3874354fc8e23a6cf8f7bf61
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: Enable deployment and testing for post merge jobs"

xci: Fix envInject and remove scenario distro support check

envInject doesn't play well with variable expansion so it is fixed. [1]
Scenario support check is not necessary for promotion since the
promotion job is common for all scenarios/distros and check is done
as part of earlier distro jobs accordingly. [2]
gsutil upload is also made quiet.

Fixed version can be seen from [3].

[1] https://build.opnfv.org/ci/job/xci-merge-promote-virtual-master/2/console
[2] https://build.opnfv.org/ci/job/xci-merge-promote-virtual-master/4/console
[3] https://build.opnfv.org/ci/job/xci-merge-promote-virtual-master/5/console

Change-Id: Ie36394cab631826209dda4cea6daa456aca3c276
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: Store the metadata for promoted scenario"

Merge "xci: Make post merge job common across all scenarios"

xci: Enable deployment and testing for post merge jobs

Change-Id: I61fdcf11cc8008bde1c4e26e7b4fd6f16b6e5a78
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Store the metadata for promoted scenario

Change-Id: I1048be7e7a41c56d25c7689678d3811f0a5eae44
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Remove iptables and unset privileged flag"

xci: Make post merge job common across all scenarios

It is difficuly to have post-merge jobs per scenario since we set
the scenario during job runtime and having jobs per scenario makes
things unnecessarily complicated. Apart from that, there is no
reason to have scenario specific merge jobs either since this is
some kind of verify job and everything is same except the scenario
name itself which we extract via set-scenario script.

Daily and further jobs will be scenario specific since they will
be run on timer and we will have ability to specify the scenario.

Change-Id: I3bf6d5ce0fbc48b2d2b2b9695e198bad229ce08d
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Create an initial file for return value

Change-Id: I7c19dbe853124272bbf7203ab2778b616c847048
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Use /root/.kube/config for all installers

There is no reason to use one specific dir per installer in Functest
containers.

Change-Id: Ib2e1443b14c15aa385e65194f70f6442e0c9f7b9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "xci: Adjust the recorded scenario metadata for promotion"

Merge "change rabbitmq-server to rabbitmq for all installers"

Merge "Add sshkey and user config into functest container"

xci: Adjust the recorded scenario metadata for promotion

PROJECT_NAME is added into scenario metadata to use for promotion and xci dashboard.
Also, the metadata collected is aligned across different type of patches including
the skipped ones.

Change-Id: I3751884b48f5d9306d0cae35c757b976484b26a3
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: Log functest output before failure"

Initial Release files from Euphrates Release

These files normally contain the start point of the stable/release branch,
but as this is the initial setup starting from the previous release,
they contain the tip of the stable branch.

When a project is ready to being the stable branch process, they will
copy their project's release file and modify the 'branches' mapping to
create their stable branch.

Change-Id: I0244da5eeb94c431d83f217ec07b08553fdf0639
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "jjb: xci: xci-run-functest: Fix functest execution"

Merge "Set Jenkins parameter 'GIT_BASE' for overriding the default value"

jjb: xci: xci-run-functest: Fix functest execution

We need to enter the $HOME/releng-xci/xci directory instead of
/root/relneg-xci/xci since we are ssh'ing as 'devuser'.

Change-Id: Id05d5012d58443c7f415a58f9f3d1ae16fd25b55
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Revert change moving prepare-functest to opnfv vm

Change-Id: Ic9801a2f1282b695025a6dce70e662765ce4296b
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Donot exit if k8s tests fail"

Donot exit if k8s tests fail

1. Add 'set +e' before running k8s tests, then the following builder
   of functest-store-results will be executed.
2. Remove the logic of managing k8s scenario from functest-alpine.sh

Change-Id: I9a269fc46e45d1db6af741775d475e887ebc79c7
Signed-off-by: Linda Wang <wangwulin@huawei.com>

potential fix for running prepare-functest playbook

Change-Id: Id1ac133782e6b90929ddc055efbc6997ff63adc2
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Merge "[daisy] Fix the blocking rules of daisy daily jobs"

[daisy] Fix the blocking rules of daisy daily jobs

Change-Id: I81eaed8b397b5d748c5fde5a07dadecde0ec08fa
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

online bottlenecks soak throughtputs

This patch is to online posca_factor_soak_throughputs testcase

Change-Id: Ief6776e224c59de600fbe44709c767aecd01d0f0
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Add sshkey and user config into functest container

This is to support sfc test on Compass:
https://gerrit.opnfv.org/gerrit/#/c/52825/

Change-Id: I77223363205dc8edd34de8a6c529e68d3b6a6442
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Bottlenecks testcase online"

Merge "Change the path of images from pre_config/ to images/"

Merge "Add a new adapter for containerized Compass installer"

Set Jenkins parameter 'GIT_BASE' for overriding the default value

Set Yardstick Jenkins job's parameter 'GIT_BASE' for overriding the default
GIT URL from Global Jenkins configuration.

Change-Id: I6fe4a67589aa391c5bc7ac4433509dcfcce858c6
Signed-off-by: trevortao <trevor.tao@arm.com>

Remove iptables and unset privileged flag

Change-Id: I83aafd2cf6317efefaa4b4208b286d5d26231767
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "change dovetail CI jobs on Apex"

Apex: add support for deploying upstream only

Scenario names with 'upstream' in them will not download any artifacts
and deploy from upstream.  For now, this even applies to the apex
python RPM for daily deployments.  We will only use git repo for
daily until after Fraser.

Change-Id: I0da16dfde117ba6c1e7597294d8e4afc8501dd53
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Include global-jjb v0.15.0"

Temporary incease functest jobs timeout for arm

JIRA: ARMBAND-366

Change-Id: I6b513b6775b612bcc30327535e71827a7dd36ed9
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "xci: Skip the deployment for upstream and prototype changes"

Merge "run prepare-functest on opnfv vm"

xci: Skip the deployment for upstream and prototype changes

Changes coming to these do not impact the framework so there is
no need to run full verification for these.

Change-Id: Ia9f8f4772a94cb0761c49ff27933798265831fa4
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

run prepare-functest on opnfv vm

Change-Id: Ide49917687ed583497ca089969fd2c7e7e00e548
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

xci: Do not run deployment for doc updates

Change-Id: Ic914bc5bf11e2246f214990353c804688d6e43d9
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add a new adapter for containerized Compass installer

JIRA: -

Compass installer has been containerized since OPNFV 5.0.
To enable SFC test cases in Functest for Compass installer,
a new adapter is needed to be compatible with both containerized
Compass installer and SFC test cases.

Change-Id: I4e1a9e5fcbec016a0c3fde77ace9c2cc677e3e4c
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Bottlenecks testcase online

This is for bottlenecks job online
Add a new testcase in compass daily

Change-Id: I4e09eef894e176bf4fa0df0969ef49f19444103e
Signed-off-by: liyin <liyin11@huawei.com>

change rabbitmq-server to rabbitmq for all installers

From the CI results, ha.tc010 can't find the process named rabbitmq-server
for Apex, Compass and Fuel.
Try to change it to be rabbitmq.

Change-Id: Ibf8a9e1c7eeebbc306624fe926c139786b9833fb
Signed-off-by: xudan <xudan16@huawei.com>

Merge "xci: Create post merge jobs to promote scenarios"

Merge "add another ovs_dpdk scenarios trigers"

Merge "Rename project to 'yardstick' from 'yardstick-arm64'"

xci: Create post merge jobs to promote scenarios

This change lays down the basic job structure for post merge promotion
jobs. The job structure will be

- a top level multijob job that is scenario specific and can not run
concurrently. This job runs distro deploy and test jobs for all the
distros in the first phase concurrently, followed by a common promote job.
- the deploy and test jobs are same as the xci-verify jobs except the
trigger. They are triggered by top level multijob.
- the promote job is run once all the deploy & test phase jobs successfully
completed, uploading promotion metadata to artifacts.opnfv.org.

The builders except set-scenario are left empty in order to try the basic
job setup first. Followup changes will get real things in.

Once the basics are in place, the first promotion will be done using functest
healthcheck and then we will start working on gating scenarios for promotion
using functest smoke and perhaps feature test cases.

Change-Id: Ib91ffe0f3003b86841a62537c52fde176cafa70f
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Log functest output before failure

When functest fails, the job exits directly without us logging the
functest output to console. [1] Grepping functest log for FAIL for
determining the result helps us to cat the log before exiting with
right exit code.

[1] https://build.opnfv.org/ci/job/xci-verify-ubuntu-healthcheck-virtual-master/509/console

Change-Id: I01e3dcc51321e935b1722b749e8caf7ec5ad755b
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "add daisy installer for doctor verify jobs"

Merge "Update block rules on nodes"

Change the path of images from pre_config/ to images/

1. change the path of all images
2. remove the sdnvpn special envs

This patch should be merged after these 2 patches.
1. https://gerrit.opnfv.org/gerrit/#/c/53395/
2. https://gerrit.opnfv.org/gerrit/#/c/53757/

Change-Id: Ie1dc9388be52629c5fcc0ef893963c4de2c72491
Signed-off-by: xudan <xudan16@huawei.com>

Build functest-xtesting images

Build and push xtesting images
Create manifests for xtesting images
Build xtesting images for arm

JIRA: FUNCTEST-948

Change-Id: I3fbe6cdfef5b304a45d76533417f3c4bc58dddbe
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Move functest docker job in functest dir

Change-Id: I454c327f3359688742b5d8c4299efee05d6494a2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "xci: Allow specifying scenario and installer in commit message"

xci: Allow specifying scenario and installer in commit message

It is not always practical to try determining scenario and installer
to run jobs programmatically. This change adds possibility to do that
by parsing commit message and skipping the automatic scenario and
installer extraction.

Change-Id: I10c9620fe8bb69a2d69fceb31d08084265aa1d75
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

jjb: xci: Ensure GERRIT_TOPIC is always set

Fixes the following problem

[description-setter] Description set: Scenario: os-nosdn-nofeature | Node: intel-virtual14
[xci-verify-ubuntu-healthcheck-virtual-master] $ /bin/bash /tmp/jenkins7521920744845291696.sh
/tmp/jenkins7521920744845291696.sh: line 21: GERRIT_TOPIC: unbound variable
Build step 'Execute shell' marked build as failure

Change-Id: Iddf82e6ae6c6c433d941c461953c11935bc45269
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Update Functest jjobs (patrole)"

Update Functest jjobs (patrole)

Patrole is now integrated in smoke and the dedicated container is
being removed [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/53659/

Change-Id: Ifb1989c5e430a4bf0fdd553f2e3e82f69a704f25
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

jjb: xci: Allow CI to run when multiple components are affected

Sometimes we make global changes that affect multiple components at
once and splitting that is not possible because it needs to be shipped
as an atomic change. As such, allow topics with 'force-verify' to run
the CI using the default installer and scenario.

Change-Id: Ie4753822111b20c4f479886a55fe569c9b91ccd0
Signed-off-by: Markos Chandras <mchandras@suse.de>

change dovetail CI jobs on Apex

1. Run test suite ovp.1.0.0 on Apex with even 'BUILD_NUMBER'
   for scenario nosdn-nofeature and bgpvpn.
2. Run test suite proposed_tests on Apex with odd 'BUILD_NUMBER'
   for scenario nosdn-nofeature and bgpvpn.

JIRA: DOVETAIL-611

Change-Id: I5d4a86242d633eb83ddb0939dff5cf617c971c3b
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Temporary incease functest timeout to 360 minutes"

xci: Combine vars setting installer type in INSTALLER_TYPE

Change-Id: I5312ac784b1621ce968bbdfb1532859dada0e790
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Temporary incease functest timeout to 360 minutes

Openstack APIs response call is tacking very long on ARM
Work is being done on fixing the issue
Temporary increase functest timeout on x86 too because of COMPASS

JIRA: ARMBAND-366
JIRA: COMPASS-589

Change-Id: I355500da56c5a040324c0969237ac2decfd29edf
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "xci: Set installer type for the tested scenario"

xci: Set installer type for the tested scenario

Variables injected by envInject are set after the job variables
which results in not setting the variable correctly. The Jenkins
test script now uses the variable injected by envInject to set
the INSTALLER_TYPE to XCI_INSTALLER.

Change-Id: Id79281a2ee22d407ffb1bd7c4be1471f6f329803
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Skip functest healtcheck if it is Kubernetes scenario

We need to work on functest healthcheck for Kubernetes scenarios.
Until we get it working, healthcheck is disabled.

Change-Id: If470dbe956c5859825f0829d1f8d022bdafcc242
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Update block rules on nodes

Only one scenario job can be excuted in the same POD. The rules should
be configured in job teamplate instead of parent job.

Change-Id: I9f672345985dbfdfe54b9ccd017a3a575a2ab412
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

add daisy installer for doctor verify jobs

Change-Id: I54b4015b1da9a5961c2d3ee1f672b381a3f72914
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

xci: Determine impacted generic scenario

Change-Id: Ifbe676cd347c2d3c68f04b5137f3ccaa83a95894
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Set the installer and move scenario extraction into functions

The scenarios named os-* are deployed by osa and the ones
named k8-* are deployed by kubespray. This change determines
the installer to use by looking into the scenario name.

The installers are currently hardcoded within xci-set-scenario.sh
script and this needs to be fixed for other installers when they
onboard to xci.

Apart from setting the installer, extraction of generic and external
scenarios are moved into corresponding functions.

Change-Id: I19882bcd2a1260765e601ecbe517551c60401d74
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "jjb: xci: Drop the VM cleanup step from the functest jobs"

Merge "xci: Set options in run-functest.sh"

jjb: xci: Drop the VM cleanup step from the functest jobs

We do the VM cleanup as part of the postbuild process so we do
not need to have it in the functest jobs anymore.

Change-Id: I64e4b58837090df33ae529232ef15a19de8f198a
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: Add postbuild publisher script to remove clean VM"

Define parameters for triggering jobs

In
https://wiki.jenkins.io/display/JENKINS/Plugins+affected+by+fix+for+SECURITY-170,
it indicates that:

    only build parameters that have been explicitly defined in a job's
    configuration will be available by default at build time. Any other
    arbitrary parameters added to a build by plugins will not be
    available by default.

It has been tested in sandbox.opnfv.org that only defined parameters can
be passed to the triggered jobs.

For parameters required by TESTAPI are common to all the projectes,
including installers, Functest, and Yardstick, it is convenient to
define a common macro and used by others.

Change-Id: Iac1da85445e1b5d75109ccd64b174f35151b9969
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

add another ovs_dpdk scenarios trigers

Change-Id: I4b30765b243e2a1a6d2079b71fc6d18c14853dec
Signed-off-by: 00184532 <lu.yao135@zte.com.cn>

Fix functest job name for armband ci jobs

Change-Id: I44c47347ce8759a545245bf2d3ad6d6657226875
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Revert functest-daily-jobs.yml again"

Merge "A new docker container for QTIP"

Revert functest-daily-jobs.yml again

Switching to multijob forces to increase executors which is too risky
so closed to the release.

It basically reverts the previous functest-daily-jobs.yml [1].

[1] git checkout 7f06f9492f4f8dd47669a553ef6e9c967fa29e8e jjb/functest/functest-daily-jobs.yml

7f06f9492f4f8dd47669a553ef6e9c967fa29e8e

Change-Id: I4a461108b11effe59e49108e1d95a9aae6e81ade
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Run all tests in a specific step

It bypasses the missing senquential mode.
It also fixes exclusions about fds and patrole.

Several Functest could run in parallel but it's impossible from the
time being due to an xtables lock.

Change-Id: I831a8c995efbf2484afd86785f17f51981c921c1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix a typo which runs all jobs in parallel

Change-Id: I454ff72c377a96aa769919348b27813ad434eb89
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>