Merge "jjb: xci: xci-run-functest: Fix functest execution"

Merge "Set Jenkins parameter 'GIT_BASE' for overriding the default value"

jjb: xci: xci-run-functest: Fix functest execution

We need to enter the $HOME/releng-xci/xci directory instead of
/root/relneg-xci/xci since we are ssh'ing as 'devuser'.

Change-Id: Id05d5012d58443c7f415a58f9f3d1ae16fd25b55
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Revert change moving prepare-functest to opnfv vm

Change-Id: Ic9801a2f1282b695025a6dce70e662765ce4296b
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Donot exit if k8s tests fail"

Donot exit if k8s tests fail

1. Add 'set +e' before running k8s tests, then the following builder
   of functest-store-results will be executed.
2. Remove the logic of managing k8s scenario from functest-alpine.sh

Change-Id: I9a269fc46e45d1db6af741775d475e887ebc79c7
Signed-off-by: Linda Wang <wangwulin@huawei.com>

potential fix for running prepare-functest playbook

Change-Id: Id1ac133782e6b90929ddc055efbc6997ff63adc2
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Merge "[daisy] Fix the blocking rules of daisy daily jobs"

[daisy] Fix the blocking rules of daisy daily jobs

Change-Id: I81eaed8b397b5d748c5fde5a07dadecde0ec08fa
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

online bottlenecks soak throughtputs

This patch is to online posca_factor_soak_throughputs testcase

Change-Id: Ief6776e224c59de600fbe44709c767aecd01d0f0
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Add sshkey and user config into functest container

This is to support sfc test on Compass:
https://gerrit.opnfv.org/gerrit/#/c/52825/

Change-Id: I77223363205dc8edd34de8a6c529e68d3b6a6442
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Bottlenecks testcase online"

Merge "Change the path of images from pre_config/ to images/"

Merge "Add a new adapter for containerized Compass installer"

Set Jenkins parameter 'GIT_BASE' for overriding the default value

Set Yardstick Jenkins job's parameter 'GIT_BASE' for overriding the default
GIT URL from Global Jenkins configuration.

Change-Id: I6fe4a67589aa391c5bc7ac4433509dcfcce858c6
Signed-off-by: trevortao <trevor.tao@arm.com>

Remove iptables and unset privileged flag

Change-Id: I83aafd2cf6317efefaa4b4208b286d5d26231767
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "change dovetail CI jobs on Apex"

Apex: add support for deploying upstream only

Scenario names with 'upstream' in them will not download any artifacts
and deploy from upstream.  For now, this even applies to the apex
python RPM for daily deployments.  We will only use git repo for
daily until after Fraser.

Change-Id: I0da16dfde117ba6c1e7597294d8e4afc8501dd53
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Include global-jjb v0.15.0"

Temporary incease functest jobs timeout for arm

JIRA: ARMBAND-366

Change-Id: I6b513b6775b612bcc30327535e71827a7dd36ed9
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "xci: Skip the deployment for upstream and prototype changes"

Merge "run prepare-functest on opnfv vm"

xci: Skip the deployment for upstream and prototype changes

Changes coming to these do not impact the framework so there is
no need to run full verification for these.

Change-Id: Ia9f8f4772a94cb0761c49ff27933798265831fa4
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

run prepare-functest on opnfv vm

Change-Id: Ide49917687ed583497ca089969fd2c7e7e00e548
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

xci: Do not run deployment for doc updates

Change-Id: Ic914bc5bf11e2246f214990353c804688d6e43d9
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add a new adapter for containerized Compass installer

JIRA: -

Compass installer has been containerized since OPNFV 5.0.
To enable SFC test cases in Functest for Compass installer,
a new adapter is needed to be compatible with both containerized
Compass installer and SFC test cases.

Change-Id: I4e1a9e5fcbec016a0c3fde77ace9c2cc677e3e4c
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Bottlenecks testcase online

This is for bottlenecks job online
Add a new testcase in compass daily

Change-Id: I4e09eef894e176bf4fa0df0969ef49f19444103e
Signed-off-by: liyin <liyin11@huawei.com>

change rabbitmq-server to rabbitmq for all installers

From the CI results, ha.tc010 can't find the process named rabbitmq-server
for Apex, Compass and Fuel.
Try to change it to be rabbitmq.

Change-Id: Ibf8a9e1c7eeebbc306624fe926c139786b9833fb
Signed-off-by: xudan <xudan16@huawei.com>

Merge "xci: Create post merge jobs to promote scenarios"

Merge "add another ovs_dpdk scenarios trigers"

Merge "Rename project to 'yardstick' from 'yardstick-arm64'"

xci: Create post merge jobs to promote scenarios

This change lays down the basic job structure for post merge promotion
jobs. The job structure will be

- a top level multijob job that is scenario specific and can not run
concurrently. This job runs distro deploy and test jobs for all the
distros in the first phase concurrently, followed by a common promote job.
- the deploy and test jobs are same as the xci-verify jobs except the
trigger. They are triggered by top level multijob.
- the promote job is run once all the deploy & test phase jobs successfully
completed, uploading promotion metadata to artifacts.opnfv.org.

The builders except set-scenario are left empty in order to try the basic
job setup first. Followup changes will get real things in.

Once the basics are in place, the first promotion will be done using functest
healthcheck and then we will start working on gating scenarios for promotion
using functest smoke and perhaps feature test cases.

Change-Id: Ib91ffe0f3003b86841a62537c52fde176cafa70f
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Log functest output before failure

When functest fails, the job exits directly without us logging the
functest output to console. [1] Grepping functest log for FAIL for
determining the result helps us to cat the log before exiting with
right exit code.

[1] https://build.opnfv.org/ci/job/xci-verify-ubuntu-healthcheck-virtual-master/509/console

Change-Id: I01e3dcc51321e935b1722b749e8caf7ec5ad755b
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "add daisy installer for doctor verify jobs"

Merge "Update block rules on nodes"

Change the path of images from pre_config/ to images/

1. change the path of all images
2. remove the sdnvpn special envs

This patch should be merged after these 2 patches.
1. https://gerrit.opnfv.org/gerrit/#/c/53395/
2. https://gerrit.opnfv.org/gerrit/#/c/53757/

Change-Id: Ie1dc9388be52629c5fcc0ef893963c4de2c72491
Signed-off-by: xudan <xudan16@huawei.com>

Build functest-xtesting images

Build and push xtesting images
Create manifests for xtesting images
Build xtesting images for arm

JIRA: FUNCTEST-948

Change-Id: I3fbe6cdfef5b304a45d76533417f3c4bc58dddbe
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Move functest docker job in functest dir

Change-Id: I454c327f3359688742b5d8c4299efee05d6494a2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "xci: Allow specifying scenario and installer in commit message"

xci: Allow specifying scenario and installer in commit message

It is not always practical to try determining scenario and installer
to run jobs programmatically. This change adds possibility to do that
by parsing commit message and skipping the automatic scenario and
installer extraction.

Change-Id: I10c9620fe8bb69a2d69fceb31d08084265aa1d75
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

jjb: xci: Ensure GERRIT_TOPIC is always set

Fixes the following problem

[description-setter] Description set: Scenario: os-nosdn-nofeature | Node: intel-virtual14
[xci-verify-ubuntu-healthcheck-virtual-master] $ /bin/bash /tmp/jenkins7521920744845291696.sh
/tmp/jenkins7521920744845291696.sh: line 21: GERRIT_TOPIC: unbound variable
Build step 'Execute shell' marked build as failure

Change-Id: Iddf82e6ae6c6c433d941c461953c11935bc45269
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Update Functest jjobs (patrole)"

Update Functest jjobs (patrole)

Patrole is now integrated in smoke and the dedicated container is
being removed [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/53659/

Change-Id: Ifb1989c5e430a4bf0fdd553f2e3e82f69a704f25
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

jjb: xci: Allow CI to run when multiple components are affected

Sometimes we make global changes that affect multiple components at
once and splitting that is not possible because it needs to be shipped
as an atomic change. As such, allow topics with 'force-verify' to run
the CI using the default installer and scenario.

Change-Id: Ie4753822111b20c4f479886a55fe569c9b91ccd0
Signed-off-by: Markos Chandras <mchandras@suse.de>

change dovetail CI jobs on Apex

1. Run test suite ovp.1.0.0 on Apex with even 'BUILD_NUMBER'
   for scenario nosdn-nofeature and bgpvpn.
2. Run test suite proposed_tests on Apex with odd 'BUILD_NUMBER'
   for scenario nosdn-nofeature and bgpvpn.

JIRA: DOVETAIL-611

Change-Id: I5d4a86242d633eb83ddb0939dff5cf617c971c3b
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Temporary incease functest timeout to 360 minutes"

xci: Combine vars setting installer type in INSTALLER_TYPE

Change-Id: I5312ac784b1621ce968bbdfb1532859dada0e790
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Temporary incease functest timeout to 360 minutes

Openstack APIs response call is tacking very long on ARM
Work is being done on fixing the issue
Temporary increase functest timeout on x86 too because of COMPASS

JIRA: ARMBAND-366
JIRA: COMPASS-589

Change-Id: I355500da56c5a040324c0969237ac2decfd29edf
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "xci: Set installer type for the tested scenario"

xci: Set installer type for the tested scenario

Variables injected by envInject are set after the job variables
which results in not setting the variable correctly. The Jenkins
test script now uses the variable injected by envInject to set
the INSTALLER_TYPE to XCI_INSTALLER.

Change-Id: Id79281a2ee22d407ffb1bd7c4be1471f6f329803
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Skip functest healtcheck if it is Kubernetes scenario

We need to work on functest healthcheck for Kubernetes scenarios.
Until we get it working, healthcheck is disabled.

Change-Id: If470dbe956c5859825f0829d1f8d022bdafcc242
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Update block rules on nodes

Only one scenario job can be excuted in the same POD. The rules should
be configured in job teamplate instead of parent job.

Change-Id: I9f672345985dbfdfe54b9ccd017a3a575a2ab412
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

add daisy installer for doctor verify jobs

Change-Id: I54b4015b1da9a5961c2d3ee1f672b381a3f72914
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

xci: Determine impacted generic scenario

Change-Id: Ifbe676cd347c2d3c68f04b5137f3ccaa83a95894
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Set the installer and move scenario extraction into functions

The scenarios named os-* are deployed by osa and the ones
named k8-* are deployed by kubespray. This change determines
the installer to use by looking into the scenario name.

The installers are currently hardcoded within xci-set-scenario.sh
script and this needs to be fixed for other installers when they
onboard to xci.

Apart from setting the installer, extraction of generic and external
scenarios are moved into corresponding functions.

Change-Id: I19882bcd2a1260765e601ecbe517551c60401d74
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "jjb: xci: Drop the VM cleanup step from the functest jobs"

Merge "xci: Set options in run-functest.sh"

jjb: xci: Drop the VM cleanup step from the functest jobs

We do the VM cleanup as part of the postbuild process so we do
not need to have it in the functest jobs anymore.

Change-Id: I64e4b58837090df33ae529232ef15a19de8f198a
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: Add postbuild publisher script to remove clean VM"

Define parameters for triggering jobs

In
https://wiki.jenkins.io/display/JENKINS/Plugins+affected+by+fix+for+SECURITY-170,
it indicates that:

    only build parameters that have been explicitly defined in a job's
    configuration will be available by default at build time. Any other
    arbitrary parameters added to a build by plugins will not be
    available by default.

It has been tested in sandbox.opnfv.org that only defined parameters can
be passed to the triggered jobs.

For parameters required by TESTAPI are common to all the projectes,
including installers, Functest, and Yardstick, it is convenient to
define a common macro and used by others.

Change-Id: Iac1da85445e1b5d75109ccd64b174f35151b9969
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

add another ovs_dpdk scenarios trigers

Change-Id: I4b30765b243e2a1a6d2079b71fc6d18c14853dec
Signed-off-by: 00184532 <lu.yao135@zte.com.cn>

Fix functest job name for armband ci jobs

Change-Id: I44c47347ce8759a545245bf2d3ad6d6657226875
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Revert functest-daily-jobs.yml again"

Merge "A new docker container for QTIP"

Revert functest-daily-jobs.yml again

Switching to multijob forces to increase executors which is too risky
so closed to the release.

It basically reverts the previous functest-daily-jobs.yml [1].

[1] git checkout 7f06f9492f4f8dd47669a553ef6e9c967fa29e8e jjb/functest/functest-daily-jobs.yml

7f06f9492f4f8dd47669a553ef6e9c967fa29e8e

Change-Id: I4a461108b11effe59e49108e1d95a9aae6e81ade
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Run all tests in a specific step

It bypasses the missing senquential mode.
It also fixes exclusions about fds and patrole.

Several Functest could run in parallel but it's impossible from the
time being due to an xtables lock.

Change-Id: I831a8c995efbf2484afd86785f17f51981c921c1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix a typo which runs all jobs in parallel

Change-Id: I454ff72c377a96aa769919348b27813ad434eb89
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

functest: Enable jobs per stream

Change-Id: I5289fedf52354f2cef6a3202df27d35acccb7c6c
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Add patrole and parser in Functest daily jobs"

fuel-armband: Fix functest job name

Change-Id: Iaf8918942909e2b4b9608229f3fe0374efbd9d3f
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "fuel-armband: Add functest and yardstick as downstream jobs"

fuel-armband: Add functest and yardstick as downstream jobs

Change-Id: I003f760adc2cb0b4959188b7f7d676d8fdbd8bb9
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add functest multijobs back to apex.

fingers crossed

Change-Id: I220a36ec8a6a0d95e847a5672c4d8e5c0d34c5ac
Signed-off-by: agardner <agardner@linuxfoundation.org>

Functest jobs are not showing up

Remove and then re-add to see if we can get jjb merge to work

Change-Id: Iff380b38bbc5a69e2850cd91a99267b6d5b1128f
Signed-off-by: agardner <agardner@linuxfoundation.org>

Nothing change to apex job to kick it into working

Change-Id: I88f33b7dcdf8f4d0a3aa3f8d46a07f10c62e6ae9
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "fuel: Add functest and yardstick as downstream jobs"

functest: Enable functest daily jobs

Change-Id: I1ce9e727a7f1448f657652a0f8d4bbab144b3ab9
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

fuel: Add functest and yardstick as downstream jobs

Change-Id: I90f42dc36ed0555788b517572088b5f09c1569fb
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add patrole and parser in Functest daily jobs

Change-Id: Iad86593d0b2711505999d5b0446d241cf56d5c8b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update Functest jobs (please vote an do not merge)"

Merge "jjb: xci: xci-start-new-vm: Switch to pre-built bifrost OS images"

Merge "Run patrole test in Jenkins"

xci: Set options in run-functest.sh

Functest healthcheck job actually fails but due to not setting
options properly in run-functest.sh, we failed to notice this.

Please note that this patch will enable changes to be blocked
since creation of external network and associated subnet fail,
due to an upstream issue. This causes functest healthcheck to
fail which in turn results in Verified-1 on Gerrit.

Change-Id: I32eeb422895930d039d3289ffb65e10763db9c4b
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

jjb: xci: xci-start-new-vm: Switch to pre-built bifrost OS images

Change-Id: I19e60eea65b01ec22bb32c0efcdc6b071b22ca34
Signed-off-by: Markos Chandras <mchandras@suse.de>

Update Functest jobs (please vote an do not merge)

We are going to try this again. Once this is merged, I will need
to delete all the jobs that change job type and then re-merge
releng merge will be broken during this short window.

--- original commit message ---
Add support for functest tier with multijob
Add publishers separate for fetures and
all other functest tiers
Run functest features suits in a mutijob
Since there are no arm specific requirements,
remove arm-daily builders and jobs

Original patch by Delia Popescu <delia.popescu@enea.com>

Change-Id: I43422463c442ff6a18f6a98ab9909fc6c88e0259
JIRA: FUNCTEST-917
Signed-off-by: agardner <agardner@linuxfoundation.org>

jjb: xci: Add postbuild publisher script to remove clean VM

The clean VM normally stays around after the job is completed or killed
due to timeout. Unless a job for the same distro is scheduled on the
same node, that VM will state around for a while consuming valuable
system resources. As such, we should remove it after the job finishes
to free up resources for the new jobs.

Change-Id: I88b5e32797969d9378588199a7ddb013bbe740c9
Signed-off-by: Markos Chandras <mchandras@suse.de>

Update return value from postbuildscript

PostBuildScript plugin's result affects Jenkins pipeline, so we should
return the original job running status in the postbuildscript in the end

Update macros:
1. from $POD_NAME to $NODE_NAME
2. from $SCENARIO to $DEPLOY_SCENARIO
2. {installer} to $INSTALLER_TYPE for {installer} is not existed in
   trigger job
3. add parameters definition for they can not be used in trigger jobs by
   predefined-parameters
4. missing TIMESTAMP_END

Change-Id: I354be3d5ad02e53bb988995adc09b59e92a1640a
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Update include-raw tag

replace `include-raw-escape` with `include-raw` for no jjb macros in the
bash file.

Change-Id: I6125779f23a5aafd7fed0f5017c4280394624bcd
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "Bugfix of the wrong regrex for Dovetail Jobs"

Merge "Build functest-patrole in Functest multijob"

Merge "barometer_docker: add barometer-snmp to build"

Merge "[fuel, armband] Add os-ovn-nofeature-ha scenario"

Merge "[compass4nfv] add the docker images build"

Bugfix of the wrong regrex for Dovetail Jobs

Change-Id: I5823f763d2f321a0b2505ca3ecd042e928b5a42c
Signed-off-by: xudan <xudan16@huawei.com>

[fuel, armband] Add os-ovn-nofeature-ha scenario

While at it, cleanup useless ovn/Euphrates jobs, we didn't have OVN
in E release of Fuel@OPNFV.

JIRA: FUEL-329

Change-Id: I4a9b476c292a05cf0b9cadaa3102ebccf2baa10a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "container4nfv: run scenarios on arm baremetal"

Merge "[pharos] Run verify job for utils/*.py changes"

Allow monit config script to use custom hostname

we need to use this script for connecting labs.opnfv.org machines
to the sandbox.opnfv.org

adds optional -l swtich

Change-Id: I620c963841a2ff39a8c08565cb474f7fdb833c74
Signed-off-by: agardner <agardner@linuxfoundation.org>

Add start delay to monit for jnlp daemon

delay the first check by 4-minutes
This is a better solution thant check process every 2 cycles
check process every 2 cycles delays initial startup by 2 cycles

delay check gives the script time to spawn, as the wget slave.jar takes
some time from china.

Change-Id: I8066e5b65efc41aaa67ee0f6ab8ee2c1aa86a67c
Signed-off-by: agardner <agardner@linuxfoundation.org>

container4nfv: run scenarios on arm baremetal

Change-Id: I3ee659fafcf37b84f261444844af9c421d6843ca
Signed-off-by: Yibo Cai <yibo.cai@arm.com>