run prepare-functest on opnfv vm

Change-Id: Ide49917687ed583497ca089969fd2c7e7e00e548
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Merge "xci: Create post merge jobs to promote scenarios"

Merge "add another ovs_dpdk scenarios trigers"

Merge "Rename project to 'yardstick' from 'yardstick-arm64'"

xci: Create post merge jobs to promote scenarios

This change lays down the basic job structure for post merge promotion
jobs. The job structure will be

- a top level multijob job that is scenario specific and can not run
concurrently. This job runs distro deploy and test jobs for all the
distros in the first phase concurrently, followed by a common promote job.
- the deploy and test jobs are same as the xci-verify jobs except the
trigger. They are triggered by top level multijob.
- the promote job is run once all the deploy & test phase jobs successfully
completed, uploading promotion metadata to artifacts.opnfv.org.

The builders except set-scenario are left empty in order to try the basic
job setup first. Followup changes will get real things in.

Once the basics are in place, the first promotion will be done using functest
healthcheck and then we will start working on gating scenarios for promotion
using functest smoke and perhaps feature test cases.

Change-Id: Ib91ffe0f3003b86841a62537c52fde176cafa70f
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "add daisy installer for doctor verify jobs"

Merge "Update block rules on nodes"

Build functest-xtesting images

Build and push xtesting images
Create manifests for xtesting images
Build xtesting images for arm

JIRA: FUNCTEST-948

Change-Id: I3fbe6cdfef5b304a45d76533417f3c4bc58dddbe
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Move functest docker job in functest dir

Change-Id: I454c327f3359688742b5d8c4299efee05d6494a2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "xci: Allow specifying scenario and installer in commit message"

xci: Allow specifying scenario and installer in commit message

It is not always practical to try determining scenario and installer
to run jobs programmatically. This change adds possibility to do that
by parsing commit message and skipping the automatic scenario and
installer extraction.

Change-Id: I10c9620fe8bb69a2d69fceb31d08084265aa1d75
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

jjb: xci: Ensure GERRIT_TOPIC is always set

Fixes the following problem

[description-setter] Description set: Scenario: os-nosdn-nofeature | Node: intel-virtual14
[xci-verify-ubuntu-healthcheck-virtual-master] $ /bin/bash /tmp/jenkins7521920744845291696.sh
/tmp/jenkins7521920744845291696.sh: line 21: GERRIT_TOPIC: unbound variable
Build step 'Execute shell' marked build as failure

Change-Id: Iddf82e6ae6c6c433d941c461953c11935bc45269
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Update Functest jjobs (patrole)"

Update Functest jjobs (patrole)

Patrole is now integrated in smoke and the dedicated container is
being removed [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/53659/

Change-Id: Ifb1989c5e430a4bf0fdd553f2e3e82f69a704f25
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

jjb: xci: Allow CI to run when multiple components are affected

Sometimes we make global changes that affect multiple components at
once and splitting that is not possible because it needs to be shipped
as an atomic change. As such, allow topics with 'force-verify' to run
the CI using the default installer and scenario.

Change-Id: Ie4753822111b20c4f479886a55fe569c9b91ccd0
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Temporary incease functest timeout to 360 minutes"

xci: Combine vars setting installer type in INSTALLER_TYPE

Change-Id: I5312ac784b1621ce968bbdfb1532859dada0e790
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Temporary incease functest timeout to 360 minutes

Openstack APIs response call is tacking very long on ARM
Work is being done on fixing the issue
Temporary increase functest timeout on x86 too because of COMPASS

JIRA: ARMBAND-366
JIRA: COMPASS-589

Change-Id: I355500da56c5a040324c0969237ac2decfd29edf
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "xci: Set installer type for the tested scenario"

xci: Set installer type for the tested scenario

Variables injected by envInject are set after the job variables
which results in not setting the variable correctly. The Jenkins
test script now uses the variable injected by envInject to set
the INSTALLER_TYPE to XCI_INSTALLER.

Change-Id: Id79281a2ee22d407ffb1bd7c4be1471f6f329803
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Skip functest healtcheck if it is Kubernetes scenario

We need to work on functest healthcheck for Kubernetes scenarios.
Until we get it working, healthcheck is disabled.

Change-Id: If470dbe956c5859825f0829d1f8d022bdafcc242
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Update block rules on nodes

Only one scenario job can be excuted in the same POD. The rules should
be configured in job teamplate instead of parent job.

Change-Id: I9f672345985dbfdfe54b9ccd017a3a575a2ab412
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

add daisy installer for doctor verify jobs

Change-Id: I54b4015b1da9a5961c2d3ee1f672b381a3f72914
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

xci: Determine impacted generic scenario

Change-Id: Ifbe676cd347c2d3c68f04b5137f3ccaa83a95894
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Set the installer and move scenario extraction into functions

The scenarios named os-* are deployed by osa and the ones
named k8-* are deployed by kubespray. This change determines
the installer to use by looking into the scenario name.

The installers are currently hardcoded within xci-set-scenario.sh
script and this needs to be fixed for other installers when they
onboard to xci.

Apart from setting the installer, extraction of generic and external
scenarios are moved into corresponding functions.

Change-Id: I19882bcd2a1260765e601ecbe517551c60401d74
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "jjb: xci: Drop the VM cleanup step from the functest jobs"

Merge "xci: Set options in run-functest.sh"

jjb: xci: Drop the VM cleanup step from the functest jobs

We do the VM cleanup as part of the postbuild process so we do
not need to have it in the functest jobs anymore.

Change-Id: I64e4b58837090df33ae529232ef15a19de8f198a
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: Add postbuild publisher script to remove clean VM"

Define parameters for triggering jobs

In
https://wiki.jenkins.io/display/JENKINS/Plugins+affected+by+fix+for+SECURITY-170,
it indicates that:

    only build parameters that have been explicitly defined in a job's
    configuration will be available by default at build time. Any other
    arbitrary parameters added to a build by plugins will not be
    available by default.

It has been tested in sandbox.opnfv.org that only defined parameters can
be passed to the triggered jobs.

For parameters required by TESTAPI are common to all the projectes,
including installers, Functest, and Yardstick, it is convenient to
define a common macro and used by others.

Change-Id: Iac1da85445e1b5d75109ccd64b174f35151b9969
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

add another ovs_dpdk scenarios trigers

Change-Id: I4b30765b243e2a1a6d2079b71fc6d18c14853dec
Signed-off-by: 00184532 <lu.yao135@zte.com.cn>

Fix functest job name for armband ci jobs

Change-Id: I44c47347ce8759a545245bf2d3ad6d6657226875
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Revert functest-daily-jobs.yml again"

Merge "A new docker container for QTIP"

Revert functest-daily-jobs.yml again

Switching to multijob forces to increase executors which is too risky
so closed to the release.

It basically reverts the previous functest-daily-jobs.yml [1].

[1] git checkout 7f06f9492f4f8dd47669a553ef6e9c967fa29e8e jjb/functest/functest-daily-jobs.yml

7f06f9492f4f8dd47669a553ef6e9c967fa29e8e

Change-Id: I4a461108b11effe59e49108e1d95a9aae6e81ade
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Run all tests in a specific step

It bypasses the missing senquential mode.
It also fixes exclusions about fds and patrole.

Several Functest could run in parallel but it's impossible from the
time being due to an xtables lock.

Change-Id: I831a8c995efbf2484afd86785f17f51981c921c1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix a typo which runs all jobs in parallel

Change-Id: I454ff72c377a96aa769919348b27813ad434eb89
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

functest: Enable jobs per stream

Change-Id: I5289fedf52354f2cef6a3202df27d35acccb7c6c
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Add patrole and parser in Functest daily jobs"

fuel-armband: Fix functest job name

Change-Id: Iaf8918942909e2b4b9608229f3fe0374efbd9d3f
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "fuel-armband: Add functest and yardstick as downstream jobs"

fuel-armband: Add functest and yardstick as downstream jobs

Change-Id: I003f760adc2cb0b4959188b7f7d676d8fdbd8bb9
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add functest multijobs back to apex.

fingers crossed

Change-Id: I220a36ec8a6a0d95e847a5672c4d8e5c0d34c5ac
Signed-off-by: agardner <agardner@linuxfoundation.org>

Functest jobs are not showing up

Remove and then re-add to see if we can get jjb merge to work

Change-Id: Iff380b38bbc5a69e2850cd91a99267b6d5b1128f
Signed-off-by: agardner <agardner@linuxfoundation.org>

Nothing change to apex job to kick it into working

Change-Id: I88f33b7dcdf8f4d0a3aa3f8d46a07f10c62e6ae9
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "fuel: Add functest and yardstick as downstream jobs"

functest: Enable functest daily jobs

Change-Id: I1ce9e727a7f1448f657652a0f8d4bbab144b3ab9
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

fuel: Add functest and yardstick as downstream jobs

Change-Id: I90f42dc36ed0555788b517572088b5f09c1569fb
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add patrole and parser in Functest daily jobs

Change-Id: Iad86593d0b2711505999d5b0446d241cf56d5c8b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update Functest jobs (please vote an do not merge)"

Merge "jjb: xci: xci-start-new-vm: Switch to pre-built bifrost OS images"

Merge "Run patrole test in Jenkins"

xci: Set options in run-functest.sh

Functest healthcheck job actually fails but due to not setting
options properly in run-functest.sh, we failed to notice this.

Please note that this patch will enable changes to be blocked
since creation of external network and associated subnet fail,
due to an upstream issue. This causes functest healthcheck to
fail which in turn results in Verified-1 on Gerrit.

Change-Id: I32eeb422895930d039d3289ffb65e10763db9c4b
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

jjb: xci: xci-start-new-vm: Switch to pre-built bifrost OS images

Change-Id: I19e60eea65b01ec22bb32c0efcdc6b071b22ca34
Signed-off-by: Markos Chandras <mchandras@suse.de>

Update Functest jobs (please vote an do not merge)

We are going to try this again. Once this is merged, I will need
to delete all the jobs that change job type and then re-merge
releng merge will be broken during this short window.

--- original commit message ---
Add support for functest tier with multijob
Add publishers separate for fetures and
all other functest tiers
Run functest features suits in a mutijob
Since there are no arm specific requirements,
remove arm-daily builders and jobs

Original patch by Delia Popescu <delia.popescu@enea.com>

Change-Id: I43422463c442ff6a18f6a98ab9909fc6c88e0259
JIRA: FUNCTEST-917
Signed-off-by: agardner <agardner@linuxfoundation.org>

jjb: xci: Add postbuild publisher script to remove clean VM

The clean VM normally stays around after the job is completed or killed
due to timeout. Unless a job for the same distro is scheduled on the
same node, that VM will state around for a while consuming valuable
system resources. As such, we should remove it after the job finishes
to free up resources for the new jobs.

Change-Id: I88b5e32797969d9378588199a7ddb013bbe740c9
Signed-off-by: Markos Chandras <mchandras@suse.de>

Update return value from postbuildscript

PostBuildScript plugin's result affects Jenkins pipeline, so we should
return the original job running status in the postbuildscript in the end

Update macros:
1. from $POD_NAME to $NODE_NAME
2. from $SCENARIO to $DEPLOY_SCENARIO
2. {installer} to $INSTALLER_TYPE for {installer} is not existed in
   trigger job
3. add parameters definition for they can not be used in trigger jobs by
   predefined-parameters
4. missing TIMESTAMP_END

Change-Id: I354be3d5ad02e53bb988995adc09b59e92a1640a
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Update include-raw tag

replace `include-raw-escape` with `include-raw` for no jjb macros in the
bash file.

Change-Id: I6125779f23a5aafd7fed0f5017c4280394624bcd
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "Bugfix of the wrong regrex for Dovetail Jobs"

Merge "Build functest-patrole in Functest multijob"

Merge "barometer_docker: add barometer-snmp to build"

Merge "[fuel, armband] Add os-ovn-nofeature-ha scenario"

Merge "[compass4nfv] add the docker images build"

Bugfix of the wrong regrex for Dovetail Jobs

Change-Id: I5823f763d2f321a0b2505ca3ecd042e928b5a42c
Signed-off-by: xudan <xudan16@huawei.com>

[fuel, armband] Add os-ovn-nofeature-ha scenario

While at it, cleanup useless ovn/Euphrates jobs, we didn't have OVN
in E release of Fuel@OPNFV.

JIRA: FUEL-329

Change-Id: I4a9b476c292a05cf0b9cadaa3102ebccf2baa10a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "container4nfv: run scenarios on arm baremetal"

Merge "[pharos] Run verify job for utils/*.py changes"

Allow monit config script to use custom hostname

we need to use this script for connecting labs.opnfv.org machines
to the sandbox.opnfv.org

adds optional -l swtich

Change-Id: I620c963841a2ff39a8c08565cb474f7fdb833c74
Signed-off-by: agardner <agardner@linuxfoundation.org>

Add start delay to monit for jnlp daemon

delay the first check by 4-minutes
This is a better solution thant check process every 2 cycles
check process every 2 cycles delays initial startup by 2 cycles

delay check gives the script time to spawn, as the wget slave.jar takes
some time from china.

Change-Id: I8066e5b65efc41aaa67ee0f6ab8ee2c1aa86a67c
Signed-off-by: agardner <agardner@linuxfoundation.org>

container4nfv: run scenarios on arm baremetal

Change-Id: I3ee659fafcf37b84f261444844af9c421d6843ca
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Merge "Report the result to TestAPI"

Run patrole test in Jenkins

Change-Id: I94fe7ecf83e72b4e7ed47bb25cfe010d9b3db15d
Signed-off-by: Linda Wang <wangwulin@huawei.com>

[pharos] Run verify job for utils/*.py changes

Change-Id: I9ecfb78c715d68bd5dd11f42829c040c9bde6f6b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Build functest-patrole in Functest multijob

Change-Id: Ic67c3f1556b1e0cf382c640bacb6e3d672564507
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

jjb: xci: Use core OpenStack installation by default

We do not need all the components installed when deploying OpenStack
so we can speed up the jobs by removing some of them.

Change-Id: I19120915d0ef7c59b8b470c5fb87e9c0aa3e3673
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Cat functest log until the log upload is enabled

Change-Id: I883e6e29cf102d1069e3760ab95dd24d76d0a222
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Add envs via volume mapping"

Merge "[fuel, armband] Fix broken regex in cond (2)"

Merge "add testapi-client verify job"

Add envs via volume mapping

Change-Id: I39bdde31bfc5674eecf1528427b55a7f0335bd89
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge changes from topics 'decouple_verify_automate', 'simplify_automate_jjb'

* changes:
  decouple testresults verify job from automate job
  simplify automate jjb definition using releng_macro

[fuel, armband] Fix broken regex in cond (2)

Fixes: af7df31

Change-Id: I6369ded12a50a2aa7f0268488c5511fba9732a99
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel, armband] Fix broken regex in dovetail cond

Fixes: af7df31

Change-Id: I13e20591ce82792a12a514ae62e3b3dd4ed50e65
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

xci: Do not fail the job if virsh command fails

Change-Id: Ie5fae322f98ec6c9c2236486642c0d71c6a04aae
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Add functest-kubernetes project job"

xci: Fix scenario name extraction

Change-Id: Ifcea3d364b73d0d19d46aaf2bd2210ec6440f383
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Build opnfv/xtesting via functest-xtesting"

Merge "Pull the latest parent when building containers"

Report the result to TestAPI

Report the provision result to TestAPI.

Change-Id: I05a3a870125c2b1e74b98da043b53684ea334683
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

[compass4nfv] add nosdn-bar-noha scenario

Change-Id: I5a513e143aff0775d066532af14165c4509aa82e
Signed-off-by: wutianwei <wutianwei1@huawei.com>

add testapi-client verify job

Change-Id: I83f57a0967d6b8744a7c4890092fe0596e705291
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

A new docker container for QTIP

This docker container can provide networking test service.
Build this docker image by using opnfv docker build job.

JIRA: QTIP-293

Change-Id: I12310138a7c0b7b15bf5d34fb56bbbec1e65d206
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

modify qtip job template

The parameter 'SUT' is meaningless to storage job and experiment
job.

Change-Id: I40322962111896773821b8ef2f05e6f330d7da00
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

barometer_docker: add barometer-snmp to build

Change-Id: I5dc37a4970df4fc432bc65454872f45466d8749d
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

Add functest-kubernetes project job

It mainly inherits from functest project jobs.

Change-Id: Ibcb8825ee3d98ca816a5036e0a66776e314f2ddb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

xci: Use distro specific ssh config while sshing to xci vms

Change-Id: I9366639570315f879a662ca9e65a1894cd905a92
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Use distro specific ssh config while sshing to xci vms

Change-Id: I231488cd9de58a9051bd289c3d584841e7335417
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: Use distro specific ssh config while sshing to xci vms"

xci: Use distro specific ssh config while sshing to xci vms

Change-Id: I5e8b738d4293040b2792a926cd13708180590bbb
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

[Yardstick] add apt-get autoremove to free up disk space

yardstick builds are failing due to running out of disk space
when too many kernels are left installed.

Try apt-get autoremove to cleanup before updating

[yardstick-verify-master] $ /bin/bash /tmp/jenkins4572301318127685434.sh
Reading package lists...
Building dependency tree...
Reading state information...
build-essential is already the newest version (12.1ubuntu2).
python3-dev is already the newest version (3.5.1-3).
python-dev is already the newest version (2.7.12-1~16.04).
The following packages were automatically installed and are no longer required:
  linux-headers-4.4.0-101 linux-headers-4.4.0-101-generic
  linux-headers-4.4.0-103 linux-headers-4.4.0-103-generic
  linux-headers-4.4.0-104 linux-headers-4.4.0-104-generic
  linux-headers-4.4.0-108 linux-headers-4.4.0-108-generic
  linux-headers-4.4.0-109 linux-headers-4.4.0-109-generic
  linux-image-4.4.0-101-generic linux-image-4.4.0-103-generic
  linux-image-4.4.0-104-generic linux-image-4.4.0-108-generic
  linux-image-4.4.0-109-generic linux-image-extra-4.4.0-101-generic
  linux-image-extra-4.4.0-103-generic linux-image-extra-4.4.0-104-generic
  linux-image-extra-4.4.0-108-generic linux-image-extra-4.4.0-109-generic
Use 'sudo apt autoremove' to remove them.
0 upgraded, 0 newly installed, 0 to remove and 111 not upgraded.
4 not fully installed or removed.
After this operation, 0 B of additional disk space will be used.
Setting up linux-image-extra-4.4.0-116-generic (4.4.0-116.140) ...
run-parts: executing /etc/kernel/postinst.d/apt-auto-removal 4.4.0-116-generic /boot/vmlinuz-4.4.0-116-generic
run-parts: executing /etc/kernel/postinst.d/dkms 4.4.0-116-generic /boot/vmlinuz-4.4.0-116-generic
run-parts: executing /etc/kernel/postinst.d/initramfs-tools 4.4.0-116-generic /boot/vmlinuz-4.4.0-116-generic
update-initramfs: Generating /boot/initrd.img-4.4.0-116-generic
W: mdadm: /etc/mdadm/mdadm.conf defines no arrays.

gzip: stdout: No space left on device
E: mkinitramfs failure cpio 141 gzip 1
update-initramfs: failed for /boot/initrd.img-4.4.0-116-generic with 1.

Change-Id: I79396162c5300c8cbaecc474473af81842f79db8
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>