xci: Log functest results to console for daily jobs

Change-Id: Ic3f31fea8170af8b1e9845856976ef57df496e1e
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Pass functest tier and suite to downstream jobs

Change-Id: I206b729c09d30eb81432d11638c2654a96c3b9e8
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Build and run functest-benchmarking"

Merge "xci: Enable yardstick"

jjb: xci: Turn on bash debug option

The script does not behave as it should so we need to enable the debug
option in order to debug it properly

Change-Id: I13cd4d027c0d9bb9229466148ea4c913508cba2a
Signed-off-by: Markos Chandras <mchandras@suse.de>

jjb: xci: Do not check for scenario changes in releng-xci repo

There are no scenarios in releng-xci anymore so we must not try and
determine the impacted scenario. Using the default one is good enough
for CI. Users can still override the defaults using the usual methods.

Change-Id: I47207ebddae79fd89615bfd664f211879aabae92
Signed-off-by: Markos Chandras <mchandras@suse.de>

Build and run functest-benchmarking

Change-Id: If2597ae36a2c6599b524543b67aac7f6272b384a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

xci: Execute prepare-tests.sh to prepare OPNFV VM

It also fixes the results directory where Functest log is cat from.

Change-Id: I3d8ea06d3741c70108cdb1c7f040969dbacf79a5
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: Adapt jobs to use common prepare-tests role"

Merge "Https now works for artifacts.opnfv.org"

Https now works for artifacts.opnfv.org

Also, I believe that https://artifacts.opnfv.org/
now works behind the GFW  and so
https://build.opnfv.org/artifacts.opnfv.org/index.html
Will no longer be needed.

Change-Id: I5ce850a0264a0d56d27756928f82c6c03868b622
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Https now works for artifacts.opnfv.org

Also, I believe that https://artifacts.opnfv.org/
now works behind the GFW and so

https://build.opnfv.org/artifacts.opnfv.org/index.html

Will no longer be needed.

Change-Id: Ieeaf9331a71a108db1d7a7a538f5f25179b98932
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

xci: Enable yardstick

Change-Id: Id48d1dcb6c1998f7f6d0f71cb9380ed7fcf7b320
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Adapt jobs to use common prepare-tests role

In order to activate more test tiers from functest and also
start running yardstick, we need to do the test preparation
at one go and then run what's supposed to be run.

This change is required for below changes to be verified
successfully
    https://gerrit.opnfv.org/gerrit/#/c/61639/
    https://gerrit.opnfv.org/gerrit/#/c/61641/

Change-Id: Ib3ae2241921383b77c23b05443325aa6240cc176
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "[Clover] Add docker build job for sample-app"

Merge "[fuel] Re-enable Fraser triggers"

[fuel] Re-enable Fraser triggers

Keep running Fraser CI scenarios so Dovetail gets to run against its
intended baseline.

To keep POD usage down, schedule only baremetal HA scenarios,
3 Fraser scenarios per week.

JIRA: FUEL-381

Change-Id: I0cedf4ed38a146b4e6ad0e10bd3030ab0c1e833f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

xci: Remove leftover VMs before proceeding with the deployment

Change-Id: I12e1dc7d79ca74df1ba02e16e55e91f4f47a818c
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Add option --deploy-scenario <deploy_scenario_name> to support DPDK"

Merge "Bottlenecks results dir has been changed"

Merge "remove congress test in Daisy"

Merge "xci: Create virtual daily jobs for scenarios"

Bottlenecks results dir has been changed

Change-Id: I18a5b51c7c72a33db9864caf2635b2fcde3e8de6
Signed-off-by: xudan <xudan16@huawei.com>

container4nfv: fix command line syntax error

Change-Id: Ib4bbf639c3a1c80eec9a9e3d52c17e934a465ce1
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

[Clover] Add docker build job for sample-app

Change-Id: Iac612137bd4b1a45550849c3180525cfe74f4a7f
Signed-off-by: Junaid Ali <junaidali.yahya@gmail.com>

xci: Create virtual daily jobs for scenarios

Change-Id: I2cb52d85a86bf70dfaf151606138d671e618e5d0
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Revert "CPERF: Fix csit odltools install""

Revert "CPERF: Fix csit odltools install"

This reverts commit 38ca028551d2e498fdfe41627f8bf79a43a6a0fa.

Change-Id: If37f0d40a50b410004d563bed5887f8237110d44

xci: Adjust build blockers and fix functest preparation

Functest preparation is moved into the deployment job to ensure
things are prepared before we are done and functest job gets
triggered. Making the preparation in functest job will cause
us to either reinitialize venv or depend on deployment job directory.
Apart from that, the env vars necessary for functest are available
within deployment job anyways so reusing that will make running
functest simpler.

See the comments in xci-daily-jobs.yaml builder macros.

Change-Id: I4c5bbe5f4b31bb620986d75ba78de6c0fe442975
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Fix XCI_DISTRO vars and remove clean_vm cleanup steps

Change-Id: Ie1d652607f8f56f5e1cf0409dc628b1add615cd9
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: Reconfigure xci-daily-virtual jobs"

Merge "[fuel] Add Docker build jobs"

Merge "[Compass4NFV]Add os-stor4nfv-ha scenarios"

Merge "container4nfv: update arm64 cni deployment jobs"

xci: Reconfigure xci-daily-virtual jobs

The execute shell parts need to be switched to existing
scripts but since the scripts were mainly written for
verify jobs, the adaptations they require has potential
to cause issues so it needs to be done in a separate
change.

Apart from that, the verify and daily jobs can't be run
on same slave at the moment due to a bug in opnfv vm
creation playbook. If clean vm exists on the node, the
playbook fails. Build blocker is enable for verify and
daily jobs to ensure the jobs don't end up on same slave
for the timebeing.

Change-Id: Iefaf5a5c2d4a79bd48a5f9da28d68748bc67f511
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Https now works for artifacts.opnfv.org

Change-Id: Ic3aa4bea2b546c95ce8187927a5762009adbd429
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

[Compass4NFV]Add os-stor4nfv-ha scenarios

Change-Id: I845f4fb0c51d9d1adccc8cfc3fe838a01882f52d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Add option --deploy-scenario <deploy_scenario_name> to support DPDK

JIRA: DOVETAIL-729

Change-Id: I78c464300e329a9356cffa81e53263912486c2c2
Signed-off-by: xudan <xudan16@huawei.com>

CPERF: Fix csit odltools install

PIP installing odltools attempts to install/update chardet which was
already managed by yum in the container so need to remove it.

Change-Id: Id07b76b080ff5b7e77d4c110c90a15018397d039
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Add SFC to daily

Change-Id: I51e5ecce1e7e5ef851e3c031aeb7819c0712c72d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[fuel, armband] Add os-nosdn-vpp scenarios"

[fuel] Add Docker build jobs

JIRA: FUEL-383

Change-Id: I80049726c256d2891ae1cfbacbc54781d3d81c70
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel, armband] Add os-nosdn-vpp scenarios

Added the triggers for both ha and noha versions of the scenario

Change-Id: Ibba782d82712b69b755592a878fc69bf6696cba7
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

container4nfv: update arm64 cni deployment jobs

- add vhost-vpp test
- deploy k8s only once for all cni deployment tests

Change-Id: I0d3966b15dc7f23713b5729bb7617b0c46e0ac83
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

remove congress test in Daisy

As Daisy don't support congress currently.

Change-Id: I1d70c01ef12555622d3e2800d2eba12b652fb23b
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "Update Releng PTL for Anteater Reports"

Apex: Fix verify blocking with csit

Make apex verify virtual deployment occur on the same node where
apex-verify job is running. Block apex-verify from starting if csit
promote is running.

Change-Id: I86e76232003b509db516e8d78703d43d36456d14
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[dovetail] set correct Cinder process name on Apex"

CPERF: Add CSIT top level suite name arg

Change-Id: I9b6dd3887c84ab035284400b8d3912fb691f1975
Signed-off-by: Tim Rozet <trozet@redhat.com>

[dovetail] set correct Cinder process name on Apex

In fraser, cinder-api runs as an apache module called cinder_wsgi.

JIRA: DOVETAIL-690

Change-Id: I6660e1e17e61c0010295431290d5db20777af0d4
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

CPERF: Install ODL tools and log

Adds pip installing odltools into the cperf container. CSIT jobs now
fetch ODL and other OS logs via apex.

Change-Id: I532d3a6fed156709cb305a9f7a6721d1db2eaebc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: Add nosdn ipv6 to daily"

Apex: Add nosdn ipv6 to daily

Adds ipv6 nosdn scenario to daily. Also includes a fix where the
trailing new line in the template would be removed and fail jjb check in
jenkins.

Change-Id: I928f7b1cf12381cb2af3a8c7e4beb8e8014451c9
Signed-off-by: Tim Rozet <trozet@redhat.com>

releng-macros: Update & adopt email-fuel-ptl

Change-Id: I24cc328cdefcd7ac5f34292f0cf1635f797f8f00
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Build arm images and publish manifests"

CPERF: Update master CSIT ODL to neon

Change-Id: I3e13635f2753c47cda567516b6194ad1b821d14b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: update ODL master to be neon

This is for downloading the ODL artifact
from an ODL gerrit.

Change-Id: I8138f2d84fb85ed7c8cc74e956ed277dfdb5fc1f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Wildcard gerrit trigger for CSIT

This will allow us to trigger OPNFV CSIT on non-netvirt projects.

Change-Id: I95991e3f574ffa4f4e63ca22697089c7ba2ab7ca
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Update snapshot detection

Detection now allows for allinone types.

Change-Id: I61d0e22bd3c940c509917db820281dab1a5fc66f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Allow CSIT for any ODL project

Instead of just netvirt, enable other ODL projects to trigger OPNFV
CSIT.

Change-Id: Ia394ed084108c44d68317b7e38cfb43d090ca784
Signed-off-by: Tim Rozet <trozet@redhat.com>

Build arm images and publish manifests

It mainly follows the Functest docker jjb.

Change-Id: Ia86082cfd5d2f19496e7801441e005ffc88595a3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

CPERF: Add clean up to CSIT

Now that we promote Apex artifacts after running CSIT, the snapshots
will be tainted with the flavor and image used during the CSIT test. We
should remove those after running CSIT as it may conflict with other
test suites or user interaction with the snapshots later.

Change-Id: I874ef145f9df20a9d1471e38698549cbe58dea43
Signed-off-by: Tim Rozet <trozet@redhat.com>

CPERF: CSIT hardcode OPENSTACK_TOPO

CSIT has static topologies that it supports, so even if we
have more nodes we need to conform to the CSIT input.

Change-Id: Id8647afaccbbf145dbf938b097ac49b92ce876f8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Cperf: Fix all-in-one compute robot args

CSIT requires that OS_COMPUTE_1_IP and OS_COMPUTE_2_IP are still passed
with empty values.

Change-Id: I694f237bdae1f2a4804d79ff6cde13b99eba7ddc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Add allinone snapshot job

Job will allow us to promote all-in-one snapshots.

Change-Id: I0d0bec8e7598219e17df32bb05a4e8d6efbc52dd
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Fix enable-condition on verify gate

Change-Id: Id2ac2945af9a419303f21f74cca8eb513f90ce80
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Allow deploying csit env in verify

This patch allows us to run a gate job against csit environment, by
doing something like:
start-gate-scenario: os-nosdn-nofeature-noha-csit

Change-Id: I3041404cdfdffe159cff33ecd72be93fe9383e10
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Allow gating on allinone deployment

This allows us to run a verify job on an all-in-one (control+compute)
type of deployment.

Change-Id: Ia4174c8eb5d55aaa05e63ddce59301e62b3a8a04
Signed-off-by: Tim Rozet <trozet@redhat.com>

CPERF: CSIT updates

Changes-Include:
 - OPENSTACK_TOPO is now decided dynamically
 - Make the containerized start/stop commands more simple
 - Include CSIT logging in CSIT promotion

Change-Id: I4b178cfd95cf45b808ab9e82b317b729e5f3028f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Fix missing fetch job

Change-Id: I4a14a7c6bc474b17b3bb04603187c18d0c8c1cf2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Use CSIT to gate snapshot promotion

Now that we have CSIT suite passing, we want to use that to gate our
snapshot promotion rather than tempest.

Change-Id: Ifddaf7921da15150a253021ee5ca64ab2fd438ff
Signed-off-by: Tim Rozet <trozet@redhat.com>

CPERF: CSIT disable live migration suite

We do not currently use a shared storage backend for the libvirt VMs, so
this won't work. Disabling for now.

Change-Id: I1ed4658345a1cf23bc6665fc66beffc50d68aec3
Signed-off-by: Tim Rozet <trozet@redhat.com>

remove fuel job in Doctor

As Doctor has no fuel CI Pods avaiable now，remove the jobs which
run in fuel Pods, these would be added again once the Pods are ready.

Change-Id: Iadc32f68bb22809291fba2ab6ec729234711f525
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

CPERF: Fix CSIT robot suite paths

Change-Id: Id40e0d433b0b22bb98f7471af28b6088879c160c
Signed-off-by: Tim Rozet <trozet@redhat.com>

CPERF: CSIT enable all suites

Change-Id: Ib95a268ca478338b1358ec63baa1937325ee7a39
Signed-off-by: Tim Rozet <trozet@redhat.com>

CPERF: Open CSIT testing ports in overcloud

Port 12345 needs to be open so that a netcat server can respond to
client requests.

Change-Id: Iaf6e59bcb16a7afe329d522b80d6678e65f10140
Signed-off-by: Tim Rozet <trozet@redhat.com>

Override EXT* variables to be in 192.0.2.0/24

Change-Id: I2ee7c37f492f712af3cd10b41ac8bdb6456843db
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>
Signed-off-by: Tim Rozet <trozet@redhat.com>

CPERF: Add external csit suite

Change-Id: Ic2a237149af4cb8d5935a2b018c94b669cf380fe
Signed-off-by: Tim Rozet <trozet@redhat.com>

CPERF: Fix ODL_STREAM to not include 'stable/'

CSIT variable needs to be the branch short name. Also, removes duplicate
log upload and fixes the upload path to use short name (to avoid '/' in
path for branch)

Change-Id: I5e1dac15fdbc1eca6c9edaf8b554c3362fd7a558
Signed-off-by: Tim Rozet <trozet@redhat.com>

CPERF: fix OPENSTACK_TOPO arg

Change-Id: Ib12228bf149649ab8466906b2e6acea44111e954
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: add bgpvpn scenarios to daily"

Apex: add bgpvpn scenarios to daily

Change-Id: I4039dba21e2c74bfecafbcc5dd04880ab6bea0a2
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Merge "use 'workspace-cleanup' plugin in publisher"

use 'workspace-cleanup' plugin in publisher

Change-Id: I4db7c0cda5485dbc756a22b9cbde298612241274
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "clean the workspace in the publisher"

clean the workspace in the publisher

As doctor run tox under root user, we need to clean
the workspace in the publisher, otherwise the tests
which come next will be fail when they operate in
the workspace with jenkins user.

Change-Id: I14fbabc7516153c6d93e53baf106067ff4194af6
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Use TOPO, not TOPOLOGY

Change-Id: I86453397a6039c130281de83571489380fc0e309
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Change OS_DEPLOY to OPENSTACK_TOPO

Change-Id: Ie9c2e9418dc7a2c8d6fcc798a9132303401a1128
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Reschedule the armband jobs

Make the jobs run more often as we need more results in CI with the
approach to MS5 and the release

Change-Id: I7d868b004ebdb9dee5122d3cd92504290a7ce5f2
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "[Dovetail] using correct rabbitmq process name"

run tox with 'sudo'

Change-Id: Icdbab7405e8dd46e7cd659dce04bf7502424192c
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "[dovetail] generate a results package for testing Dovetail web portal"

Merge "Add OS_DEPLOY topology variable to pybot args"

Merge "auto: verify and merge jobs"

Add OS_DEPLOY topology variable to pybot args

Change-Id: I2fd7485b0938bfa481f9c24add704658aab210f8
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

[Dovetail] using correct rabbitmq process name

Using the correct process name for the rabbitmq server in the HA test
configuration.

Change-Id: I42c8ba093f34c5d15f8c2e19b69538b22b716637
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

[dovetail] generate a results package for testing Dovetail web portal

Change-Id: I3b9f06807ebf581e3f74286f479519937b75b06f
Signed-off-by: xudan <xudan16@huawei.com>

Add l3 suite to list of pybot suites

Change-Id: Iaa085787ea92b002bb9fd1776f2ab20f63996769
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Get latest ODL csit code before running pybot"

Apex: Enable Daily Fraser Dovetail scenarios

Dovetail team still needs this for their next release.

JIRA: APEX-623

Change-Id: Idff3d5119bc0ae902595eb163b56a06c52c0d70b
Signed-off-by: Tim Rozet <trozet@redhat.com>