Merge "bug fix: reporting Tempest"

Apex: Removes cleaning from unit tests

There should be no reason to clean as the unit tests should be local to
the code. This was deleting some of our undercloud vms in daily
deployment causing deployment to fail.

Change-Id: I22abc57ea1a3f10cb91451e7005aa23d9715acc5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes always downloading RPMs in daily deploy

Change-Id: I30bc270c1ae9c648ec184e446a712bd304ad1230
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Added the validation for name field in create pod function"

Merge "Remove final ' placed at the end of each line by sed"

Add 2 fuel danube jobs on zte-pod1 and one nosdn-nofeature job on fuel master

Dovetail release is based on opnfv danube release, so it needs to be tested
on deployment of danube branch.

Add 2 fuel danube jobs on zte-pod1:
1. os-odl_l2-bgpvpn-ha triggerd on Monday, Wednesday and Friday 2am.
2. os-nosdn-nofeature-ha triggered on Saturday 2am.

Add 1 nosdn-nofeature job on fuel master.

JIRA: DOVETAIL-481

Change-Id: I6b419e84b0aad3e6212e26c8a8a1ea5bd02610b8
Signed-off-by: xudan <xudan16@huawei.com>

bug fix: reporting Tempest

not updated since Colorado and data model changed

 - minor fixes to match data model
 - pep8/pylint correction

Change-Id: I3a0a9ea689d25b3cfff35cb1ec39329981627bc6
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Using juju ssh command to run kubernetes test case

On joid kubernetes deployment we can't ssh container from jumpserver.
So we need to start yardstick on kubernetes master node.

Change-Id: I9a1308d401cdacef63690088ac22bd555927bea3
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add repository archiver for compliance checks"

Apex: fixes trigger for gate job

Change-Id: I0bd9f2bac11b4161da4b6cdfa0a0c6d444020944
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: Detect deploy scenario for functest on gate job"

Merge "SFC: Adds initial SFC verify job"

Apex: Detect deploy scenario for functest on gate job

Change-Id: I3f0119db7b7cade3ddd2dbeaa97e03e1fea58798
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Set timeout of Dovetail jobs to be 240 and don't remove the stable images"

Set timeout of Dovetail jobs to be 240 and don't remove the stable images

1. Jobs on Compass are always built time out and aborted.
2. Dovetail needs about 2 hours for all the test cases.
3. However, due to the slow internet speed, it will take a long time to pull
   releng source code and dovetail docker image.
4. Extend the time to 240 minutes.
5. Don't remove the stable docker images, so it don't need to pull every time.

JIRA: DOVETAIL-491

Change-Id: I9c7255a89eebf5770c0854224cd65e7413916078
Signed-off-by: xudan <xudan16@huawei.com>

Added the validation for name field in create pod function

Change-Id: I18a072c7b2677794a64693135904cf97eb7b3349
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Bugfix: Bad substitution wthen run shell script

When run yardstick-get-k8s-conf.sh, there is an error:
    /tmp/hudson2171423090360971912.sh: 6:
    /tmp/hudson2171423090360971912.sh: Bad substitution

To solve this problem, we need set using /bin/bash to run script.
If we do not set it, it will using /bin/sh by default.

Change-Id: Ic3aa58dfad009c42974f98ea4366b6e5f50752ca
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "[fuel] Handle os cacert for baremetal deployments"

Fix Yamllint Violations for jjb/global

Includes a default .yamllint configuration file with line-length
producing a warning (instead of the default error) after 120 characters.

JIRA: RELENG-254

Change-Id: Ia46ec6451201c5e91d98901a6ff65360079b2c81
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

SFC: Adds initial SFC verify job

Change-Id: I9c212a0a5eca233d39b91b5394b952a70be87c78
Signed-off-by: Tim Rozet <trozet@redhat.com>

Do not redirect errors in ${redirect}

${redirect} can be equal to /dev/null.

Change-Id: Ie66ee7ca2da92270de8619399a7f362acff8873a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "bug fix for qtip reporting"

Merge "Fetch admin.conf from master on kubernetes scenario"

Merge "leverage setup.py directly to install TestAPI"

Apex: increase deploy timeout by 20 min

Change-Id: I3e5a08996e896bcf7b88c97b503de414f7f3ee71
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "xci: Structure osa periodic jobs"

Make jinja templaing check non-voting

Rather than chasing a moving target we will make this securedlab check
non-voting.

Will make it voting again once we have a consensus on the PDF file

This patch will allow me to merge
https://gerrit.opnfv.org/gerrit/#/c/38283/

Change-Id: Ib737733cd7bb8230723059a4535d86d1c5bdc886
Signed-off-by: agardner <agardner@linuxfoundation.org>

Apex: remove leftover tmp dirs

Change-Id: I4a1da6ba1efe2b704f0109f63817021435d283b8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add StorPerf Graphite"

[fuel] Handle os cacert for baremetal deployments

Change-Id: I02503772dc5ed59562c2e0aba96280e2cae1da50
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Apex: limits verify per node to 1

This will limit how many simultaneous builds we can do at a time on
build server, but will stop the bug we are hitting where deploy (next
job) and functest (current job) start at the same time by blocking
parent jobs.

Change-Id: If23ce857d7ef043c408b0eb6a74357ce1278e4b9
Signed-off-by: Tim Rozet <trozet@redhat.com>

bug fix for qtip reporting

 - fix right path (version duplicated in path)
 - fix template for nav links in qtip reporting page

Change-Id: I7e14bea3feb5e6fad694e2837b3048b9cd8d5825
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Apex: disable storperf in daily

storperf has infinite loop:
https://build.opnfv.org/ci/job/storperf-apex-baremetal-daily-master/10/consoleFull

Change-Id: I526cddbda15c6262b4afd7c30b6d2681011f48a5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "update scenario name"

Merge "update installer under scenario"

Fetch admin.conf from master on kubernetes scenario

Now we have joid deploy kubernetes scenario
We need admin.conf when run test case
We can fetch admin.conf by:
    juju scp kubernetes-master/0:config admin.conf
Also we need a jenkins job to fetch it.

Change-Id: I13a6a17ca13e247cfc50774bf5104480fc03631a
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "simplify unit tests implementation of update scenario"

Merge "update versions under scenario"

Merge "change the dovetail weekly job pod"

Merge "Avoid exiting the script if an error happens"

change the dovetail weekly job pod

Change-Id: Ie1183ad0420058ddba8b46e474740a057dcf3b12
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Split HA and NOHA scenarios into 2 tables in reporting"

Merge "yardstick pod4 job Offline"

yardstick pod4 job Offline

This changes will make yardstick huawei-pod4 job offline.

Change-Id: Id0bc805e93ff2e38383717af4b486f4f3bddfc66
Signed-off-by: liyin <liyin11@huawei.com>

Merge "Jobs on Compass built time out"

Apex: fix verify trigger paths

Change-Id: I3878f3e1a85b31ddba8d3f53e774a9e1d16f8afb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix permissions on deploy

Change-Id: I36066bf003b1504524a5b8143cceef7829b23ca8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix daily deploys using rpm

Change-Id: Iba1b2f47e8ace4fb4a9eed80342fcb8950e848f8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Jobs on Compass built time out

In order to save the time, just download ubuntu and cirros images once and
stored in the host for all dovetail jobs.

JIRA: DOVETAIL-491

Change-Id: I07b39d5a04bfbce9ebf43f184103b503785b6e7a
Signed-off-by: xudan <xudan16@huawei.com>

Avoid exiting the script if an error happens

1. Avoid exiting the script if an tier fails
2. Push logs to artifacts

Change-Id: Ia258994e4694bb71615f7adc18967afcc237813f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Split HA and NOHA scenarios into 2 tables in reporting

the goal is to vizualize more quickly the HA and NOHA scenario
Note that if no scenario is available, the table title is displayed

Change-Id: Ibdade30aadf40fe4f7b9bfe547d23c186cb3e1df
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Pod name changes in ARMBAND

arm-pod3 pod name is changed to arm-pod5
arm-virtual1 pod name is changed to arm-virtual2

Change-Id: I6746fcdd52bbed5b6a61147d0abc5db64876dc97
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

leverage setup.py directly to install TestAPI

1. delete additional script install.sh
2. using 'python setup.py install' directly to install
TestAPI, as traditional python project do

Change-Id: Ifcdee7b2bae2553f523a722bff794c40d20f81cc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Remove download images logs (too verbose)"

Merge "bug fix: installation of node, bower and grunt for reporting docker"

Remove download images logs (too verbose)

logs were used to troubleshoot Functest CI pipeline issue
solved with [1]

[1]: https://gerrit.opnfv.org/gerrit/#/c/40109/

Change-Id: I56587f355c5e117efa8d0338204b0ced741477a7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Bug-fix: syntax error for add compass pod yaml

JIRA: BOTTLENECK-178

Containerized compass does not support ssh method to get the POD
yaml anymore. This patch is to fix the syntax error of last patch.

Change-Id: Ibd1711a645327db0c43a602519a9fa47ddaec64f
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Bug-fix: Add compass pod yaml in btks config dir

JIRA: BOTTLENECK-178

Containerized compass does not support ssh method to get the POD
yaml anymore. This patch is to fix the issue.

Change-Id: I98ca9a419d71d0ec22bf48ef40d4c5fb2d96d1b2
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

update scenario name

url PUT /api/v1/scenarios/<scenario_name>
if new_name already exist, return Forbidden
if new_name == name, return Forbidden

Change-Id: If3b82b3df4a763d60dad110caca2659c5f39ab50
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update installer under scenario

1. post, add one or more new installers
2. update, replace existed installers as a totality
3. delete, delete one or more installers by name
4. in post&update, if schema is not consistent with ScenarioInstaller model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if installer already exist, return Conflict with already exist
message
6. in update, if a installer appears more than once, also return Conflict
with already exist message

Change-Id: I830dba3bcf5f1a9d1c93513b4aae59009f69dc8f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

simplify unit tests implementation of update scenario

1. delete useless input arguments
2. update on and assert with self.req_d directly
   delete intermediate variable 'scenario'

Change-Id: I3eda1df4893c890bb23ccf05b45ce2de5fa9dd93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update versions under scenario

1. post, add one or more new versions
2. update, replace existed version as a totality
3. delete, delete one or more versions by name
4. in post&update, if schema is not consistent with ScenarioVersion model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message
6. in update, if a version appears more than once, also return Conflict
with already exist message
7. add update with conflict unittest for projects

Change-Id: I0d2c8a5567f3abce7b0313a64e18303af02cc002
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: fail to generate APIs document patch

Change-Id: Iac5bb851514f0f688fcb72deb5f07488bc071225
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Adjust the schedule of daisy jobs"

Merge "Apex: Updates CI to use new rpm names"

Merge "bugfix: fail to generate APIs document"

Apex: Updates CI to use new rpm names

Change-Id: I0455283ba94501119786ffbc3b1217bb71cc35c7
Signed-off-by: Tim Rozet <trozet@redhat.com>

xci: Structure osa periodic jobs

This job
- updates osa periodic jobs to use multijob project type
- adds pollscm trigger to prevent running job unnecessarily
if there is no change in upstream osa

The execute shell parts will be sent in separate change(s).

Change-Id: I5f9b4cad04b245192171278e6bf2806c94369854
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add missing project-parameters to storperf verify

This should fix the error of storperf verify jobs not being able to
resolve the git repository.

Change-Id: Ibc8382c7ec77d5975849fda042d30c457b6b457c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Storperf Parallel Verify Jobs

To ensure these run in parallel they need to all be part of the same
phase, and the phase needs to be marked as parallel.

Change-Id: Ib1c1d9e433d925c36371500039da30251469b5fb
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Storperf Verify Job should be Multijob

Change-Id: Ic4ed4775353622567df02790d3cca960ae0567ff
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

armband-deploy: Cleanup obsolete POD renaming

arm-pod4 and arm-pod3 are now both obsolete, so we no longer need
the ad-hoc translation of the slave name in the deploy script.

Change-Id: Ib81d0574507f8c0e8b513cdc00b35124eaaeeb68
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "storperf: Expand the CI verify scope"

Merge "fuel, armband: Re-enable CI master timed triggers"

Merge "snaps: Configure job to execute run_tests.sh against existing deployment"

Add StorPerf Graphite

Adds a new job to build and push graphite container
for StorPerf

Change-Id: I349f349116cabf4aa762b76b12ff4eb7b404e5b9
Signed-off-by: mbeierl <mark.beierl@dell.com>

Apex: Fixes bug with blocking

We have blocking so that deploy wont run while another deploy or
functest is running.  However there is an issue where after a deploy
completes, the next in line deploy starts at the same time as the
functest starts for the previous deploy.  This patch adds a quiet period
to the deploy job of 30 seconds, which hopefully will offset the start
time between the two and resume correct blocking.

Change-Id: Id94d075f2d2e48952a5c2186eeb81d09bb68c49b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Remove final ' placed at the end of each line by sed

I dont think the ' does anything good, as it ends up in the output
remove extraneous cat

Change-Id: I4ca62672aa361d370275bd74864f0fc179da9f0b
Signed-off-by: agardner <agardner@linuxfoundation.org>

snaps: Configure job to execute run_tests.sh against existing deployment

Change-Id: I14de06073f8ed1fd6ef29020f64816f31c6ff074
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel, armband: Re-enable CI master timed triggers

Re-enable baremetal scenario CI for Fuel scenarios:
- os-nosdn-nofeature-ha-baremetal
- os-odl_l3-nofeature-ha-baremetal (to be renamed to just odl later)
- os-nosdn-ovs-ha-baremetal (Fuel only, no Armband equiv yet)

Change-Id: I9b3b929366a3657c45181632ed46936cb15c3cba
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "utils/fetch_os_creds.sh: Fuel: Robust creds fetch"

storperf: Expand the CI verify scope

This change
- converts storperf-verify job to multijob type
- adds 2 additional jobs to build docker image(s) on x86 and arm
machines which will contribute to final Verified+1/-1 verdict
- all 3 jobs run in parallel on appropriate slaves

Change-Id: I3c3aec8834d7bd0ef4d7ffbc7453dd063ef10dd1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
Signed-off-by: mbeierl <mark.beierl@dell.com>

Merge "use Calipso verify.sh for easier control of verification"

utils/fetch_os_creds.sh: Fuel: Robust creds fetch

In case ctl01 node is down, the current mechanism will return
invalid data (the string "Minion") instead of a valid controller IP.

Since "keystonercv3" is present on all controller nodes at </root>,
adjust the credentials fetch to use the first online controller node.

Change-Id: I4ba15bb40d465b112c5e9fc827e3e2a69e671b26
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "storperf: Create daily job for storperf"

Merge "Integrate functest with ARM Architecture"

clean set-functest-env

 - remove useless parameters when calling download_images.sh
 - add traces

Change-Id: Iecb3516b53e572ae93ba411fc9c23b691be26e69
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Adjust the schedule of daisy jobs

Leave more time for debugging on nosadn-nofeature scenario.

Change-Id: I38199954ddd503c5bf4e956ae97ae61a470a2ad8
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

bugfix: fail to generate APIs document

Change-Id: I13c91fb34e190cd62400eccec6b755419aad89d1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Adjust the schedule of daisy baremetal jobs"

Merge "temporary switch of opnfv/functest-* to ollivier/functest-* for alpine"

Merge "bugfix: malfunction of scenario equal check"

Merge "Add pod description file support"

bug fix: installation of node, bower and grunt for reporting docker

 - change node installation process
 - clean setup (no need of pbr)

Change-Id: I9015486e3892e7c949bad5140cc4180ec9f07aa7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Adjust the schedule of daisy baremetal jobs

Now the functest NFV testcases only run in nosdn-nofeature
scenario. So we adjust the schedule to leave more time for
debugging on these testcases.

Change-Id: I37425a86c7359b57cb7048dc1339acb7ea8cb525
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

storperf: Create daily job for storperf

Change-Id: I999640281d8e15132c9024e25e43122d2a12baf7
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
Signed-off-by: mbeierl <mark.beierl@dell.com>

use Calipso verify.sh for easier control of verification

Change-Id: I322e04959b8ad693c6e2be59e539c3b3d9e6d7bc
Signed-off-by: yayogev <yaronyogev@gmail.com>

Integrate functest with ARM Architecture

Reads architecture of first compute node found on MCP installer
and sends it as env variable when creating the conatiner.
It is needed by https://gerrit.opnfv.org/gerrit/#/c/39991/
JIRA: ARMBAND-279

Change-Id: I7eec485507bd182190e95c0478182f506db4c821
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

temporary switch of opnfv/functest-* to ollivier/functest-* for alpine

 - better requirement management on ollivier docker hub
 - add feature and vnf docker (components could be added but as they could be
 very long (~ > 3h), we focus on shorter tests for the moment (need testcase
promotion mechanism to keep the control on overall test duration)

Change-Id: Ia8130dba716a465cd9feaaac32eabb4534cbe031
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add pod description file support

JIRA: BOTTLENECK-178

Need to add pod descrition file for Bottlenecks to be installer-agnostic

Change-Id: I100022ff1fcdaabe800492649c138dfe9fce55c2
Signed-off-by: Yang (Gabriel) Yu <Gabriel.yuyang@huawei.com>