Add 2 files forgotten in previous commit for vsperf integration

Change-Id: Ibfd36814ac09d16ba4b3d365e04bf3b39a1ef7db
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add vsperf in reporting"

Add vsperf in reporting

fix some pep8 errors in other projects

Change-Id: Iea68b0d495f7fbe892ec866fb70b8354ad9ff3c2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

clarify obsoleted test configuration files

delete noparam.ini/nosection.ini/notboolean.ini/notint.ini/normal.ini
substitute normal.ini with etc/config.ini

Change-Id: I7e2fa331736a2f9bf807814416a3118be5f613e5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "leverage LFID as Authentication"

Apex: re-enable storperf on os-nosdn-nofeature-ha

Change-Id: Ia48b95589e6365102fef54444a8e334a80301dd2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "jjb: xci: Update openSUSE release to 42.3"

Merge "xci: Fix the list of blocking jobs for osa-periodic jobs"

Apex: Need to use sudo for virsh for fetch creds

Change-Id: I28e259bf8cdc7431a99227ba3e1eb8615744851e
Signed-off-by: Tim Rozet <trozet@redhat.com>

xci: Fix the list of blocking jobs for osa-periodic jobs

Change-Id: I2f60bac555571d4fddbde63bf8002aae2df47de3
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Add watchdog into testresults server to restart docker containers."

Fix Yamllint Violations for jjb/dpacc

JIRA: RELENG-254

Change-Id: I9f2d554f44b2291a8a7bbda7fab21a98110e7c04
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "xci: Create daily virtual jobs for sfc"

Merge "migrate openretriever to container4nfv"

Merge "Initial Auto Project Jobs"

xci: Create daily virtual jobs for sfc

Change-Id: I18105f9289f67f634431013d08b24608380f00e4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Apex: fix find command for rpms

Change-Id: I75bd15be3e68fa630a59cd30a0da72b8f17b8b84
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex, Yardstick: Fixes fetching creds"

Merge "Missing "-y" when install docker.io"

jjb: xci: Update openSUSE release to 42.3

openSUSE Leap 42.3 is the latest release so update the CI jobs to make
use of it.

Change-Id: I875bf924be9c84607d4b859a72f5eade4ca5f36d
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add a dovetail test job on huawei-pod4 to test Apex danube branch"

Merge "cleanup of obsolete non-CI arm PODs"

Merge "bug fix: reporting Tempest"

Apex: Removes cleaning from unit tests

There should be no reason to clean as the unit tests should be local to
the code. This was deleting some of our undercloud vms in daily
deployment causing deployment to fail.

Change-Id: I22abc57ea1a3f10cb91451e7005aa23d9715acc5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes always downloading RPMs in daily deploy

Change-Id: I30bc270c1ae9c648ec184e446a712bd304ad1230
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Added the validation for name field in create pod function"

Missing "-y" when install docker.io

Change-Id: I1c94d148bf62aba6e21fcabe1908931c6732327f
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Remove final ' placed at the end of each line by sed"

cleanup of obsolete non-CI arm PODs

Change-Id: I134feba421d12c4ca428b098aaa2bf52b3dec0ca

Add a dovetail test job on huawei-pod4 to test Apex danube branch

1. Apex doesn't have danube jobs now.
2. Dovetail is based on opnfv danube branch, so it should be tested
   against Apex danube deployment.
3. Huawei-pod4 deployed with Apex danube (os-nosdn-nofeature-ha) and
   can be used to test.

JIRA: DOVETAIL-494

Change-Id: Ic3251585503c15fb416c6d9497e8acfc977ebe3e
Signed-off-by: xudan <xudan16@huawei.com>

Add 2 fuel danube jobs on zte-pod1 and one nosdn-nofeature job on fuel master

Dovetail release is based on opnfv danube release, so it needs to be tested
on deployment of danube branch.

Add 2 fuel danube jobs on zte-pod1:
1. os-odl_l2-bgpvpn-ha triggerd on Monday, Wednesday and Friday 2am.
2. os-nosdn-nofeature-ha triggered on Saturday 2am.

Add 1 nosdn-nofeature job on fuel master.

JIRA: DOVETAIL-481

Change-Id: I6b419e84b0aad3e6212e26c8a8a1ea5bd02610b8
Signed-off-by: xudan <xudan16@huawei.com>

bug fix: reporting Tempest

not updated since Colorado and data model changed

 - minor fixes to match data model
 - pep8/pylint correction

Change-Id: I3a0a9ea689d25b3cfff35cb1ec39329981627bc6
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Using juju ssh command to run kubernetes test case

On joid kubernetes deployment we can't ssh container from jumpserver.
So we need to start yardstick on kubernetes master node.

Change-Id: I9a1308d401cdacef63690088ac22bd555927bea3
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

leverage LFID as Authentication

delete openid authentication
add LFID authentication

Change-Id: Iead144b5130bce51448024e65092fdea3bb2f07a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Add repository archiver for compliance checks"

Apex: fixes trigger for gate job

Change-Id: I0bd9f2bac11b4161da4b6cdfa0a0c6d444020944
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: Detect deploy scenario for functest on gate job"

Merge "SFC: Adds initial SFC verify job"

Apex: Detect deploy scenario for functest on gate job

Change-Id: I3f0119db7b7cade3ddd2dbeaa97e03e1fea58798
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Set timeout of Dovetail jobs to be 240 and don't remove the stable images"

Set timeout of Dovetail jobs to be 240 and don't remove the stable images

1. Jobs on Compass are always built time out and aborted.
2. Dovetail needs about 2 hours for all the test cases.
3. However, due to the slow internet speed, it will take a long time to pull
   releng source code and dovetail docker image.
4. Extend the time to 240 minutes.
5. Don't remove the stable docker images, so it don't need to pull every time.

JIRA: DOVETAIL-491

Change-Id: I9c7255a89eebf5770c0854224cd65e7413916078
Signed-off-by: xudan <xudan16@huawei.com>

Added the validation for name field in create pod function

Change-Id: I18a072c7b2677794a64693135904cf97eb7b3349
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Bugfix: Bad substitution wthen run shell script

When run yardstick-get-k8s-conf.sh, there is an error:
    /tmp/hudson2171423090360971912.sh: 6:
    /tmp/hudson2171423090360971912.sh: Bad substitution

To solve this problem, we need set using /bin/bash to run script.
If we do not set it, it will using /bin/sh by default.

Change-Id: Ic3aa58dfad009c42974f98ea4366b6e5f50752ca
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Initial Auto Project Jobs

Create a noop job for the Auto project so they can begin submitting
changes.

Change-Id: If7c80c283a07d3d8e008f566bff8bfe473a93aed
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "[fuel] Handle os cacert for baremetal deployments"

Fix Yamllint Violations for jjb/global

Includes a default .yamllint configuration file with line-length
producing a warning (instead of the default error) after 120 characters.

JIRA: RELENG-254

Change-Id: Ia46ec6451201c5e91d98901a6ff65360079b2c81
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

SFC: Adds initial SFC verify job

Change-Id: I9c212a0a5eca233d39b91b5394b952a70be87c78
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex, Yardstick: Fixes fetching creds

There is a bug where by default the INSTALLER_IP is set to 192.168.X.X
and in yardstick the IP is never found for Apex before trying to fetch,
so fetching fails to an invalid IP address.

This patch makes fetch os creds more robust to check if the INSTALLER_IP
is valid and if not, then attempt to find the correct IP for Apex.

Change-Id: Ie18d6e70f77ccff3592fb37c6d0b6e87b6435cf8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add watchdog into testresults server to restart docker containers.

Unexpected crashing of docker containers were occuring. So, a cron script
is to be run in regular intervals which will check for status of the
deployments and restart docker if necessary. Docker restart is seen
as a solution to solve majority of crashes.

Suggest if there is a better approach.

Change-Id: I40d56180350844b4a0f766e1b10a9fabfa02d3be
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Do not redirect errors in ${redirect}

${redirect} can be equal to /dev/null.

Change-Id: Ie66ee7ca2da92270de8619399a7f362acff8873a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "bug fix for qtip reporting"

Merge "Fetch admin.conf from master on kubernetes scenario"

Merge "leverage setup.py directly to install TestAPI"

Apex: increase deploy timeout by 20 min

Change-Id: I3e5a08996e896bcf7b88c97b503de414f7f3ee71
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "xci: Structure osa periodic jobs"

Make jinja templaing check non-voting

Rather than chasing a moving target we will make this securedlab check
non-voting.

Will make it voting again once we have a consensus on the PDF file

This patch will allow me to merge
https://gerrit.opnfv.org/gerrit/#/c/38283/

Change-Id: Ib737733cd7bb8230723059a4535d86d1c5bdc886
Signed-off-by: agardner <agardner@linuxfoundation.org>

Apex: remove leftover tmp dirs

Change-Id: I4a1da6ba1efe2b704f0109f63817021435d283b8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add StorPerf Graphite"

migrate openretriever to container4nfv

Change-Id: I6c758395abff5c980c013cbe65f99ad8938e20af
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

[fuel] Handle os cacert for baremetal deployments

Change-Id: I02503772dc5ed59562c2e0aba96280e2cae1da50
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Apex: limits verify per node to 1

This will limit how many simultaneous builds we can do at a time on
build server, but will stop the bug we are hitting where deploy (next
job) and functest (current job) start at the same time by blocking
parent jobs.

Change-Id: If23ce857d7ef043c408b0eb6a74357ce1278e4b9
Signed-off-by: Tim Rozet <trozet@redhat.com>

bug fix for qtip reporting

 - fix right path (version duplicated in path)
 - fix template for nav links in qtip reporting page

Change-Id: I7e14bea3feb5e6fad694e2837b3048b9cd8d5825
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Apex: disable storperf in daily

storperf has infinite loop:
https://build.opnfv.org/ci/job/storperf-apex-baremetal-daily-master/10/consoleFull

Change-Id: I526cddbda15c6262b4afd7c30b6d2681011f48a5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "update scenario name"

Merge "update installer under scenario"

Fetch admin.conf from master on kubernetes scenario

Now we have joid deploy kubernetes scenario
We need admin.conf when run test case
We can fetch admin.conf by:
    juju scp kubernetes-master/0:config admin.conf
Also we need a jenkins job to fetch it.

Change-Id: I13a6a17ca13e247cfc50774bf5104480fc03631a
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "simplify unit tests implementation of update scenario"

Merge "update versions under scenario"

Merge "change the dovetail weekly job pod"

Merge "Avoid exiting the script if an error happens"

change the dovetail weekly job pod

Change-Id: Ie1183ad0420058ddba8b46e474740a057dcf3b12
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Split HA and NOHA scenarios into 2 tables in reporting"

Merge "yardstick pod4 job Offline"

yardstick pod4 job Offline

This changes will make yardstick huawei-pod4 job offline.

Change-Id: Id0bc805e93ff2e38383717af4b486f4f3bddfc66
Signed-off-by: liyin <liyin11@huawei.com>

Merge "Jobs on Compass built time out"

Apex: fix verify trigger paths

Change-Id: I3878f3e1a85b31ddba8d3f53e774a9e1d16f8afb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix permissions on deploy

Change-Id: I36066bf003b1504524a5b8143cceef7829b23ca8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix daily deploys using rpm

Change-Id: Iba1b2f47e8ace4fb4a9eed80342fcb8950e848f8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Jobs on Compass built time out

In order to save the time, just download ubuntu and cirros images once and
stored in the host for all dovetail jobs.

JIRA: DOVETAIL-491

Change-Id: I07b39d5a04bfbce9ebf43f184103b503785b6e7a
Signed-off-by: xudan <xudan16@huawei.com>

Avoid exiting the script if an error happens

1. Avoid exiting the script if an tier fails
2. Push logs to artifacts

Change-Id: Ia258994e4694bb71615f7adc18967afcc237813f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Split HA and NOHA scenarios into 2 tables in reporting

the goal is to vizualize more quickly the HA and NOHA scenario
Note that if no scenario is available, the table title is displayed

Change-Id: Ibdade30aadf40fe4f7b9bfe547d23c186cb3e1df
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Pod name changes in ARMBAND

arm-pod3 pod name is changed to arm-pod5
arm-virtual1 pod name is changed to arm-virtual2

Change-Id: I6746fcdd52bbed5b6a61147d0abc5db64876dc97
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

leverage setup.py directly to install TestAPI

1. delete additional script install.sh
2. using 'python setup.py install' directly to install
TestAPI, as traditional python project do

Change-Id: Ifcdee7b2bae2553f523a722bff794c40d20f81cc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Remove download images logs (too verbose)"

Merge "bug fix: installation of node, bower and grunt for reporting docker"

Remove download images logs (too verbose)

logs were used to troubleshoot Functest CI pipeline issue
solved with [1]

[1]: https://gerrit.opnfv.org/gerrit/#/c/40109/

Change-Id: I56587f355c5e117efa8d0338204b0ced741477a7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Bug-fix: syntax error for add compass pod yaml

JIRA: BOTTLENECK-178

Containerized compass does not support ssh method to get the POD
yaml anymore. This patch is to fix the syntax error of last patch.

Change-Id: Ibd1711a645327db0c43a602519a9fa47ddaec64f
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Bug-fix: Add compass pod yaml in btks config dir

JIRA: BOTTLENECK-178

Containerized compass does not support ssh method to get the POD
yaml anymore. This patch is to fix the issue.

Change-Id: I98ca9a419d71d0ec22bf48ef40d4c5fb2d96d1b2
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

update scenario name

url PUT /api/v1/scenarios/<scenario_name>
if new_name already exist, return Forbidden
if new_name == name, return Forbidden

Change-Id: If3b82b3df4a763d60dad110caca2659c5f39ab50
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update installer under scenario

1. post, add one or more new installers
2. update, replace existed installers as a totality
3. delete, delete one or more installers by name
4. in post&update, if schema is not consistent with ScenarioInstaller model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if installer already exist, return Conflict with already exist
message
6. in update, if a installer appears more than once, also return Conflict
with already exist message

Change-Id: I830dba3bcf5f1a9d1c93513b4aae59009f69dc8f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

simplify unit tests implementation of update scenario

1. delete useless input arguments
2. update on and assert with self.req_d directly
   delete intermediate variable 'scenario'

Change-Id: I3eda1df4893c890bb23ccf05b45ce2de5fa9dd93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update versions under scenario

1. post, add one or more new versions
2. update, replace existed version as a totality
3. delete, delete one or more versions by name
4. in post&update, if schema is not consistent with ScenarioVersion model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message
6. in update, if a version appears more than once, also return Conflict
with already exist message
7. add update with conflict unittest for projects

Change-Id: I0d2c8a5567f3abce7b0313a64e18303af02cc002
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: fail to generate APIs document patch

Change-Id: Iac5bb851514f0f688fcb72deb5f07488bc071225
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Adjust the schedule of daisy jobs"

Merge "Apex: Updates CI to use new rpm names"

Merge "bugfix: fail to generate APIs document"

Apex: Updates CI to use new rpm names

Change-Id: I0455283ba94501119786ffbc3b1217bb71cc35c7
Signed-off-by: Tim Rozet <trozet@redhat.com>

xci: Structure osa periodic jobs

This job
- updates osa periodic jobs to use multijob project type
- adds pollscm trigger to prevent running job unnecessarily
if there is no change in upstream osa

The execute shell parts will be sent in separate change(s).

Change-Id: I5f9b4cad04b245192171278e6bf2806c94369854
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add missing project-parameters to storperf verify

This should fix the error of storperf verify jobs not being able to
resolve the git repository.

Change-Id: Ibc8382c7ec77d5975849fda042d30c457b6b457c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Storperf Parallel Verify Jobs

To ensure these run in parallel they need to all be part of the same
phase, and the phase needs to be marked as parallel.

Change-Id: Ib1c1d9e433d925c36371500039da30251469b5fb
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>