[fuel] Handle os cacert for baremetal deployments

Change-Id: I02503772dc5ed59562c2e0aba96280e2cae1da50
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Apex: limits verify per node to 1

This will limit how many simultaneous builds we can do at a time on
build server, but will stop the bug we are hitting where deploy (next
job) and functest (current job) start at the same time by blocking
parent jobs.

Change-Id: If23ce857d7ef043c408b0eb6a74357ce1278e4b9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: disable storperf in daily

storperf has infinite loop:
https://build.opnfv.org/ci/job/storperf-apex-baremetal-daily-master/10/consoleFull

Change-Id: I526cddbda15c6262b4afd7c30b6d2681011f48a5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "update scenario name"

Merge "update installer under scenario"

Merge "simplify unit tests implementation of update scenario"

Merge "update versions under scenario"

Merge "change the dovetail weekly job pod"

Merge "Avoid exiting the script if an error happens"

change the dovetail weekly job pod

Change-Id: Ie1183ad0420058ddba8b46e474740a057dcf3b12
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Split HA and NOHA scenarios into 2 tables in reporting"

Merge "yardstick pod4 job Offline"

yardstick pod4 job Offline

This changes will make yardstick huawei-pod4 job offline.

Change-Id: Id0bc805e93ff2e38383717af4b486f4f3bddfc66
Signed-off-by: liyin <liyin11@huawei.com>

Merge "Jobs on Compass built time out"

Apex: fix verify trigger paths

Change-Id: I3878f3e1a85b31ddba8d3f53e774a9e1d16f8afb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix permissions on deploy

Change-Id: I36066bf003b1504524a5b8143cceef7829b23ca8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix daily deploys using rpm

Change-Id: Iba1b2f47e8ace4fb4a9eed80342fcb8950e848f8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Jobs on Compass built time out

In order to save the time, just download ubuntu and cirros images once and
stored in the host for all dovetail jobs.

JIRA: DOVETAIL-491

Change-Id: I07b39d5a04bfbce9ebf43f184103b503785b6e7a
Signed-off-by: xudan <xudan16@huawei.com>

Avoid exiting the script if an error happens

1. Avoid exiting the script if an tier fails
2. Push logs to artifacts

Change-Id: Ia258994e4694bb71615f7adc18967afcc237813f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Split HA and NOHA scenarios into 2 tables in reporting

the goal is to vizualize more quickly the HA and NOHA scenario
Note that if no scenario is available, the table title is displayed

Change-Id: Ibdade30aadf40fe4f7b9bfe547d23c186cb3e1df
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Pod name changes in ARMBAND

arm-pod3 pod name is changed to arm-pod5
arm-virtual1 pod name is changed to arm-virtual2

Change-Id: I6746fcdd52bbed5b6a61147d0abc5db64876dc97
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "Remove download images logs (too verbose)"

Merge "bug fix: installation of node, bower and grunt for reporting docker"

Remove download images logs (too verbose)

logs were used to troubleshoot Functest CI pipeline issue
solved with [1]

[1]: https://gerrit.opnfv.org/gerrit/#/c/40109/

Change-Id: I56587f355c5e117efa8d0338204b0ced741477a7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Bug-fix: syntax error for add compass pod yaml

JIRA: BOTTLENECK-178

Containerized compass does not support ssh method to get the POD
yaml anymore. This patch is to fix the syntax error of last patch.

Change-Id: Ibd1711a645327db0c43a602519a9fa47ddaec64f
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Bug-fix: Add compass pod yaml in btks config dir

JIRA: BOTTLENECK-178

Containerized compass does not support ssh method to get the POD
yaml anymore. This patch is to fix the issue.

Change-Id: I98ca9a419d71d0ec22bf48ef40d4c5fb2d96d1b2
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

update scenario name

url PUT /api/v1/scenarios/<scenario_name>
if new_name already exist, return Forbidden
if new_name == name, return Forbidden

Change-Id: If3b82b3df4a763d60dad110caca2659c5f39ab50
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update installer under scenario

1. post, add one or more new installers
2. update, replace existed installers as a totality
3. delete, delete one or more installers by name
4. in post&update, if schema is not consistent with ScenarioInstaller model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if installer already exist, return Conflict with already exist
message
6. in update, if a installer appears more than once, also return Conflict
with already exist message

Change-Id: I830dba3bcf5f1a9d1c93513b4aae59009f69dc8f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

simplify unit tests implementation of update scenario

1. delete useless input arguments
2. update on and assert with self.req_d directly
   delete intermediate variable 'scenario'

Change-Id: I3eda1df4893c890bb23ccf05b45ce2de5fa9dd93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update versions under scenario

1. post, add one or more new versions
2. update, replace existed version as a totality
3. delete, delete one or more versions by name
4. in post&update, if schema is not consistent with ScenarioVersion model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message
6. in update, if a version appears more than once, also return Conflict
with already exist message
7. add update with conflict unittest for projects

Change-Id: I0d2c8a5567f3abce7b0313a64e18303af02cc002
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: fail to generate APIs document patch

Change-Id: Iac5bb851514f0f688fcb72deb5f07488bc071225
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Adjust the schedule of daisy jobs"

Merge "Apex: Updates CI to use new rpm names"

Merge "bugfix: fail to generate APIs document"

Apex: Updates CI to use new rpm names

Change-Id: I0455283ba94501119786ffbc3b1217bb71cc35c7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add missing project-parameters to storperf verify

This should fix the error of storperf verify jobs not being able to
resolve the git repository.

Change-Id: Ibc8382c7ec77d5975849fda042d30c457b6b457c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Storperf Parallel Verify Jobs

To ensure these run in parallel they need to all be part of the same
phase, and the phase needs to be marked as parallel.

Change-Id: Ib1c1d9e433d925c36371500039da30251469b5fb
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Storperf Verify Job should be Multijob

Change-Id: Ic4ed4775353622567df02790d3cca960ae0567ff
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

armband-deploy: Cleanup obsolete POD renaming

arm-pod4 and arm-pod3 are now both obsolete, so we no longer need
the ad-hoc translation of the slave name in the deploy script.

Change-Id: Ib81d0574507f8c0e8b513cdc00b35124eaaeeb68
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "storperf: Expand the CI verify scope"

Merge "fuel, armband: Re-enable CI master timed triggers"

Merge "snaps: Configure job to execute run_tests.sh against existing deployment"

Apex: Fixes bug with blocking

We have blocking so that deploy wont run while another deploy or
functest is running.  However there is an issue where after a deploy
completes, the next in line deploy starts at the same time as the
functest starts for the previous deploy.  This patch adds a quiet period
to the deploy job of 30 seconds, which hopefully will offset the start
time between the two and resume correct blocking.

Change-Id: Id94d075f2d2e48952a5c2186eeb81d09bb68c49b
Signed-off-by: Tim Rozet <trozet@redhat.com>

snaps: Configure job to execute run_tests.sh against existing deployment

Change-Id: I14de06073f8ed1fd6ef29020f64816f31c6ff074
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel, armband: Re-enable CI master timed triggers

Re-enable baremetal scenario CI for Fuel scenarios:
- os-nosdn-nofeature-ha-baremetal
- os-odl_l3-nofeature-ha-baremetal (to be renamed to just odl later)
- os-nosdn-ovs-ha-baremetal (Fuel only, no Armband equiv yet)

Change-Id: I9b3b929366a3657c45181632ed46936cb15c3cba
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "utils/fetch_os_creds.sh: Fuel: Robust creds fetch"

storperf: Expand the CI verify scope

This change
- converts storperf-verify job to multijob type
- adds 2 additional jobs to build docker image(s) on x86 and arm
machines which will contribute to final Verified+1/-1 verdict
- all 3 jobs run in parallel on appropriate slaves

Change-Id: I3c3aec8834d7bd0ef4d7ffbc7453dd063ef10dd1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
Signed-off-by: mbeierl <mark.beierl@dell.com>

Merge "use Calipso verify.sh for easier control of verification"

utils/fetch_os_creds.sh: Fuel: Robust creds fetch

In case ctl01 node is down, the current mechanism will return
invalid data (the string "Minion") instead of a valid controller IP.

Since "keystonercv3" is present on all controller nodes at </root>,
adjust the credentials fetch to use the first online controller node.

Change-Id: I4ba15bb40d465b112c5e9fc827e3e2a69e671b26
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "storperf: Create daily job for storperf"

Merge "Integrate functest with ARM Architecture"

clean set-functest-env

 - remove useless parameters when calling download_images.sh
 - add traces

Change-Id: Iecb3516b53e572ae93ba411fc9c23b691be26e69
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Adjust the schedule of daisy jobs

Leave more time for debugging on nosadn-nofeature scenario.

Change-Id: I38199954ddd503c5bf4e956ae97ae61a470a2ad8
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

bugfix: fail to generate APIs document

Change-Id: I13c91fb34e190cd62400eccec6b755419aad89d1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Adjust the schedule of daisy baremetal jobs"

Merge "temporary switch of opnfv/functest-* to ollivier/functest-* for alpine"

Merge "bugfix: malfunction of scenario equal check"

Merge "Add pod description file support"

bug fix: installation of node, bower and grunt for reporting docker

 - change node installation process
 - clean setup (no need of pbr)

Change-Id: I9015486e3892e7c949bad5140cc4180ec9f07aa7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Adjust the schedule of daisy baremetal jobs

Now the functest NFV testcases only run in nosdn-nofeature
scenario. So we adjust the schedule to leave more time for
debugging on these testcases.

Change-Id: I37425a86c7359b57cb7048dc1339acb7ea8cb525
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

storperf: Create daily job for storperf

Change-Id: I999640281d8e15132c9024e25e43122d2a12baf7
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
Signed-off-by: mbeierl <mark.beierl@dell.com>

use Calipso verify.sh for easier control of verification

Change-Id: I322e04959b8ad693c6e2be59e539c3b3d9e6d7bc
Signed-off-by: yayogev <yaronyogev@gmail.com>

Integrate functest with ARM Architecture

Reads architecture of first compute node found on MCP installer
and sends it as env variable when creating the conatiner.
It is needed by https://gerrit.opnfv.org/gerrit/#/c/39991/
JIRA: ARMBAND-279

Change-Id: I7eec485507bd182190e95c0478182f506db4c821
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

temporary switch of opnfv/functest-* to ollivier/functest-* for alpine

 - better requirement management on ollivier docker hub
 - add feature and vnf docker (components could be added but as they could be
 very long (~ > 3h), we focus on shorter tests for the moment (need testcase
promotion mechanism to keep the control on overall test duration)

Change-Id: Ia8130dba716a465cd9feaaac32eabb4534cbe031
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add pod description file support

JIRA: BOTTLENECK-178

Need to add pod descrition file for Bottlenecks to be installer-agnostic

Change-Id: I100022ff1fcdaabe800492649c138dfe9fce55c2
Signed-off-by: Yang (Gabriel) Yu <Gabriel.yuyang@huawei.com>

bugfix: malfunction of scenario equal check

1. bugfix equal check with[] will return list[false, true],
   and always True in next step check
2. in assert_res() leverage '==' will never assert even if
   they are not equal

Change-Id: I683e3489d45b98b508f8ab8b6ef268ca9a1ebd5f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Bugfix: min_microversion in tempest_conf.yaml is too small"

Merge "Adds SwaggerUI"

Merge "Calipso verify job is running on master"

Calipso verify job is running on master

Jobs should not run on master
python 3 not avaliable on master (unless venv is called)
switch to opnfv-build-defaults

Change-Id: I03cf9ae3d07033b68f5b6db1b13037febb9f729d
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Allow huawei-virtual5/8/9 publish logs to artifact repo"

Merge "Add noha scenario in CI"

Bugfix: min_microversion in tempest_conf.yaml is too small

JIRA: DOVETAIL-486

Now min_microversion is 2 which is too small for some other test cases.
Change it to 2.2.

Change-Id: Ibf2653b83b36d03420a62595010672d52d8bf77d
Signed-off-by: xudan <xudan16@huawei.com>

Allow huawei-virtual5/8/9 publish logs to artifact repo

Change-Id: I494b0a1ebe8eab7e4ed5642e0a9237d6a5f125b1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Landing page adoption"

bugfix: TestAPI auto deploy success but shown as fail

when execute 'curl -s --head  --request GET http://testresults.opnfv.org/test'
'HTTP/1.1 301 Moved Permanently' will be returned rather than 200 OK,
result in the connectivity check fail. To fix this problem,
use 'http://testresults.opnfv.org/test/' instead.

Change-Id: I5d6916c15858b3f431a2ab18aeef7f352cb9e31b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: OperationFailure: the limit must be positive"

Merge "change scenario owner"

Merge "update projects in scenario"

Merge "in swagger operation parameter supports array type"

Merge "update customs in scenario"

Merge "prepare for testresults.opnfv.org's watchdog"

Merge "Modify tempest.conf to enable Tempest failed test cases to pass on Compass"

xci: Fix passing current parameters to healthcheck job

Change-Id: I370d2822071c77a16387935e1d465f608ee9e10e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "add Calipso Jenkins job: run unit tests"

Merge "xci: Several bugfixes for the verify job"

bugfix: OperationFailure: the limit must be positive

in cursor.aggregate(), set limit=0 is not allowed, in this patch,
if no records to be listed, return empty list directly, no more
aggregate()

JIRA: RELENG-293

Change-Id: I7317892875da9c0f785ba010b55715032dee31ce
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Modify tempest.conf to enable Tempest failed test cases to pass on Compass

JIRA: DOVETAIL-486

For compass:
1. There is a defcore test case always failed due to wrong value of
   volume_device_name=vdc.
   Use tempest_conf.yaml to change the wrong value into 'vdb' for Compass.
2. There are also some tempest test cases skipped or failed due to wrong values
   in tempest.conf file.

Change-Id: Ibe274790b14d9223b5c0ee903879f8b67521948d
Signed-off-by: xudan <xudan16@huawei.com>

change scenario owner

1 bugfix owner must be explicit in ScenarioVersion model
2 change owner of scenario
3. usage: PUT /api/v1/scenarios/<scenario_name>/owner? \
                installer=<installer_name>& \
                version=<version_name>
  body: new owner

Change-Id: I261468cd8445030b61e37e0f804b699d6205bdb0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update projects in scenario

1. post, add one or more new projects
2. update, replace existed projects wholly
3. delete, delete one or more projects by name
4. in post&update, if schema is not consistent with ScenarioProject model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message

Change-Id: Iead585f787a4acc61abce6c9d38a036739b498d6
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Landing page adoption

Since testapi have done some changes on scenarios api,
so landing page should do some adoption.

Change-Id: Ib5d1df03e2c50c7d6c038200d97f2057b90e48af
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

add Calipso Jenkins job: run unit tests

Change-Id: I6ecb7f85d9cdfc3dadc7e3b6769daf3b6cb144b5
Signed-off-by: yayogev <yaronyogev@gmail.com>

Merge "Bugfix: No cirros-0.3.5-x86_64-disk.img"

Bugfix: No cirros-0.3.5-x86_64-disk.img

JIRA: DOVETAIL-487

1. Functest cvp.0.5.0 doesn't have cirros image in its docker container.
2. Jobs need to download cirros-0.3.5-x86_64-disk.img and store it in
   $DOVETAIL_HOME/pre_config

Change-Id: I12e4edb561ce21f813adc968d223fb0827529f7b
Signed-off-by: xudan <xudan16@huawei.com>

Use dovetail cvp.0.5.0 image in Dovetail CI jobs

JIRA: DOVETAIL-483

Change-Id: I16fdba4e0d2d150b629ae1828578c7379999bfea
Signed-off-by: xudan <xudan16@huawei.com>

xci: Several bugfixes for the verify job

- Fix environment variables set by the job
- Fix the default distro in deploy job since the {distro} is not passed to it
- Navigate to correct directory where xci-deploy.sh is located

Change-Id: Ie412dc4852a4aac5aae5c1f26bb271281ebbc111
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Enable patchset verification for xci

This job gets triggered when a new patchset to xci is created.
Currently only the deployment is run and healthcheck will be activated
once xci is adjusted for functest.

Change-Id: I3ea61524de6c6b5e2d872f59bb362d9c9be6053c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

in swagger operation parameter supports array type

it will be used in scenario update process later

Change-Id: Ic44023169f1c0da0946e5e60339ce58076fc8807
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update customs in scenario

1) post to add one or multiple test cases
2) update to substitute all the test cases
3) delete with body to delete one or multiple test cases
4) to facilitate the process and response body usually useless,
   if update success all updates(scores/trust_indicators/customs),
   return 200 with no response body

Change-Id: I5148f172989fa8e0e70ffed92ee383c0520dbb41
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: testapi is killed because of oom_kill"