Exposes GERRIT_REFSPEC parameter to build

This value is usually passed by parent jobs (daily, verify, etc), but
exposing it as parameter should allow us to build from JJB GUI.

Change-Id: I294fbcd200ff5d8bbfca77681296c6e59d7f0063
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes load-balancing jobs for virtual verify

Issue where apex-virtual-master label node was being passed from verify
job to deploy/functest.  We allow multiple verify jobs to kick off on
virtual slaves, but then passing the host down to the deploy/functest
jobs causes the deploy/functest only run 1 job at a time on the same
node, rather than running 2 jobs at a time, one on each slave.

Change-Id: I1648eb6b84f17a2b08db4d161effe977c7952d63
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Point qtip-experimental-job to zte-virtual6"

Merge "[Functest] Switch ARM jobs to Alpine containers"

Apex: fix slave for verify jobs

We use apex-virtual-master label for slaves that will deploy and run
functest.  Build and unit test will not use this label and will use
apex-build-master.

Change-Id: Ibf266bd37813ea8ef38fc8060f73f83462275cfd
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fix ovn4nfv job formatting and missing Parameters"

[Functest] Switch ARM jobs to Alpine containers

Change-Id: I2de88bcf0407b89579447159ed0ed233fbd62553
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Merge "Weekly Anteater Project Additions"

Point qtip-experimental-job to zte-virtual6

Change-Id: I14dc0f19014a0f320ccf1a05c14e387b61294d8d
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Fix ovn4nfv job formatting and missing Parameters

A typo in parameters is causing ovn4nfv-build-euphrates to fail as it
doesn't know which repository to clone.

Change-Id: I348bb5924c685ab7facd516a56b1e491cb0aefaa
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Remove the functest images built job for Arm"

Fix typos in functest-docker.yml

Change-Id: Ibca13382d10de5963929d528ac53e09bf76da6cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove the functest images built job for Arm

Change-Id: I03ed53ce0729688977bd8bc85b57ec261373a69e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

functest: Fix parameters for docker build jobs

Change-Id: Id692673fbd47ba623d52970327dbc6360843b253
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

functest: Fix slave label and parameters

Change-Id: I7fb73132f0ddb95345d2309263f9f22a66d6417e
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Set Functest MultiJob as arch independent"

Set Functest MultiJob as arch independent

Now only one multijob is required to build all containers.
arm64 containers are still built on opnfv-build-ubuntu-arm.

functest-vnf and functest-restapi cannot be built due to a segfault
in ruby operations.

Change-Id: Iea787e2f4731989f610ba9e596a3f596b750548b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "fix the bug of patch verify"

Merge "Update Automation Job Repo to releng-testresults"

Merge "Remove Artifacts JSON Job"

Merge "Move Apex Verify Jobs to apex-verify-jobs file"

Weekly Anteater Project Additions

https://wiki.opnfv.org/display/INF/Project+Roll+Out+for+Anteater

Week begining November the 13th

Please wait for merge of https://gerrit.opnfv.org/gerrit/47121
first.

Change-Id: I9629c60c15c264db778400b454fe99acd06fb881
Signed-off-by: lukehinds <lhinds@redhat.com>

[Functest] Remove ubuntu based image built job

As the former Dockerfile based on Ubuntu has been removed [1], now
multiple Alpine containers are used.

[1]: https://gerrit.opnfv.org/gerrit/#/c/46907/

Change-Id: I62fba4403fc11c1f5e60bf4e5eebc3406cd5d0fd
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix Functest Docker multijob

It mainly fixes the project names in the multijob and removes the
triggers added by "Add build triggers and source code management" [1].

It should be noted that creating manifest shouldn't be done via one
job per arch.

[1] https://gerrit.opnfv.org/gerrit/#/c/46789/

Change-Id: I2cb078ffb900513d4404a39936703844916d84e4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update Automation Job Repo to releng-testresults

Switches the jjb/releng/automate jobs to use the releng-testresults
repository now that files under utils/test have been migrated.

Assumes shell and python scripts required for the job are now located
in the releng-testresults repo under ./ci/

Change-Id: I1f036d9d8abd988477e18b2f2efd8f80d550a61c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Remove Artifacts JSON Job

As far as I know the site that consumed this resource was never actually
published, and given this runs frequently on master, removing it should
save resources.

Change-Id: I383fcffcef98e0e12a38d15dcb1204419283b833
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Modify the fuel deployment type judgement in fetch-os_creds.sh"

Modify the fuel deployment type judgement in fetch-os_creds.sh

The BUILD_TAG on ZTE baremetal PODs don't include the word "baremetal".[1]
Line 117 can't be correctly executed. Use a negative checking instead.

[1] https://build.opnfv.org/ci/job/functest-fuel-zte-pod1-daily-master/206/injectedEnvVars/

Change-Id: I1a36494768e0172bcf6a016fd8f2524854c9b876
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

fix the bug of patch verify

If one patch don't modify the "yml" or "yaml" file,
the script will exit with 1 at egrep "ya?ml$", then mark build as failure.
In my opinion, if not modify the "yml" or "yaml" file, the yamllint should be successful.
So we need mark the result of egrep "ya?ml$" as true, then judge the $YAML_FILES.

Change-Id: I8abcadc9e4c85935ac7b20cdf54713b9800108ba
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix removal of kernel directories in repo archiver

Removal of these directories was silently failing due to the '-f' flag
of rm. Unquoting '{..}' allows bash to corretly interpret the brace
expansion.

Change-Id: I315c63b5eb26fd3780632da0961a0eaf86439ae3
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Add qtip job to pod zte-virtual6"

Add qtip job to pod zte-virtual6

JIRA: QTIP-282

Change-Id: If765bfa01a1dab987409c311f3a718bffea76797
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Sudo pip install.

not in a venv, so build fails if called by jenkins user without
sudo

Change-Id: I612a20777cc70a33542f767a63075939782e3201
Signed-off-by: agardner <agardner@linuxfoundation.org>

Remove not consumed argument 'ARCH' from docker build

Change-Id: I955479b8bc33c4a7445292901aa4228a413aa4c1
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "Refactor arch-specific Dockerfile patching"

Merge "Add build triggers and source code management"

Merge "[daisy] Prevent CI jobs run on the same POD parallelly"

Merge "Updated Docs Structure"

Merge "Update Yamllint Version"

Refactor arch-specific Dockerfile patching

CHANGE: Obsolete "Dockerfile.aarch64" support,
only "Dockerfile.$(uname -m).patch" mechanism is to be used
from now on.

It is correlated with https://gerrit.opnfv.org/gerrit/#/c/46797/

Change-Id: If765550681d283dea7e3522f21080ea2c5e2fda4
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Add build triggers and source code management

Add job builders and Git Source Code Management for
functest alpine image build jobs

Change-Id: I129502859a3391ee233a6e8f3808e3a9c86dc129
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

[daisy] Kolla docker image build needs root privilege

Change-Id: I8b206f8aaa965b90eb13d5f859c5d9d7b530e0e9
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

[daisy] Prevent CI jobs run on the same POD parallelly

Change-Id: I0f20005873aac6c7c4f7e3baf04fab56f38b14df
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "[Daisy] Add docker image tarball builder"

Updated Docs Structure

Provides a new organizational structure for release engineering
documentation:

 /ci           | Job/Gate structures and CI requirements
 /infra        | Software Infrastructure documentation
   /component  | Documentation specific to a component (Gerrit, etc.)
 /release      | Release documentation (ex. stable branch policy)

Change-Id: I8d24435d4d2f5ab797ad90309ee2246fb9b74c8e
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "multiarch: Modify doctor x86_64, aarch64 verify jobs"

Move Apex Verify Jobs to apex-verify-jobs file

JIRA: RELENG-287

Change-Id: Ie50fdddc47b47764d3e3064904f19015d5d39341
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

fix deploy.sh not runing issue

deploy.sh is not called as jenkins log
+ cd /home/jenkins/opnfv/slave_root/workspace/container4nfv-daily-master/ci ./deploy.sh
No emails were triggered.

Change-Id: Ie590a53d05ef3d92f78cce0608c165cd2c98c582
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "add simple e2e tests for PodsCotroller"

Merge "Switch yamllint job to only run against new files"

Merge "functest: Build Docker images with jjb"

Change git base for merge as well

Change-Id: I23b15eacbd7d207dfe1d8e29784a7c623cb0efb9
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Testing new docs verfiy job"

Change GIT_BASE to https

Change-Id: Ib589aed7f509d003eef35cf93825eb0950e5ae47
Signed-off-by: agardner <agardner@linuxfoundation.org>

functest: Build Docker images with jjb

docker-build: Dependency & manifest support

Except for images that have dependencies (as functest-components,
functest-helthcheck, functest-restapi, functest-features,
functest-smoke, functest-vnf), all docker images
are built SEQUENTIALLY in a multijob Phase called 'build-base-img'.
The images with dependencies are built in PARALLEL in the second
Phase, called 'build-child-img', only if the first Phase result is
SUCCESFULL.
The manifest images are created in a third Phase,
'create-img-manifest', through opnfv-manifest.sh script, only if
Phase 'build-child-img' result is SUCCESFULL.

To create manifest images, a mandatory step is to preinstall
manifest-tool on the build image dedicated VM (arm and/or amd)

JIRA: ARMBAND-310

Change-Id: Iaa6640568ed18a3b087db56449173841dd2757ff
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Testing new docs verfiy job

These docs changes are also legit.
Looks like the reverify trigger is not working as well

Change-Id: I8d16abf3ce0fcae88aec4e8b81b24deb3a991b34
Signed-off-by: agardner <agardner@linuxfoundation.org>

Need to change directory check for new docs verify

old dir is no longer generated
grab dir created by tox -e docs

Change-Id: If52e931f6abdc8dcb39fbe7aac3c6b3342ce81c8
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Move all doc verfication to docs-verify-rtd-*"

Move all doc verfication to docs-verify-rtd-*

Ready for review (tested locally)

1) remove opnfvdocs-daily-{stream}:
We don't need a timed docs build. and it did not build anything usefull

2) remove opnfv-docs-verify-{stream}:
This uses depreciated and unmaintained opnfvdocs/scripts/docs-build.sh
It does not clone submodules and gives no usefull feedback
but it does post to artifacts and give a gerrit comment
move that functionality to docs-*-rtd-*

3) remove opnfv-docs-merge-{stream}:
does not upload anything meaningful

4) remove macro upload-generated-docs-to-opnfv-artifacts:
is no longer needed since we use read the docs

5) improve docs-verify-rtd-{stream}:
generate single page html and post to artifacts
send gerrit commment with location of single page html,
errors (like malformed table) are embedded nicely in the single
page output and give devs a single source of feedback on their work

6) improve docs-merge-rtd-{stream}:
this job now needs to remove review documenation created by
docs-verify-rtd-{stream}

TODO, after this is merged:
remove now unused opnfvdocs/scripts/docs-build.sh

Change-Id: I802eb11712d42555d34f986d061bf0dfc623c1e9
Signed-off-by: agardner <agardner@linuxfoundation.org>

vswitchpef: avoid build at ericsson-build3

VSPERF's VERIFY & MERGE jobs are having issues at ericsson-build3
since September. The problem is, that after a few successful runs,
machine starts to be very slow and thus it is not possible to execute
neither OVS nor VPP anymore. Debugging together with responsible
admins didn't help to find a root cause (probably a race condition
during execution of vsperf & other projects). As a temporary measure,
I want to tight vsperf jobs to ericsson-build4 only, where they work
without issues.

Change-Id: I62e482f57234f90fc127b6e6d9454488e17657fc
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

add simple e2e tests for PodsCotroller

Change-Id: I9baa04ff062f36569c1e143014239931de64cf32
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Merge "KVMFORNFV: Disabling daily job"

Merge "Sync requirements with OpenStack Pike"

Merge "Fix the misspelling"

Merge "Add Gerrit Trigger on Tag Creation"

Merge "Rename zte-pod4 to zte-virtual5"

Rename zte-pod4 to zte-virtual5

JIRA: QTIP-280

Change-Id: Ie588c3e38af82fe9b2de8bb01549a1c9249d54ff
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Add basic job for verifying pharos-tools repo

Change-Id: I5c5ecddc87e99f2b9e27e53381434d9f55d5e639
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Re-enabling docs jobs for Danube"

KVMFORNFV: Disabling daily job

This patch is used to temporarily disable kvmfornfv daily job from
triggering as Intel-pod10 is currently not available for executing
daily test cases.

Note: Will enable the kvmfornfv daily job once Intel-pod10
is available for executing test cases.

Change-Id: I834d50c68f15acb9d8a4377d8351cd29569a9e80
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

Add Gerrit Trigger on Tag Creation

We should be able to capture a tag creation event by triggering on
'ref-updated' but looking specifically at the 'refs/tags/' branch
prefix.

Though this will trigger a build against a specific tag, scripts will
still need to examine the GERRIT_REFSPEC to determine the tag name.

Change-Id: Ic18a3e11530fb71735431240f93d2074dacf4e1c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

multiarch: Modify doctor x86_64, aarch64 verify jobs

Modify doctor verify jobs to run for each architecture.
JIRA: https://jira.opnfv.org/browse/ARMBAND-305

Change-Id: Ia25c3751ac18233290c9e98e74bc21d9dc35f27c
Signed-off-by: Catalina Focsa <catalina.focsa@enea.com>
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Sync requirements with OpenStack Pike

OPNFV F-release is built on top of OpenStack Pike.
Functest depends on releng/modules and requires this update.

It conforms with the requirement management cleant for E-release [1].

[1] https://wiki.opnfv.org/display/functest/Requirements+management

Change-Id: If3c3a607c8d2d5515ada78b03104067937fb4b37
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove compass4nfv weekly danube job"

Fix the misspelling

There is a mistake spelling about slave name,
the job cannot assign to correct slave.

Change-Id: I001ec82a30c6f33dd42795cbe990bfb5c2da9740
Signed-off-by: wutianwei <wutianwei1@huawei.com>

remove components out side of 3rd_party

components are implemented by TestAPI team, they are not the third
party code, put them under opnfv_testapi/ui directory

Change-Id: Ia0f5e2afe4bcb12bcb74d3a8d78fb28fe1432bec
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "divide resources into handlers and models"

Merge "add develop guide for testapi"

Remove compass4nfv weekly danube job

Change-Id: I5bd83b2dec6d6b28e619a2a427c0406a6a0c6a43
Signed-off-by: wutianwei <wutianwei1@huawei.com>

[Daisy] Add docker image tarball builder

This PS do:
1. Add docker image tarball builder as a Daisy project job.
   Name is daisy-kolla-build-.*
2. Upload image to artifact storage after building.
3. Fix new job runs on daisy-virtual.
4. Block jobs with each other which may run Daisy VM because
VM has the same name.

Change-Id: I148473ca33f1e10490684b7608354a4ba548714f
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Use dovetail latest docker image cvp.0.8.0

Change-Id: I87ad5599f5a44074eb67502b02bd2083a773772d
Signed-off-by: xudan <xudan16@huawei.com>

Merge "add daily job for container4nfv"

Re-enabling docs jobs for Danube

The danube jobs are still needed for ongoing Dovetail documentation
efforts.

Change-Id: Ibf7174a63693d7c141cf110f6fbcfac4437102c9
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

divide resources into handlers and models

divide resources into handlers&models
put ui handlers into handlers directory
put User into user_models.py

Change-Id: I3d9e260097205213c3ea8d4eac08b9019e017f71
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: E722 do not use bare except"

add develop guide for testapi

Change-Id: Iaa9c15092aafda2024f08c467eea2f3ab9cddd96
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: E722 do not use bare except

new added pep8 check: https://build.opnfv.org/ci/job/testapi-verify-master/435/console

Change-Id: I29c1ffbb534babf55ec2fe675001cc85b9e2e922
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bug-fix: ssl error for euphrates

Change-Id: I0e7f9f502cd3844aacfdbc006a71a081b1c4fde4
Signed-off-by: Gabriel Yu <Gabriel.yuyang@huawei.com>

Merge "Integrate yardstick on daisy master branch"

add daily job for container4nfv

Change-Id: I78a06c6123c9bfad33953eab0eb5db76ee0d5e84
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Execute ovs-logger cmds with sudo

In some installers we execute commands as ordinary users
and that causes problems when we need superuser priviledges.

Change-Id: I84786e63995990e9d68803ed50879b086b0bd4af
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

change the K8 auto trigger time

K8s conflict with other CI job.
We change the K8s auto trigger time to fix this issue

Change-Id: I54042e31347e989975601305a6de5e98a4da7adf
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Do not set bashisms when calling build.sh

The maintainer can decide to set errexit nounset or pipefail
Plus, this fails as pipefail is a bashism and shell: calls sh

Change-Id: Ibac052fddce7e9a3eb7c536e08c64d9dad1a7a0a
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "add verify jobs for container4nfv"

Merge "allow authentication to be disabled"

add verify jobs for container4nfv

Change-Id: I8bca593398beb7e509c3ab7d02bf6fb7ad54b91a
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

bug fix: score calculation based on build_tag

we were used to count the number of PASS of the last 4 runs
it works 80% of the cases

4 runs
4 OK => 3 points
3 OK => 3 points
2 OK => 2 points
1 OK => 1 point
0 => 0

it is different from the normal score calculation
4 OK => 3 points
3 OK => 2 points
2 OK => 2 points
1 OK => 1 point
0 => 0

Change-Id: Ib8df2c294e0036246176c181b7a7ac290ebea07e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "criteria field must be 'PASS/FAIL'"

allow authentication to be disabled

in local deployment situation, authentication can be disabled by
setting authenticate=False of ui section in config.ini

JIRA: RELENG-324

Change-Id: I9157d1723851feb12435033dbdd59035e3eb5777
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

jjb: xci: bifrost: Enable jobs and use XCI ssh configuration

Enable the 'bifrost' jobs and also make use of the XCI specific
ssh configuration file.

Change-Id: I04d15610b596191622cf028b3408b4d63ee7090b
Signed-off-by: Markos Chandras <mchandras@suse.de>