Set lint jobs to run concurrent

Liniting is broken, last fix forgot to run linting concurrent

FATAL: The project is configured to NOT run builds concurrent, but the
node parameter [SLAVE_NAME] is configured to trigger new builds
concurrent!

Change-Id: I1eb4bf7279c7af4e01950b89c515e183fbc57b2d
Signed-off-by: agardner <agardner@linuxfoundation.org>

Linting should be done on a build server, not on master

Linting was broken by this patch
https://gerrit.opnfv.org/gerrit/#/c/50737/

Also added sudo to pip installs, as they are not in a venv

Patch forgot to put linting on build server
so it defaulted to master.

Change-Id: Iba8c1f633fad6d5f3d097f4911f45100c3b43e30
Signed-off-by: agardner <agardner@linuxfoundation.org>

Fix typo in lint-init

Change-Id: I310c4f2e46a26b35eeafef2dfc8670d70ace0575
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "add 'lint-all-code' as wrapper of lint builders"

Merge "fix yamllint config file"

Merge "[fuel] deploy: Stop using securedlab for master"

Merge "Pharos Dashboard: Deploy once config is in place"

Merge "[doctor] fix node-label setting"

xci: Run functest as part of xci-merge jobs

This is yet another messy work to get functest run for xci
as part of merge jobs.

The script is removed from xci-verify jobs in order not to
block patches by -1ing them.

Change-Id: I57254bcfbada7a51da89aba0e7a88f907eb9a525
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add schema valiadator to jinja checker

Alex has extended the jinja checker to valiate the schema
uses jsonschema

Next step is to enable voting on this job.

Change-Id: I3c61eb3addbb3d41093ada486bf9d8b191fb2028
Signed-off-by: agardner <agardner@linuxfoundation.org>

[fuel] deploy: Stop using securedlab for master

Instead of cloning securedlab locally and passing it to Fuel deploy
script, rely on Pharos git repo, embedded as a git submodule in Fuel.

Keep old behavior (using securedlab) for stable/{danube,euphrates}.

Depends-on: Ib04e4fb384568a6efd9e78a080857b663521ae88

Change-Id: Ie30879292ae04b641257760de69c900a9eb4ef84
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

add 'lint-all-code' as wrapper of lint builders

OPNFV has common coding style [1]. So, all repos shall be checked by
one generic checker builder/job, eventually.

This patch adds lint wrapper builder 'lint-all-code', and also
refactors all exisiting lint and syntax check builders, following
'lint-yaml-code' builder approach, which only checks modified files.
This approach is nice as it won't require immediate fixes of violations
in whole repo code right after the lint checker job is enabled.

Note that lint jobs are still configured to run against some project
repo, in order to seperate discussion; wheter we should apply this
lint job to all OPNFV repo or not immediately.

[1] https://wiki.opnfv.org/display/DEV/Contribution+Guidelines

Change-Id: Ib4ab3ba5dc08845f3016b8be772f4ed119f11b2d
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

[doctor] fix node-label setting

Current doctor verify jobs need to be run on relevant pods which are
specified by slave-label. But, after multijob introduced, the parameter
is not passed to children jobs. Also, 'phase' of project is misleading,
as it isn't multijob's phase.

This patch makes sure each doctor job run on correct pod by updating
node label rule for doctor pod to 'doctor-{installer}-{arch}'.

This patch also merges doctor slave parameter definitions into one,
and deletes unnecessary setting where default are set.

Change-Id: Ic9bf218ae7fb4f9866b510efd1e0ccd19277b78e
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

fix yamllint config file

pick from https://gerrit.opnfv.org/gerrit/#/c/50737

Change-Id: If5b83c656f33af1740df194ba826b6a31ac10355
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Add GERRIT_REFSPEC to 'project-parameter' Macro"

Merge "[daisy] Skip signing kolla images"

Merge "Add lf-pod4 and lf-pod5 to slave params"

Output version before Docker builds

Its helpful to know which version of docker is being used to build a
project when debugging build failures.

Change-Id: I2bb9c5386d1d69e61c4477913f5f0162acd0c47d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Disable Interactivity for and enable Pharos Backup"

Add GERRIT_REFSPEC to 'project-parameter' Macro

GERRIT_REFSPEC is always passed by the gerrit-trigger plugin when a job
is triggered by Gerrit. Because it is not explicily defined, there is no
way to manually trigger jobs, as the git clone looks up the list of refs
by GERRIT_REFSPEC.

Being able to manually trigger jobs (with node parameters so they can be
restricted) is very helpful in debugging CI issues.

Change-Id: I8a1d9ea380902fc95f30482e5acb616347709ab1
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "docker: update name and dockerfile location for barometer collectd image.         change build directory to fix build's copy errors "

xci: Skip jobs if the scenario is not supported on a distro

Change-Id: I22d2327558ee1d19d04775da6abf1b3eed5b357a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Do not clone and checkout scenario repo if it is releng-xci

Change-Id: I48cdbfbd5b7746e75565d318616e9c580b5ba156
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Clone releng-xci repo for phase jobs as well

Forgotten to fix phase jobs.

Change-Id: I50c525089d6d3b4f28650ad78b8810817aaf150e
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Clone the repo and checkout the patch for testing

Change-Id: Ie1c2f76b6043133c3821272040b1a2a38de29035
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Always clone releng-xci into WORKSPACE for merge jobs

The cloning of the correct version of the repo which the scenario
resides in will be handled by get-opnfv-scenario-requirements.yml
for all the scenarios.

The change proposed for merge jobs will be reflected to verify jobs
as well once it is verified with this.

Change-Id: Icaa99a8b9e981c839969ce556e5af6a9ef6d9da8
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci sfc: Enable post merge deployment

This change enables the deployment upon merge of a change.
Followup patches will incorporate functest smoke and promotion
which the promotion will most likely be the first one as functest
parts are a bit tricky due to failures while running testing
in VMs.

Apart from the enablement of the deployments, job concurrency is
disabled as well since we should only test one change at a time
and attempt promotion for any scenario in order to ensure we keep
the promotion consistent.

Change-Id: Ib4b5754b6b88f42eab83c656e03773c83068016f
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Convert execute shell scripts to external scripts

The scripts used by verify jobs to create VMs, start deployments,
run functest, and do cleanup for CI can be reused by other jobs as
well so they are moved out of the yaml file.

Apart from that, if we decide to change the way we run CI (not
using VMs for performance reasons), we don't have to make big changes
to yaml either.

Change-Id: I2df1f2d60f999bcd7d53a5cd879112a5b2b0ca05
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "RFC: Set the basic structure for post merge jobs"

Merge "Disable the triggers for euphrates in armband"

Disable the triggers for euphrates in armband

Change-Id: I738b4eb712bc85ee3327a9be55f4990000ff28c8
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[daisy] delete tmp dir with sudo

Permission denied occured in [1].

[1]: https://build.opnfv.org/ci/job/daisy-deploy-zte-pod9-daily-master/7/console

Change-Id: Ic7e67eed8a121cae0ea2c05ab4cc9005358fcda5
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Pharos Dashboard: Deploy once config is in place

Since configuration has shifted out of the docker-compose.yml file and
the workspace gets recreated ever job, the config.env file needs to be
copied into place before each deployment.

JIRA: PHAROS-316

Change-Id: I8c80f1148ad268428defa2f7eb1877d821a11491
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Create job to deploy Pharos Dashboard"

Add lf-pod4 and lf-pod5 to slave params

Change-Id: I3ca61f015c07cbf3bd67acd7972d9a1e0011f21d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "bugfix: pass functest parameters to builders"

bugfix: pass functest parameters to builders

As doctor CI failed: https://build.opnfv.org/ci/job/doctor-verify-apex-sample-build-x86_64-master/24/console
Functest parameters can not passed to 'functest-suite-builder' to build the job

Change-Id: I34039025bb77e78ce43c21ef7ec67da7583b6e39
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

[daisy] Add '|' for more than one predefined-parameters

This tries to solve Job name error [1] which cause functest
failure.

[1] https://build.opnfv.org/ci/job/functest-daisy-baremetal-daily-master/257/console

Change-Id: I89c9a00bcaf0ccb274a18339533bdd99b1134be3
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

docker: update name and dockerfile location for barometer collectd image.
        change build directory to fix build's copy errors

Change-Id: I3bc4f929156c7c04cc93822d28b0a64991f18595
Signed-off-by: gordonkelly <gordon.kelly@intel.com>

Merge "Docker Builds from Git Tag"

Create job to deploy Pharos Dashboard

Runs docker-compose build & up to recreate containers when code changes,
and redeploys the dashboard.

JIRA: PHAROS-316

Change-Id: Ie83ae775c55aa9e18069b9988bfd771b5655c14b
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "The '{is-skip-vote}' is always 'true' for the jobs"

Merge "Add macro for reporting the provision result"

Add macro for reporting the provision result

1. add macro for report the provision result of installers
and try it in daisy
2. update according to TestAPI interface

Change-Id: Ic041744c917c37fcd84a12a92e927e39106cf18f
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "Revert "container4nfv: Disable jobs until the project stops changing docker version""

Revert "container4nfv: Disable jobs until the project stops changing docker version"

The project fixed their build script to stop reinstalling docker which downgrades it so the jobs can be enabled back now.

https://gerrit.opnfv.org/gerrit/#/c/50603/

This reverts commit c9aac428e09385a5893313a99b6af6652dafd216.

Change-Id: I529850be56e30e4fdd66929809628b89e3a2ed8f

The '{is-skip-vote}' is always 'true' for the jobs

fix it temporarily, will ask jjb team for this issue.

Change-Id: I470f7114f74123f0419d2605837742208867753e
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "snaps: Disable snaps verify jobs to prevent jobs queueing up"

Disable Interactivity for and enable Pharos Backup

When running docker commands from an interactive shell the '-it' flags
are needed. Since the backup isn't running any interactive command,
these flags aren't needed and failing the job due to a tty not being
allocated to the Jenkins user.

Change-Id: I9bd81faaf548b3247ee1992f6db9c0258ebfc1fb
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Update Pharos Backup Job"

snaps: Disable snaps verify jobs to prevent jobs queueing up

The POD, intel-pod20, where the slave was located doesn't exist
anymore so we have no possibility to run snaps-verify jobs for
the timebeing.

This will be looked into once we have a new slave setup.

Change-Id: Ib46ccf160cd6895aa65d6a136afeedd2f7300335
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

container4nfv: Disable jobs until the project stops changing docker version

Container4nfv verify jobs uninstall the installed version of docker and installs
the one coming from the distro which is causing issues for the other projects.

Builds are disabled until the project fixes this issue.

Change-Id: Ibcec9a7d3badf85193bb7115730410bb719949f9
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "[daisy] Retry if download opnfv.bin failed"

Merge "Fix 'copper' in Gerrit Trigger for Security Scan"

Update Pharos Backup Job

Moves the backup location to a directory that Jenkins can write to, and
since this only runs a docker container there is no need to clone any
repositories.

Change-Id: I05b35e5d2d95c7044973d9d0e1a9d7e72c490570
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix 'copper' in Gerrit Trigger for Security Scan

'copper' was incorrectly listed as 'cooper' in the gerrit trigger for
the security scanning job. Fixing this will ensure patchsets against
copper are scanned.

Change-Id: Ie32148647638612b0da2d810c50dd5c0ea078844
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Remove Concurrency From JJB Merge Job

Currently multiple jjb merge jobs can run at once causing a
race-condition which Jenkins exposes as a 401 Unauthorized.

Throttling the number of jobs in total to 1 should prevent this from
happening in the future.

Change-Id: I4c99d9f49db0baf26b3d077354afd2fea93d1740
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Remove falsy ;;

It completes "Create vnf and restapi images-built job for arm" [1]
which introduced a new bug.

[1] https://gerrit.opnfv.org/gerrit/#/c/50465/

Change-Id: I45dcc6db65382eeb3280c719cec72c425164ab2f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Create vnf and restapi images-built job for arm"

Merge "Enable functest-kubernetes docker builds"

[daisy] Retry if download opnfv.bin failed

Download from http://build.opnfv.org/artifacts.opnfv.org may fail [1]
so we need retry to make CI stable.

[1] https://build.opnfv.org/ci/job/daisy-deploy-baremetal-daily-master/374/console

Change-Id: I62837038c7f124870814a68e4b87a8e89ba8c58c
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Create vnf and restapi images-built job for arm

Change-Id: Ife5d1726680db34d5d027cd592510bdd1123a965
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable kubernetes test suite for compass"

Merge "Reduce Basic Job Duplication"

Merge "pharos: check-jinja for installer adapter changes"

Merge "barometer: add aditional docker images to build"

Merge "Update recipient list for arm jobs"

Update recipient list for arm jobs

Change-Id: Ic40f950bfb5505c95a16edb2e71017a9edb87db2
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

barometer: add aditional docker images to build

Change-Id: I7a4567df7fa20f6ee85b1787489645711f1b17ab

[daisy] Enable ovs_dpdk scenarios jobs

Change-Id: I5193285493926fcf82779f12d491a118bc83baa7
Signed-off-by: 00184532 <lu.yao135@zte.com.cn>

pharos: check-jinja for installer adapter changes

check-jinja should also run when the installer adapter templates
are changed, not only for PDF/IDF files.

Change-Id: I3453d8bfe5ef61d30ecc71a01c38e2121c1a09f8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Reduce Basic Job Duplication

In the initial formation of projects we found it easy to copy job
definitions to provide project a baseline job config to work off. This
has led to a lot of duplication and misalignment with the gerrit
triggers and default build server tag to be used.

Collapsing these jobs into a job-group containing the stream and a
verify job per-stream, should help reduce this duplication.

Change-Id: Icb366487590a145be4cbfc0637a8d86a6d9b7cec
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Backup Pharos Dashboard Data"

RFC: Set the basic structure for post merge jobs

This change proposes structure for  post-merge jobs for the
scenarios that are onboarded to XCI.

The idea with these jobs is to verify the sanity of impacted
scenario to find out if the version that is tested should be
promoted to the next level in XCI; daily on baremetal.

If it succeeds, the metadata regarding the scenario needs to
be stored somewhere (artifact repo, etc.) so daily jobs can
poll that location to see if there is any scenario that is
worth testing on baremetal.

If it fails, the scenario could be demoted instead which still
requires further discussion and thinking. We might perhaps leave
the metadata of the version of the scenario with previous sha
as the candidate for testing instead of demoting it since we
need to have working version of the scenarios at all times.

Change-Id: I85d7176b16d0d6da45cd2462b0cdb990485b6b0d
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "[daisy] Adjust the schedule of daisy master jobs"

Merge "add pep8 check task for doctor"

add pep8 check task for doctor

Change-Id: Ibd595748910b143ae3e9373bccf4b4e6b54dd931
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

[daisy] Adjust the schedule of daisy master jobs

Leave more time for ODL debug.

Change-Id: I614a8f8ef088f687f71405365dce6cccaaef741c
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Docker Builds from Git Tag

Facilitates the creation of docker images from tags pushed to Gerrit,
which should remove the need to manually trigger 'tagged' builds.

Fixes a typo in the 'gerrit-trigger-tag-created' macro,
replaces 'RELEASE_VERSION' with 'GERRIT_REFNAME', and adds the
tag-trigger to docker builds.

Change-Id: I6d8f8f34b1c51d74bb98211dfae21c37cf9356fa
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Disable notebook preview job"

Merge "Converting INFO file to Yaml"

Enable functest-kubernetes docker builds

Change-Id: I6326d0c25d673c407a3eda6451d242d2571fdaee
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Merge "add container4nfv job to upload artifacts"

Merge "Use local repository for docker build"

Converting INFO file to Yaml

This is a proposed format for switching the INFO file to a
machine readable format.

Notable changes to the INFO file:

 * Adds Meeting information: time, date, location, agenda, etc.
 * Updates Commiter info to include: Linux Foundation IDs and Timezone

Change-Id: I05aaef36e44978d2abc73f5f18757d91ee6002d0
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Prepare integration of daisy and dovetail"

Disable notebook preview job

- the job does not work for patch with *.ipynb deletion
- qtip has migrated to rst for formula display

Change-Id: I4882f55ac7d9d4430a15c1f0237e0b9d6e223f47
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Use local repository for docker build

Change-Id: I789aa64f0f5443aee5178f98ce36e07f3b786c15

Enable kubernetes test suite for compass

Compass will put admin.conf file in /opt/admin.conf in
compass-tasks container. We need to cp it to $HOME/admin.conf,
then do a volume mapping so that yardstick docker container can
have this file.

Change-Id: I33b9ab4e44e363bd8375805bad7d8e5bf6af97fa
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Use pharos repo in daisy master branch"

Apex: Adds os-odl-bgpvpn-noha to daily

Change-Id: I92b3c2fce51dad5e0e00b836a41af40f845e701e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Get fuel controller ip for HA test cases

The releng module 'deployment' doesn't work for fuel euphrates and master.
Use commands to get one controller ip for HA test cases.

Since the public endpoint url may be v2, reset openstack authentic file for v2

Change-Id: I3c6ec1f0890c93f75ca3c7c9801e05da329ffdae
Signed-off-by: xudan <xudan16@huawei.com>

Use pharos repo in daisy master branch

There are no PDFs in euphrates branch of pharos repo.
Securedlab is still used in euphrates branch. In master branch,
pharos repo will be used.

Change-Id: Ifbdeed26f938025aae56d2d263abf3d8620b31ba
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Bugfix: Lack of DEPLOY_TYPE"

Apex: disable Euphrates daily

Change-Id: I7b10ac19a8844832886e6a54d065ee79dde026d0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Bugfix: Lack of DEPLOY_TYPE

Set the value of DEPLOY_TYPE according to BUILG_TAG

Change-Id: I08e720dc6e049c54e249172503bcbdb7c314dc6d
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: use fuel public endpoint rather than internal one

1. The internal endpoint url of fuel is http.
2. Dovetail won't pass cacert to functest and yardstick containers if it's http.
3. For functest and rally, even if it uses internal url in the openrc file,
   they will still use public one somewhere.
4. Use fuel public endpoint which is https, so all containers will work with
   the cacert.

Change-Id: I3326c8d66bcad44ea81169ce0938cb0e247f498c
Signed-off-by: xudan <xudan16@huawei.com>

Support run dovetail CI jobs on fuel euphrates and master

Change-Id: Iaf64316f8db351dd72f1ec1079953764f797dc3b
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Use Dovetail aarch64 docker image with armband pod"

Merge "Enable dovetail daily jobs on Fuel/armband Euphrates and master"