Add K8s Yardstick daily job for arm64

Add k8s Yardstick daily job for arm64 based on compass4nfv for arm64,
which would be triggered after the k8s deployment on arm64.

Change-Id: Ic928ce4bf0c32060a74a434b6bb3e9d9848f3e32
Signed-off-by: trevortao <trevor.tao@arm.com>

Merge "[Dovetail CI] change dovetail CI jobs on Compass"

[Dovetail CI] change dovetail CI jobs on Compass

1. run default test suite on Compass on Monday and Tuesday for scenario
   'os-nosdn-nofeature-ha' and 'os-odl_l3-nofeature-ha'
2. run test suite 'proposed_tests' on Compass on Thursday and Friday for
   scenario 'os-nosdn-nofeature-ha' and 'os-odl_l3-nofeature-ha'

JIRA: DOVETAIL-612

Change-Id: I027ca278eb63bdc6842a9494b676cdab8d2d25bf
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Ansible for build server"

Ansible for build server

Tests are working, switch to running on
lf-build1 and lf-build2 when triggered.

Change-Id: I1d3be9a84452cc3d6cd7097474bcc4dca0f70c6d
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "[Compass4NFV] Add blocking jobs"

Merge "vswitchperf: python version change"

Merge "[arm-build] prune-docker-images on all builders"

Add -y to for non-interactive ansible install

Change-Id: I2ab00b3b6aadf9efc5bac72fcdcd9941f12f8bc9
Signed-off-by: agardner <agardner@linuxfoundation.org>

[arm-build] prune-docker-images on all builders

Prune dangling references on all arm-build* hosts.
Remove arm-build2 as it will be retired.

Change-Id: Ib425b3ef8021fa74d5942609093234cad35c0644
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "missing sudo for ansible install"

missing sudo for ansible install

Change-Id: I6d7ab7746c75a8d33a27de3bf534b02cbc87e8ae
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Job for ansible to setup build servers."

Job for ansible to setup build servers.

set noop for now.
  -C, --check           don't make any changes; instead, try to predict
some
                        of the changes that may occur
  -D, --diff            when changing (small) files and templates, show
the
                        differences in those files; works great with
--check

Change-Id: I723fcf1b068b8ef73a0994be90271cb1cdd51ecb
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Apex: Cleanup slave/slave-label configuration"

Apex: Cleanup slave/slave-label configuration

Changes Include:
 - Remove defining 'node:' per job template and use slave-params
   defaults
 - Gate job was using daily/build slave, when it should be using virtual
   slave

Change-Id: Iec2321801daef1b1fa40724a244bf2f6edf36c6e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "fix sed command in macros"

jjb: xci: bifrost-verify.sh: Respect bifrost test failures

Make sure that failures during bifrost deployments are being
reported properly on Jenkins.

Change-Id: I333d27147caf7598665157c703907572e48041c0
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Get Daisy IP correctly"

Apex: remove setting node in slave-params

We only want to specify slave-label, not sure why we are specifyign node
here and in jjb for Apex.

Change-Id: I184df37836039887f47e7d6141c89f8dd9cd014f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Fixes scheduling with apex verify

apex-verify job calls apex-virtual to deploy and run functest.  Apex has
2 virtual slaves attached to the apex-virtual-master label.  When 2
verify jobs are triggered at the same time, apex-verify job is scheduled
on each slave correctly.  However, when the mulitjob triggers
apex-virtual jobs, it only schedules both of them to a single slave.

This happens even though apex-virtual job has the same slave label and
node parameters are not passed from verify job.  This patch changes the
node to be passed to apex-virtual from apex-verify.  That way 2 nodes
will be scheduled on, but this is still not ideal scheduling as more
than 1 verify can run per node (but not more than one virtual job).

Change-Id: I155351c9037f70df2c5dba11bb5592423849e760
Signed-off-by: Tim Rozet <trozet@redhat.com>

vswitchperf: python version change

In order to execute VSPERF CI job, the SCL with python3 must
be enabled. Recently SCL command was changed to enable python3.4.

Change-Id: I4cf34ff28db2c789f4bc13116ed2d5d95eb81990
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
Reviewed-by: Christian Trautman <ctrautma@redhat.com>

fix sed command in macros

The char "/" was included in $msg.
It will have issue

"sed: -e expression #1, char 7: unknown option to `s'"

We can substitute '/' with '#' in sed command to solve this issue

Signed-off-by: wutianwei <wutianwei1@huawei.com>
Change-Id: I1308e9b1b2111f0033df119e4465df4dda27eac0

xci: Disable voting for CentOS jobs

CentOS jobs started failing which requires troubleshooting.
In order not to block things, the voting is disabled for CentOS jobs.

Change-Id: Idc14b00cf09f0ee75bac17e993dc9f7724a1ad88
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Get Daisy IP correctly

In [1], there are two IP addresses of daisy VM in the arp table.
Select the first one.

[1]: https://build.opnfv.org/ci/job/functest-daisy-zte-pod9-daily-master/2/

Change-Id: Ic071d718004bf9ed215b7e53c56568f7f018051a
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

[Compass4NFV] Add blocking jobs

Compas4nfv support k8s and openstack.
The blocking jobs need include the k8s.

Change-Id: I517064df660266463050f7d3820bf5c405c8c222
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Revert the unix permission of yaml file"

Merge "fix the issue of docker command to collect logs"

Ansible Playbook to install build server deps

This playbook has been tested in centos and ubuntu
on Arm and x86_64

first:
install ansible
then:
ansible-playbook -i inventory.ini main.yml

What it does:
installs on centos or ubuntu arm or x86_64

installs system deps with the package manager.
and python libs with pip.

installs docker
https://download.docker.com

installs docker-compose from distribution repo

Change-Id: I3853cd04d0e6c7270ea068b9e1fba1a240a0652e
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Set TEST_DB_URL in env"

Revert the unix permission of yaml file

Change-Id: I99da14477ab785475e425475fedca90a69eed8eb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

fix the issue of docker command to collect logs

Change-Id: If5569d01012b0f94976d26dfb4cd81692a40c83d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix functest daily job

Change-Id: Ia9bc336d43fe9ed47368f9aada0c6d9244a71683
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "disable the opera"

Fix functest daily job

Change-Id: Icbdbe5a44660f498503ac84b323fd2a140ec3bbe
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Set TEST_DB_URL in env

It follows the change "Move push_results_to_db to TestCase" [1] which
stopped duplicating TEST_DB_URL in config and in env.

[1] https://gerrit.opnfv.org/gerrit/#/c/49757/

Change-Id: If860492c40b1d0ed4082a4dbe385686020697f37
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set the lint job shell to /bin/bash

The default builder in Jenkins is '/bin/sh -ex'. Because of this lint
jobs are failing that we assume won't as everywhere else we've used
/bin/bash and explitily set options when needed.

Explicitly setting these jobs to use /bin/bash should keep Jenkins from
failing builds without reporting the lint results.

Change-Id: Ibe6cad979d6dcf30e7991873c9ac446ae3bf3a8b
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "[daisy] Run functest daily jobs on zte-pod9"

Merge "[Functest] Run k8s tests on Compass"

Merge "[pharos] Lint all code, including py"

Merge "Keep creds file name unchanged in Euphrates"

Merge "Delete Fuel Euphrates CI job on zte-pod1"

Delete Fuel Euphrates CI job on zte-pod1

Delete Fuel Euphrates CI job on zte-pod1

Change-Id: I93d5ed7b8aa40715fe8e7541d810ab0ee9a89f28
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Keep creds file name unchanged in Euphrates

Change-Id: I216d1877cba73272bbb37bf84c74dbf77dc2952d
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "[Compass] Set the verify timeout to 360"

Merge "container4nfv: add arm64 test scenarios"

Turn on voting for check-jinja2

Check jinja voting will keep bad configs out of our currently
pristine repo.

Also, Alex's schema valiadator is now running.

Change-Id: I12f38127b82583ef9cb2cc47ef4cfc5a8d051b87
Signed-off-by: agardner <agardner@linuxfoundation.org>

[pharos] Lint all code, including py

Change-Id: I3be5a3b6a0b7752f2b13df30944fca7645ee664d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[Functest] Run k8s tests on Compass

Change-Id: I8e88ab0598f43be8d0c9c4ad199dba91c1561f13
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Rename a common credential file

Change-Id: Ib97cee06438d4ac240c55b0b504338f435a68259
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "xci: Enable voting for CentOS jobs"

Merge "subscribe mongodb_backup job"

container4nfv: add arm64 test scenarios

Change-Id: I2a91409fb3a650e9d9cacd3f6ffe4b17bc394950
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

[Compass] Set the verify timeout to 360

Change-Id: I39ed2ff1baedf5521f2fe1448350c0c91b1c4f61
Signed-off-by: wutianwei <wutianwei1@huawei.com>

xci: Enable voting for CentOS jobs

CentOS is now supported by os-nosdn-nofeature scenario and it is
time to enable voting for it. For scenarios that do not support
CentOS yet, the jobs will skip running real stuff by exit 0 in
order not to fail the patch.

Change-Id: I86c9e1bb4d66ea84ccfc864186a7ca7c696f8663
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "[Compass4nfv] collect the logs and upload to artifact"

Merge "adding pike support during installation."

subscribe mongodb_backup job

Change-Id: I41aef4c9df47a076f8245cc1b466ff4297de0ae8
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

[Compass4nfv] collect the logs and upload to artifact

JIRA: COMPASS-579
Add a job to collect log and upload. what the job do
1. run collect-log.sh to get log from rsyslog container
2. copy log.tar.gz from compass-tasks to jumphost
3. upload the log.tar.gz to artifact

Change-Id: Ic2244e33e7ae4b7aa71e15af741191c850982053
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Pull the image before running functest container"

Merge "[fuel] Retire 'BRIDGE' slave param"

Pull the image before running functest container

Change-Id: Iebd8a9b558486927c25735d266d3557f91e26a15
Signed-off-by: Linda Wang <wangwulin@huawei.com>

[fuel] Retire 'virtual_kvm' override

Now that vPDF support landed in Pharos and Fuel repos, disable the
'virtual_kvm' generic override, so we can load POD-specific PDF/IDF.

JIRA: FUEL-322

Change-Id: I0964220a25d6fe30afcbeb3ad1f020ae76d38e5a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Set lint jobs to run concurrent

Liniting is broken, last fix forgot to run linting concurrent

FATAL: The project is configured to NOT run builds concurrent, but the
node parameter [SLAVE_NAME] is configured to trigger new builds
concurrent!

Change-Id: I1eb4bf7279c7af4e01950b89c515e183fbc57b2d
Signed-off-by: agardner <agardner@linuxfoundation.org>

Linting should be done on a build server, not on master

Linting was broken by this patch
https://gerrit.opnfv.org/gerrit/#/c/50737/

Also added sudo to pip installs, as they are not in a venv

Patch forgot to put linting on build server
so it defaulted to master.

Change-Id: Iba8c1f633fad6d5f3d097f4911f45100c3b43e30
Signed-off-by: agardner <agardner@linuxfoundation.org>

[daisy] Run functest daily jobs on zte-pod9

Change-Id: Ib61cb40b04eed23ad276f261645d83ce7cf00629
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Fix typo in lint-init

Change-Id: I310c4f2e46a26b35eeafef2dfc8670d70ace0575
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "add 'lint-all-code' as wrapper of lint builders"

Merge "fix yamllint config file"

[fuel] Retire 'BRIDGE' slave param

Only Danube still uses this param, newer branches rely on IDF.
Going forward, the `-B` deploy arg will be deprecated in Fuel.

Do not yet remove BRIDGE slave params from non-CI PODs, as
other installers (or custom Danube jobs?) might still use them.

Change-Id: I6d259299d1e13e8a5da732aca60b1f56b8472af6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[fuel] deploy: Stop using securedlab for master"

Merge "Pharos Dashboard: Deploy once config is in place"

Merge "[doctor] fix node-label setting"

xci: Run functest as part of xci-merge jobs

This is yet another messy work to get functest run for xci
as part of merge jobs.

The script is removed from xci-verify jobs in order not to
block patches by -1ing them.

Change-Id: I57254bcfbada7a51da89aba0e7a88f907eb9a525
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add schema valiadator to jinja checker

Alex has extended the jinja checker to valiate the schema
uses jsonschema

Next step is to enable voting on this job.

Change-Id: I3c61eb3addbb3d41093ada486bf9d8b191fb2028
Signed-off-by: agardner <agardner@linuxfoundation.org>

[fuel] deploy: Stop using securedlab for master

Instead of cloning securedlab locally and passing it to Fuel deploy
script, rely on Pharos git repo, embedded as a git submodule in Fuel.

Keep old behavior (using securedlab) for stable/{danube,euphrates}.

Depends-on: Ib04e4fb384568a6efd9e78a080857b663521ae88

Change-Id: Ie30879292ae04b641257760de69c900a9eb4ef84
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

add 'lint-all-code' as wrapper of lint builders

OPNFV has common coding style [1]. So, all repos shall be checked by
one generic checker builder/job, eventually.

This patch adds lint wrapper builder 'lint-all-code', and also
refactors all exisiting lint and syntax check builders, following
'lint-yaml-code' builder approach, which only checks modified files.
This approach is nice as it won't require immediate fixes of violations
in whole repo code right after the lint checker job is enabled.

Note that lint jobs are still configured to run against some project
repo, in order to seperate discussion; wheter we should apply this
lint job to all OPNFV repo or not immediately.

[1] https://wiki.opnfv.org/display/DEV/Contribution+Guidelines

Change-Id: Ib4ab3ba5dc08845f3016b8be772f4ed119f11b2d
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

[doctor] fix node-label setting

Current doctor verify jobs need to be run on relevant pods which are
specified by slave-label. But, after multijob introduced, the parameter
is not passed to children jobs. Also, 'phase' of project is misleading,
as it isn't multijob's phase.

This patch makes sure each doctor job run on correct pod by updating
node label rule for doctor pod to 'doctor-{installer}-{arch}'.

This patch also merges doctor slave parameter definitions into one,
and deletes unnecessary setting where default are set.

Change-Id: Ic9bf218ae7fb4f9866b510efd1e0ccd19277b78e
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

fix yamllint config file

pick from https://gerrit.opnfv.org/gerrit/#/c/50737

Change-Id: If5b83c656f33af1740df194ba826b6a31ac10355
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Add GERRIT_REFSPEC to 'project-parameter' Macro"

Merge "[daisy] Skip signing kolla images"

Merge "Add lf-pod4 and lf-pod5 to slave params"

Output version before Docker builds

Its helpful to know which version of docker is being used to build a
project when debugging build failures.

Change-Id: I2bb9c5386d1d69e61c4477913f5f0162acd0c47d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Disable Interactivity for and enable Pharos Backup"

Add GERRIT_REFSPEC to 'project-parameter' Macro

GERRIT_REFSPEC is always passed by the gerrit-trigger plugin when a job
is triggered by Gerrit. Because it is not explicily defined, there is no
way to manually trigger jobs, as the git clone looks up the list of refs
by GERRIT_REFSPEC.

Being able to manually trigger jobs (with node parameters so they can be
restricted) is very helpful in debugging CI issues.

Change-Id: I8a1d9ea380902fc95f30482e5acb616347709ab1
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "docker: update name and dockerfile location for barometer collectd image.         change build directory to fix build's copy errors "

xci: Skip jobs if the scenario is not supported on a distro

Change-Id: I22d2327558ee1d19d04775da6abf1b3eed5b357a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Do not clone and checkout scenario repo if it is releng-xci

Change-Id: I48cdbfbd5b7746e75565d318616e9c580b5ba156
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Clone releng-xci repo for phase jobs as well

Forgotten to fix phase jobs.

Change-Id: I50c525089d6d3b4f28650ad78b8810817aaf150e
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Clone the repo and checkout the patch for testing

Change-Id: Ie1c2f76b6043133c3821272040b1a2a38de29035
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Always clone releng-xci into WORKSPACE for merge jobs

The cloning of the correct version of the repo which the scenario
resides in will be handled by get-opnfv-scenario-requirements.yml
for all the scenarios.

The change proposed for merge jobs will be reflected to verify jobs
as well once it is verified with this.

Change-Id: Icaa99a8b9e981c839969ce556e5af6a9ef6d9da8
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci sfc: Enable post merge deployment

This change enables the deployment upon merge of a change.
Followup patches will incorporate functest smoke and promotion
which the promotion will most likely be the first one as functest
parts are a bit tricky due to failures while running testing
in VMs.

Apart from the enablement of the deployments, job concurrency is
disabled as well since we should only test one change at a time
and attempt promotion for any scenario in order to ensure we keep
the promotion consistent.

Change-Id: Ib4b5754b6b88f42eab83c656e03773c83068016f
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Convert execute shell scripts to external scripts

The scripts used by verify jobs to create VMs, start deployments,
run functest, and do cleanup for CI can be reused by other jobs as
well so they are moved out of the yaml file.

Apart from that, if we decide to change the way we run CI (not
using VMs for performance reasons), we don't have to make big changes
to yaml either.

Change-Id: I2df1f2d60f999bcd7d53a5cd879112a5b2b0ca05
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "RFC: Set the basic structure for post merge jobs"

Merge "Disable the triggers for euphrates in armband"

Disable the triggers for euphrates in armband

Change-Id: I738b4eb712bc85ee3327a9be55f4990000ff28c8
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[daisy] delete tmp dir with sudo

Permission denied occured in [1].

[1]: https://build.opnfv.org/ci/job/daisy-deploy-zte-pod9-daily-master/7/console

Change-Id: Ic7e67eed8a121cae0ea2c05ab4cc9005358fcda5
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Pharos Dashboard: Deploy once config is in place

Since configuration has shifted out of the docker-compose.yml file and
the workspace gets recreated ever job, the config.env file needs to be
copied into place before each deployment.

JIRA: PHAROS-316

Change-Id: I8c80f1148ad268428defa2f7eb1877d821a11491
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Create job to deploy Pharos Dashboard"

Add lf-pod4 and lf-pod5 to slave params

Change-Id: I3ca61f015c07cbf3bd67acd7972d9a1e0011f21d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>