vswitchperf: Update merge and verify jobs

Update and verify jobs will execute real vsperf TCs,
which won't require a traffic generator. Script
./build-vsperf.sh will take care about creation, update
and activation of python virtual environment. Jobs will
be executed at ubuntu nodes, where python3 is available,
so call of scl is required only for daily job. Update
is backward compatible, i.e. merge and verify jobs
will pass with old version of ./build-vsperf.sh.

JIRA: VSPERF-391

Change-Id: I6cb0e9a1c1bcf315dd0e484f845123ec41c849fc
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

[compass] verify both trusty and centos7

JIRA: COMPASS-494

Change-Id: I05ca3ad22bfb926245ac89a8ef81f832a9b31959
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "Armband: Move lab-config to OPNFV securedlab"

Merge "Add sfc scenarios on ARM"

Armband: cleanup: retire arm-build1

JIRA: ARMBAND-137

Change-Id: Idbbd25449f127867f0eed03144a0e68dfbf91e12
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add sfc scenarios on ARM

Added old l2 sfc scenarios for both ha and noha on master branch
JIRA: ARMBAND-144

Change-Id: Ie28f9f9b32abe82b9f596d5b7d6336e2df425eb4
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Armband: Move lab-config to OPNFV securedlab

This depends on:
- jenkins-enea ssh access to OPNFV gerrit;
- master and stable/colorado securedlab definitions for arm-pod* [1];

[1] https://gerrit.opnfv.org/gerrit/#/c/23159/

JIRA: ARMBAND-149

Change-Id: Ic9a2e232027636694ffd441fe5203cb06975f137
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix macs in inventory

Change-Id: I834155dbd3451b06c2b45299bc64f76992b8e1b2
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>y

Add console password to images

It is useful to have a user/pass to login from console.

Change-Id: I10ca00e80c07f3506710dc3133baf8012f7856ae
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Fix network interface on vm

When spinning on a vm, interface is normally eth1, not eno1.

Change-Id: I2be7a252b06f155908d207817a1c5302bd40677e
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Merge "dovetail tool: unittest added"

Merge "Update JJB Sandbox"

Add apex CI PODs

JIRA: DOVETAIL-32

Change-Id: I00a7a133331da086542c46dc78f7f36d43ff2cf2
Signed-off-by: zshi <zshi@redhat.com>

dovetail tool: unittest added

JIRA: DOVETAIL-14

this should be merged after https://gerrit.opnfv.org/gerrit/#/c/23135/

Change-Id: I9bb341c4c4de454ba9246c435e169d948205d2ba
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Add apex installer support for dovetail CI"

bifrost: Vote on upstream patches

Bifrost core wants OPNFV CI to vote on upstream bifrost patches to
increase the visibility.

Change-Id: Ia4fbdf5fa551750b6063dfb8610b6699039c4fbe
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add apex installer support for dovetail CI

JIRA: DOVETAIL-32

This commit is part of the effort to test dovetail CI
for apex installer, see gerrit review 23065 for the
other part.

Change-Id: I645cc3fc854d27a651b1903936fb66dfe55c28d4
Signed-off-by: zshi <zshi@redhat.com>

Merge "Installer adapters"

implement build.sh of daisy4nfv

Change-Id: Iea673c27d17e10e53f0d6b7ef04ccb9742d51739
Signed-off-by: Jing Sun <sun.jing22@zte.com.cn>

Merge "rename elasticsearch index of kibana_dashboard"

fuel, armband: build, deploy: export TERM="vt220"

Since we do not actually parse our build/deploy logs for color chars,
set the terminal to "vt220".

This will silence quite a few of colorization special identifiers,
but NOT all of them (e.g. `tput sgr0` still prints a sequence).

For Fuel@OPNFV build process, we also need to workaround docker
terminal settings not being passed down when using a tty (see [1]),
which will be fixed in Docker 1.13+. This fix is handled in [2].

[1] https://github.com/docker/docker/issues/9299
[2] https://gerrit.opnfv.org/gerrit/#/c/22883/

Change-Id: I5f0c6eae33349ef81b67dd17e6df4e0af6274fab
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Add d3 graph presentation to yardstick reporting"

Merge "Tune sudo settings on server"

Add d3 graph presentation to yardstick reporting

JIRA: YARDSTICK-367

Change-Id: Ifa2cca1bdfc7d94a84758019d0b1693e09b46e47
Signed-off-by: chenjiankum <chenjiankun1@huawei.com>

rename elasticsearch index of kibana_dashboard

JIRA: FUNCTEST-508

Change-Id: I3c12d76438fd55922ece62aa5ab98cbf03a7facd
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "visualize qpi using kibana_dashboard"

Merge "always config conf.js in kibana_dashboard"

visualize qpi using kibana_dashboard

JIRA: QTIP-122

Change-Id: Ice29c0a841e911b23959c91322331c5a66281be5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Tune sudo settings on server

We need to have passwordless sudo, and not require
a tty.

Change-Id: Iee11cade89a45b49d6b623f07d8ccb76f9e5882d
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Merge "Add export functions to reporting"

always config conf.js in kibana_dashboard

JIRA: FUNCTEST-507

Change-Id: Iad6000ccc94285bd8be03939eb2e83d7f254a887
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "refactor dashboard_construct"

Merge "dovetail: add dovetail tool into daily job"

Merge "fuel: Proposal for specifying scenario name in commit message"

Fix the jenkins jobs

Some of the jobs were programmed at the same time
This fix sets the jobs 8 hours apart

Change-Id: I13463b8a00df67519e2e2b8e333b4c625f1e9d8b
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

fuel: Proposal for specifying scenario name in commit message

Please take a look at fuel-basic-exp.sh for the proposal.

Apart from scenario name input proposal, jobs and script templatest have
been created as well.

Change-Id: I53b74b2e1ed34acb1f54b7ab21823227fff86d10
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

refactor dashboard_construct

JIRA: FUNCTEST-506

Change-Id: Ib80e35140ce4f759749a932ca3b8b49572378d79
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Add export functions to reporting

JIRA: FUNCTEST-486

Change-Id: I84ad52f12097bbc5976c754d28ebc76d49b1eff2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[compass] put huawei-pod2 into CI resource pool"

Merge "separate visualization building from dashboard building"

separate visualization building from dashboard building

JIRA: RELENG-155

Change-Id: I19355898d5dc5ef73fcfe4ebaf4604c4bf1e8f10
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Installer adapters

This tool might be used by any project in OPNFV
to retrieve information about the deployed
OpenStack nodes.
It is python based and using paramiko.

It can:
  - get info about deployment
  - get the info about the nodes (ip, mac, ...)
  - stablish ssh connection even with ProxyCommand option
  - run remote commands
  - scp to/from nodes (i.e. fetch credentials from controller)

Added FuelAdapter as an example.

JIRA: RELENG-149
JIRA: RELENG-150

Change-Id: I49d8be96d754e0950e337aa2f88172341446fdd4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

refactor _verify_document

JIRA: FUNCTEST-505

Change-Id: I284c3e09b295c083300fa8a557bdb8178ded1521
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

[compass] put huawei-pod2 into CI resource pool

Change-Id: I8b8cf515d47e6117bfa5804c15fac22ac8b8d90a
Signed-off-by: meimei <meimei@huawei.com>

dovetail: add dovetail tool into daily job

JIRA: DOVETAIL-14

Change-Id: Ie9a8f8f34b5e4a89d3013d0fc9100a39267a1aed
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Add script to properly install puppet

This will be needed specially on jumphost,
when deploying puppet from scratch.

Change-Id: Ife7d3fff98826ee53edb74585b7cbfc7cad2e0a8
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Add management of /root/.ssh key

It is generally needed to have this file created,
for next manifests to run properly.

Change-Id: I3ca1dd05a44ecdd6bee9abcfd6ba7fa875022ed4
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Merge "Add new hiera with default for baremetal"

Merge "fuel: Specify upstream/opnfv branches separately and use include scripts"

Add new hiera with default for baremetal

Refactor the common.yaml with the settings only for
vms, and create a new common_baremetal file that will
contain all settings needed for baremetal deploys,
with sane defaults.

Change-Id: I5ae3ed6d870086544792cb41f166246a3a153251
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

create nice reporting landing pages

Change-Id: I91f897f7be9112e8abc71069bff2882a75bc40cf
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

fuel: Specify upstream/opnfv branches separately and use include scripts

Due to having this experimental, it is needed to set different branches
for upstream and opnfv until the things settle.

Apart from this, the builders also converted to scripts so we don't need
to touch the job yml if scripts need updates.

Change-Id: I65a334bd6f51b558eb6ce69b15bb18405ef28049
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "fuel: Enable 3rd party CI for fuel plugin onos"

Merge "use template to build Kibana dashboard"

Merge "Add dots in trend line"

Set the jobs 8 hours apart

Modified the cron jobs to be 8 hours apart instead of 4

Change-Id: I670811901c7403f81812b1d51cdbaf46904e878c
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Convert harcoded values to hiera ones

Settings like neutron config and virt type
will be different depending on environments.

Change-Id: I0945025645b40a02f9a13d0699f442d3a949ebb4
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Merge "Fix naming and ips for controller and compute"

Merge "Use fuel tacker plugin"

Merge "Propose Serena Feng as new committer to Releng"

Update JJB Sandbox

- Build status message includes a link back to the sandbox
- The deploy job now includes references to required macros (similar to
  'verify')
- Wrappers are removed by setting 'wrappers' to the empty string. This
  is due to the 'ssh-agent' credentials not being used nor existing on
  the sandbox server.
- Shebang lines have been fixed to remove the space after '#!' causing
  the Java 'Cannot run program' error.
- Jobs are restricted to the 'releng-sandbox' label so they aren't
  triggered on 'master'
- Remove 'utils' directory from triggering builds.
- Sandbox deployment doesn't vote on any builds, this should help should
  the job again somehow run against non-sandbox changes.
- 'releng-clear-sandbox-jobs' replaced with '--delete-old' on update so
  that each patchset submitted will remove any previously deployed jobs.

Change-Id: I4f37dbb0c0becc5760c826950306e9d958a40aaa
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "I will figure out how to add a check for this later"

Fix naming and ips for controller and compute

hostname needs to match manifest, and ips need to match
the provided range.

Change-Id: I059ed9df273f984ac032bd9ded2892e8758c6dab
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Merge "bifrost: Serialize localhost actions during final host deployment"

Use fuel tacker plugin

Require: https://gerrit.opnfv.org/gerrit/#/c/22643/

JIRA: FUEL-205

Change-Id: I0f2969bc3d944e21d416c1c1c729105a0084a4c1
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "[Docker] Propose common directory for the Dockerfile"

jjb: infra: Trigger the Jenkins jobs when the jobs themselves change

Making changes to the Jenkins jobs should trigger the CI to ensure that
our changes did not break anything.

Change-Id: I59e1d45fb82492ff03926cd4273367aca9060c74
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add missing bridge_name parameter"

Add missing dhcp_static_mask value

Change-Id: I1ba1aeea6a9a5a97b592e484b205868811b9f4e9
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Add missing bridge_name parameter

Change-Id: If233efe79fd3058c4ca4ef16abf7f66b1a9c4203
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

jjb: infra: Fix ownership for the cache directory

Fixes the following error when the ${HOME}/.cache permissions are bad:

The directory '/home/jenkins/.cache/pip/http' or its parent directory is
not owned by the current user and the cache has been disabled. Please
check the permissions and owner of that directory. If executing pip with
sudo, you may want sudo's -H flag.

Change-Id: I16310817e1f36bd8086e196ef61ec10c09ad7366
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: Serialize localhost actions during final host deployment

Several tasks in the final playbooks run locally and there is a chance
to encounter race conditions when multiple tasks run in parallel
and all access or modify the same local files. We fix this by splitting
the final steps into multiple plays and serializing those that run
locally.

Change-Id: I38c3465d9c4714d9db772f9ff9e32ec1d4a91db8
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add missing hiera vars for bifrost"

Update build description to display where docker pruning is done

Change-Id: I0a79372de2e5fde36f878f245aaa8fdeb1f51d7d
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Prune docker images periodically from build servers"

Add missing hiera vars for bifrost

Change-Id: I88a9acb221c7c33d12c8d68492551c39a8cb212c
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Add dots in trend line

JIRA: FUNCTEST-483

Change-Id: I014faccf9358fff5c47d4be6f4d8f55fd7133691
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

I will figure out how to add a check for this later

Change-Id: I52b2c9f8bcc56f69d6479b85dc6210665e27b26b
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "dovetail: chown for output results file"

dovetail: chown for output results file

JIRA: DOVETAIL-14

Change-Id: I5953a8368503329aa668f7ae27ed2a816e562f54
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Set the wait_timeout variable to the deployment script

There is no point in us keeping our own copy of the upstream
bifrost-prepare-for-test-dynamic playbook just for overriding
the wait_timeout variable. Delete the duplicate role and move the
variable definition to the deployment script instead.

Change-Id: Ib8066fefe80e9a3190d878eb5dba7b8d86a85e07
Signed-off-by: Markos Chandras <mchandras@suse.de>

use template to build Kibana dashboard

JIRA: FUNCTEST-502

Change-Id: Iac9cc762cff3585e76d2861524e831eb0dc5e773
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "use template to build Kibana visualization"

Prune docker images periodically from build servers

Change-Id: Id8712f5993fd15029fd833c9cf4e3000c940e84e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Rework Jenkins Sandbox

- Instead of using 'sandbox' branch, use a seperate jjb tree.
- Jobs under 'jjb-sandbox' are uploaded to the sandbox server, and can
  be re-uploaded with a 'redeploy' comment.
- All jobs, with the exception of the releng sandbox jobs, on the
  sandbox server are removed once a week.

JIRA: RELENG-91

Change-Id: Idfaf33b547158280378ecc63aa41db1b806f4c5f
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

bug fix add forgotten folder

Change-Id: I04f663e5c375d4555bcfc2fa2e70c00f7da5fd91
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

[Docker] Propose common directory for the Dockerfile

Proposal 3 from this wiki:
https://wiki.opnfv.org/display/INF/Docker+handling+in+CI#DockerhandlinginCI-3Dockerfilelocation

JIRA: RELENG-148

Change-Id: I0d44831feed30bd74ddda92aca262a414a4baee0
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Add a trend line to Functest reporting And use d3js lib rather than static images"

Add a trend line to Functest reporting
And use d3js lib rather than static images

JIRA: FUNCTEST-483

Change-Id: I3c372a8e18fc366dfe510ab551596640fb6d9242
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

fuel: Enable 3rd party CI for fuel plugin onos

This change creates a job that gets triggered when a new patch is sent
to upstream OpenStack Gerrit project openstack/fuel-plugin-onos, running
2 jobs fuel-verify-plugin-build-master and fuel-verify-plugin-test-master.
Jobs do nothing at the moment and they don't vote to OpenStack Gerrit.

Change-Id: I5a935dbdedb795b0916a2759286d261431aa225d
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Adapt docker commands to version 1.12.1

Change-Id: If99c135537750779c037bc4f47732a894da91a7b
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

use template to build Kibana visualization

JIRA: FUNCTEST-500

Change-Id: I08a9c853e8ba7449c016b2ba34268f6373dd365d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "dovetail: branch download amend"

dovetail: branch download amend

JIRA: DOVETAIL-14

Change-Id: I67759e28eb53cc648499e259f4179c409b4cf10d
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

fuel: Fix upstream fuel-plugin-bgpvpn repo config

Change-Id: I43eb2fee806ca50a7954b7fc20d661413a57a5b6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

sfqm: Fix wrong branch name

Change-Id: I4eac95f652d9e0a671243878de931efa71308d16
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel: Enable 3rd party CI for fuel plugin bgpvpn

This change creates a job that gets triggered when a new patch is sent
to upstream OpenStack Gerrit project openstack/fuel-plugin-bgpvpn,
running 2 jobs fuel-verify-plugin-build-master and fuel-verify-plugin-test-master.

Jobs do nothing at the moment and they don't vote to OpenStack Gerrit.

Change-Id: I477db5d44cb549e82bae0b8610f01c4dd60445d2
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "no more output elastic docs to stdout/console"

Merge "only get specific docs when checking the existed ones in elasticsearch"

no more output elastic docs to stdout/console

JIRA: FUNCTEST-499

Change-Id: I1a78f4dbdd93cc417596a7ef06c2acc3ddc57574
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>