bottlenecks: rewrite bottlenecks jobs into parent/son for supporting of different installers and branch

JIRA: BOTTLENECK-1

Change-Id: Ia8d7a3103c74aadb03529e71d2128eca8870fa40
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bugfix: fix the verify job

Change-Id: I9dfb91a4b3d6596675dfcd703cfd024a0428543c
Signed-off-by: meimei <meimei@huawei.com>

compass-bugfix: fetch os creds from host1-5

Change-Id: I9acce6f1dabb5186375894cdcdc83b392e9d872e
Signed-off-by: meimei <meimei@huawei.com>

yardstick: remove fetch_os_creds builder

It is not needed any more since we have docker containers, and the
script is called within the docker. No need to have the
credentials in the jumphost.

Change-Id: I81645edc9b8f4d6cba0270bcca9b5731fe0aa2bc
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "test: fix output redirection if when CI_DEBUG"

Merge "apex: unblock bm when daily is triggering it"

apex: unblock bm when daily is triggering it

Change-Id: I50f2258bb0f5a3f8c255eb97a0685868dccd4011
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: fixes jjb for rpm building

Change-Id: I4e2b81a3705fa095e1a5eef320317668ec001a20
Signed-off-by: Tim Rozet <trozet@redhat.com>

test: fix output redirection if when CI_DEBUG

Change-Id: I200bd37d05110b4352439c799c61f18d32523ee6
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

jjb: Trying to see whether job updates are reflected to Jenkins

Change-Id: Ibe58c5c2abd97bc21d46834164da7df310c32af1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "test: add CI_DEBUG parameter"

Revert "fuel: Set friendly display name for OPNFV Platform CI jobs"

The jobs for virtual deployments end up same on project views on jenkins.
Further thinking is needed.

We might need to skip this for the timebeing due to other pressing issues.

This reverts commit 12a09216ad69c213c355e523e93cad118e55bfd4.

Change-Id: I37aec8db9eaebc721b2350e765e032816861622d

Merge "fuel: Set friendly display name for OPNFV Platform CI jobs"

test: add CI_DEBUG parameter

This way, we can avoid showing all the ugly output
that some docker commands show

Change-Id: If4f11c768227e015f3d846b80b09fccd30b21f7c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

functest: results dir docker volume bugfix

This fixes this error:
line 25: =-v /home/jenkins-ci/opnfv/functest/reports:/home/opnfv/functest/results: No such file or directory

Change-Id: I6b196ba47f42a54854ba11bc29c61b73c017b1a8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

fuel: Set friendly display name for OPNFV Platform CI jobs

In order to make job names healthy for the eyes, Set fuel multijob
display names to "fuel {scenario}" and exclude POD, loop and branch
names from display names since they are/can be displayed on Jenkins View.

Change-Id: I638f2f3cd03f975b51affa37758cefc723efdb60
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "functest: add DEPLOY_SCENARIO env var to functest docker"

compass: Align scenario short names between installers

The fields in scenario short name is
    os-[controller]-[feature]-[mode](-[optionalparameter])

The change in scenario naming requires adjustment in jenkins job names
as well in order to have full alignment on CI.

The details of scenario naming scheme has been discussed during daily
standup on 2016-01-13.

You can read more details regarding scenario and job naming on
https://wiki.opnfv.org/brahmaputra_testing_page#scenario_and_jenkins_job_naming_scheme

fuel and joid switched to this type of scenario and job naming already.

Change-Id: Ia9246ac7ce8db054c1cb73381f83387ecd1dce66
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

functest: add DEPLOY_SCENARIO env var to functest docker

Change-Id: I142b534274d03bdad38775c889f07e53ee597c91
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

fuel: Enable build blocker for CI jobs

Prevent starting more than 1 deploy job on same pod.

Change-Id: Ia8c3081bb5154b9ff92a58b58e0391b017ac5276
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

yardstick ci bugfixes

Change-Id: I5db36005f5e5aaa5b219c381db48b3ec33a0994f
JIRA:-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

joid: Remove disabled from the job configuration of CI jobs

There seems to be a bug in Jenkins Job Builder related to Multijob
Plugin causing jobs to be disabled if the job config contains disabled key.

Change-Id: Ic2e6ccc99cbeca965d01911a1dfb3f7a0ddcd04c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update yardstick db parameters

Change-Id: Ia720a6cffa279d3621c33dfb6eafa95df9bdc0e2
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

joid: add juniper pod1

Change-Id: I9ff2fe3e8204d2561de140dc42a5cdb68638b3d0
Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

joid: Enable build blocker for CI jobs

Prevent starting more than 1 parent or deploy job on same pod.
Fix the bug causing the jobs to be disabled.

Change-Id: I515aa9977fc577b6ed95719668ef414ddf9b7fb0
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "added the public network ips default for intel pod5 and pod6. Modified as per comment from Julien."

apex: fixes branch trigger for gerrit on verify

Change-Id: I997fbe5f6957919ae53e21793e2dfa8a83145466
Signed-off-by: Tim Rozet <trozet@redhat.com>

added the public network ips default for intel pod5 and pod6.
Modified as per comment from Julien.

Change-Id: Ic6727a45d7ed274b6205fcd6a0fc510af622a382
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

apex: Fixes duplicate ARTIFACT_VERSION param

Change-Id: I789b041152dfe2aa0cfed6ca29fa1bced6253f2b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "apex: adds brahmaputra and moves daily to use baremetal"

apex: adds brahmaputra and moves daily to use baremetal

Changes include:
 - Extra slash fixed in GS_URL
 - "brahmaputra.1.rc0" now used as the brahmaputra artifact version

Change-Id: I0b248d149f166ab174bb8b08ffb25e38c42a9457
Signed-off-by: Tim Rozet <trozet@redhat.com>

fuel: Align scenario short names between installers

The fields in scenario short name is agreed between joid and fuel as below.

    os-[controller]-[feature]-[mode](-[optionalparameter])

Change-Id: I3adcd5fae2cf461c39bb84e91c7962fc413c15bd
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Adapted include-raw with colons

Change-Id: I58511a1a4472742c2941c31964987dc984a2ee71
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bug fix for qtip-run-suite builder in QTIP JJB

qtip-run-suite builder had "#!/bin/basih" instead of "#!/bin/bash"

Change-Id: I6d4a01d6ea74facfb1acfd358745d1ef5b34ce86
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

fuel: Disable use of local ISO and trigger of merge virtual deploy jobs

Scenario and POD descriptions impact virtual deployments and need adjustments.
Merge virtual deploy triggers have been disabled in order not to give incorrect
feedback to people.

Change-Id: I93aef5e029f64b74cf13ad82742b080a18d28da4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "apex: change public network name to 'external'"

Merge "apex, yardstick: integrate yardstick into apex"

test: add --no-cache flag when building docker images

Now in the right place

Change-Id: I3b42c51775d57561d530b3407752433c48253dc4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "test: add --no-cache flag when building docker images"

apex, yardstick: integrate yardstick into apex

Creating job for apex to attempt to run yardstick on LFPOD1

Change-Id: Ie9eb8edb39ce9152fc5335a3d57c24b6492d07d8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add joid and apex to yardstick CI"

test: add --no-cache flag when building docker images

Sometimes, if the docker leftovers are not properly removed,
there is some cache that the build uses. This will force to
build from scratch without using any existing image (no cache)

Change-Id: Ifb19b2fc01da938cf46eb18d62a5877cf0a560e5
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

joid: Add scenario selector for different sdn controllers + default releng triggers

Change-Id: I21854444d997bba876e711433c1b2132cde61c7c
Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

Add joid and apex to yardstick CI

Apex and Joid setup copied from functest.

Change-Id: I8543f1e04eea79550f01dfc23e3123b9be6731ca
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Merge "test: Remove escape characters from docker job"

test: Remove escape characters from docker job

Fetching the branch name is now fixed too.

Change-Id: Ib83afb4f938890285ab861634eb8fef654a10d76
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

apex: change public network name to 'external'

Although this environment variable is not used in Functest,
to be consistent with the names, Apex creates by default a
public network called 'external'.

Change-Id: Ie33b116beafc1257c5c26b416cdb76c463553e2d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bug fixes for QTIP Jenkins Job

Bugs in qtip-cleanup and qtip-run-suite builders.
Spaces removed in qtip-cleanup builder to ensure
variables take the given values.
container_id again redeclared and echoed in
qtip-run-suite for debugging.

Change-Id: I608001fbc91d34870debe2cd620d9a5e19e82dd6
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Merge "test: Set build name of test jobs to DEPLOY_SCENARIO"

test: Set build name of test jobs to DEPLOY_SCENARIO

DEPLOY_SCENARIO will be set to os-[controller]-[nfv_feature]-[mode]-[extra]
The fields could be
- controller: (nosdn|odl|onos|ocl)
- nfv_feature: (none|kvm|ovs)
- mode: (ha|noha)
- extra: installer specific field to use when needed or none

Change-Id: I9ef66833c41e3ef24ea4a7195fb8b20302021543
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

functest: Enable verify jobs for brahmaputra branch

Change-Id: I75707f3bc895cde271a76ea78aea13937caa8eca
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

jjb: Cleanup outdated and example jobs

Genesis jobs are only commented out. The directory can totally be
removed once brahmaputra is released.

Change-Id: Ide6baace0fb3c06f328022fb3d874ba6d49f17e9
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "docs: fix ODT document creation"

fuel: Enable all available scenarios for brahmaputra branch

This change
- Enables all available scenarios for stable/brahmaputra branch on LF POD2
and Ericsson POD1.
- Enables new node type, virtual, which is able to run available scenarios.
- Adjusts build blocker for multijob projects.
- Skips cloning of fuel repo for multijob projects.
- Enables os_odl-l2_ha auto trigger for LF POD2, Ericsson POD1, and Ericsson
POD2.
- Enables the use of an already downloaded ISO if the ISO was previously
downloaded to jumphost to speed up deployment.
- Adds a generic job for fuel for easier CI development/troubleshooting which
is kept disabled by default.
- Removes SDN_CONTROLLER parameter.

Change-Id: Icf26241216522b58db6908623a77405cdaac2ba2
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Update deprecated pollscm usage"

Update deprecated pollscm usage

The syntax "pollscm: '@midnight'" is deprecated and should be updated to
using the new syntax:

    - pollscm:
       cron: '@midnight'

Change-Id: Id11d301dfee4d183ee40f2342528c4258f36034f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

test: Fix dockerfile path

Change-Id: Ica1cadc79ee6fd7ff96d66b3f4fb798098fad452
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

docs: fix ODT document creation

The command 'pandoc' has to be execute in the document folder,
otherwise file path in tex can work.

JIRA: RELENG-16

Change-Id: Ia054f6354dceb386805b21721a6736a446980d71
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Redirect job output to file and archive them"

Merge "Add sphinx extensions"

Add sphinx extensions

This change adds following sphinx extensions:
- sphinx.ext.autodoc
- sphinx.ext.viewcode
- sphinx.ext.napoleon

JIRA: -

Change-Id: I97d8ead38fd8e83b98f5083d0e24dd1a084014c9
Signed-off-by: Ana C <ana.cunha@ericsson.com>

bottlenecks: disable time trigger in order not to run parallel and open B branch

JIRA: BOTTLENECK-1

Change-Id: I19a917f090289233a8c7d61f3a25569dadad1972
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "set current-parameters with false - compass use build node to trigger the daily-multi-job - run phase job(deploy+test) in specific pod"

Merge "enable onos in joid deployment"

Merge "support ODT format creation in docs-build.sh"

set current-parameters with false
- compass use build node to trigger the daily-multi-job
- run phase job(deploy+test) in specific pod

Change-Id: I9e5c25e31452a0f8f95f4e4d84c90f5640568c28
Signed-off-by: meimei <meimei@huawei.com>

enable onos in joid deployment

Change-Id: Ic05366cd730fea7edfcf6aa4c993399ffdc54a38
Signed-off-by: meimei <meimei@huawei.com>

Merge "add two test cases: VSTF tu1 and tu3"

Merge "enable onos in joid deployment"

Fuel: Enable build blocker for brahmaputra job

Change-Id: Ib809840ec4b89b8feaab6b0910c3fff9593a7ba9
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Fuel: Enable build blocker to make sure jobs don't start on same POD

Change-Id: I9d9ae97cdd98003dcd1d6470a01f90f3af2f584e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Fuel: Enable the jobs for newly added scenarios

Change-Id: Id587f14e6b3bee67558b46b3ea0e262461fbef3e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Fuel: Switch to new scenario/pod descriptions and enable 7 scenarios

This change
- enables 7 scenarios by creating jobs for them: os_ha, os_odl-l2_ha,
os_odl-l3_ha, os_onos_ha, os_kvm_ha, os_ovs_ha, os_kvm_ovs_ha.
- enables the use of new scenario descriptions
- enables the use of new pod descriptions

Please note that
- all of the above is only valid for Ericsson POD2.
- no triggers have been defined as of yet. Jobs will manually be triggered
in the beginning for CI development purposes.

Apart from this, new jjb file and shell script have been created
temporarily in order not to break brahmaputra deployments. These
files will be merged once the fuel changes are cherry-picked to
brahmaputra branch.

Change-Id: I86479bde24aaaab415ca669aa55d706ba06e7fe4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Redirect job output to file and archive them

Change-Id: I9f23d0a191de68811062c803d7ec85d05ecd679d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "run docker in sudo mode to pass key for apex"

Merge "Enable test projects' docker image builds for stable/brahmaputra branch"

run docker in sudo mode to pass key for apex

Change-Id: I88fdcb014a11dd1a78a4dec1b28dcfff07970cfe
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

qtip: Fix hashbang in qtip builders and adjust indentation

Change-Id: I69f83a7a639e68c768f932256be823f54b801e1e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel: Enable usage of new scenario description

Change-Id: Id61ddc6a2dae9378e2517174006ab1836a45114d
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

joid: Add external network creation

Change-Id: I72a902b9de735d9962de1f83b81ada9aa1848783
Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

add two test cases: VSTF tu1 and tu3

JIRA: BOTTLENECK-29

Change-Id: I08b531037f28bfab41dedf9d487abb1896da130a
Signed-off-by: Yiting.Li <liyiting@huawei.com>

joid: Rollback to include-raw for included scripts

Change-Id: I6b6390c59f158add471071a656edfef7899ff909
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

joid: Set CEPH_DISKS_CONTROLLERS if unset

Change-Id: I10d3d5853fda963adab1d3359b3415501b09a364
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Enable test projects' docker image builds for stable/brahmaputra branch

Change-Id: Ib936f58d1f21c4e782cdb1e19d1615b1bed30007
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Corrected the name  of pod  dell-us-deploying-bm3

Job didn't execute due to mismatch in name of
dell-us-deploying-bm3 lab.
Name changed from dell-us-deploying-bm-3 to
dell-us-deploying-bm3

Change-Id: I52e1a4fbcb1a77610e4bc7282196650ecc77f7fc
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Merge "enable onos in compass-virtual-deployment"

enable onos in compass-virtual-deployment

Change-Id: Id86caa0fa028a248654eb31e8a8508977f3bdf9c
Signed-off-by: meimei <meimei@huawei.com>

new baremetal configuration

Change-Id: I17903e88da74dacc5a121e0151060b557314a60d
Signed-off-by: meimei <meimei@huawei.com>

Adds sudo to virsh command for functest with apex

Change-Id: Iec731b40b78609a5a5ce5b926e27eb4206426a4f
Signed-off-by: Tim Rozet <trozet@redhat.com>

fuel: Disable automatic triggering of jobs on Ericsson POD2

POD2 will be used for development purposes for a day or two against
master branch and the jobs on Jenkins will be started manually for
the timebeing.

Change-Id: I1d84acd8a83b12d48533fd5ff64d5498916d3b2c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Fixes detecting Apex instack IP with functest

default leases file may not always exist, especially in the case of
using leasefile-ro with dnsmasq.  This is a more sure fire way of
detecting the IP.

Change-Id: I6c4db3cda7c2f1b645015df7d326ed786980f8d3
Signed-off-by: Tim Rozet <trozet@redhat.com>

enable sdn in compass deployment

Change-Id: I63ad29d0f18f65f0f8ad4d16228d32318d15e64f
Signed-off-by: meimei <meimei@huawei.com>

enable onos in joid deployment

Change-Id: I071c72e84e77faca8d5a8151c5a319a684b535c4
Signed-off-by: meimei <meimei@huawei.com>

Apex has been moved to opnfv-jump-1, updating functest

Change-Id: Ib7ba598427f780ca8bd85ce90f51a34b5170aebf
Signed-off-by: Tim Rozet <trozet@redhat.com>

Removes cyclical blocking for Apex daily

Change-Id: Ie0b462effd2837a2d9b4bf01e8e644db96a50764
Signed-off-by: Tim Rozet <trozet@redhat.com>

disable sdn option in deployment job

Change-Id: I4dfefa8ecc516f06c538d40cff37e029e31013de
Signed-off-by: meimei <meimei@huawei.com>

bugfix: use the label instead of node-name

Change-Id: I142bb2e7076fd225011caed0db43dc3ec44a6f0c
Signed-off-by: meimei <meimei@huawei.com>

Merge "Enable compass Arno scenario for master and stable/brahmaputra"

Removes false blocking on build job

Change-Id: I6deaed59112a3e48009b05eb383da4ef5658b843
Signed-off-by: Tim Rozet <trozet@redhat.com>

Removing baremetal from daily until we know it works

Change-Id: I94103c8aca8233489c523975ab4ebeff8d0a647c
Signed-off-by: Tim Rozet <trozet@redhat.com>