apex, functest: Passes DEPLOY_SCENARIO to functest

Also creates runner jobs which can deploy and execute functest and
yardstick

Change-Id: I42b9852991a3d001053f3b2dbdc7e4a5e49e5db5
Signed-off-by: Tim Rozet <trozet@redhat.com>

yardstick: Remove iptables rules only if they exist

Normally, if Functest jjb is run before, it will have removed
the iptables,this way, we avoid removing something that
does not exist

Change-Id: I2676cc9c87aabaf670d617a9953915b27062b865
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

fuel: Add noha scenarios for kvm, kvm_ovs and ovs

Change-Id: I96b184fd60d49b66697c1104a1f8739267ddea91
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel: Move multijob to build node and add additional scenarios

Change-Id: I5975cfe04481fcc58a3ee6b9f7182cf442b83318
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel: Merge deployment scripts for daily and virtual deployments

Change-Id: I84348614c2a03e7cca359e9f47d536d833328958
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

apex: fixes path for network_settings with bm deploy

Change-Id: I2f1216ad46d1385b3133af78104fcc73840911ad
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: fixes daily and brahm trigger

Change-Id: Iea0b5afc773532ce4cae3ed2192138c70a173569
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: unblocks deploy from build trigger

Change-Id: I5f2967837262be3b92fb57cc274829d49eb4eb38
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: Fixes build job triggering virtual deploy

Change-Id: I7a3e9edbf107a19386c55defea0bce1091684a67
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: Fixes daily job and baremetal deploys

Change-Id: I494fae30eed9c9f8bbc148a48f141bd857f11668
Signed-off-by: Tim Rozet <trozet@redhat.com>

remove the deploy_scenario in installer_parameter

Change-Id: I08568093cf285fd5c7553d7c3bdca374e48019a7
Signed-off-by: meimei <meimei@huawei.com>

apex: fixes syntax error with virtual deploy

Change-Id: Ia6b50c214d2e2db6b5d2078a4a382411e8aa7ea7
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: fixes BUILD_DIRECTORY with verify

Change-Id: I41a0ff693403fe3262cd5d8262b27b79ce050977
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "compass: Align scenario short names"

compass: Align scenario short names

Change-Id: I3d936bac7f54b860caf4a9e48bc298c7ff5da087
Signed-off-by: meimei <meimei@huawei.com>

apex: fixes issue with build directory for virtual verify

Change-Id: I61035066378e1d69c58562dd28e09bc89d74165c
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: fixes scm, build directory confusion

Change-Id: I1a6320380356817ccd3aead6a38b6c77c670ff08
Signed-off-by: Tim Rozet <trozet@redhat.com>

Remove blocking deploy when verify is running

Change-Id: Ifc236c8c1882281e7b32d2a6ba83c5e554feef06
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: adds onos to apex verify

Change-Id: I428146c1e96ee43d67405fa803b633550b7ed270
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "apex: parameterizes deploys with scenarios"

apex: parameterizes deploys with scenarios

Since we have all in one builds, we only need to be able to use
different scenarios when deploying.  This patch creates several scenario
deploy jobs, then modifies our verify and daily to only use odl_l2
scenario, and we can add more when they are working/supported.

Change-Id: Id163f3ba40466630f7b55f0795362248056f6a12
Signed-off-by: Tim Rozet <trozet@redhat.com>

functest: add sudo permissions to remove command

Change-Id: I2e3c3085458b2a863e9e9be10b2649964360bdd1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "adding sudo to yum remove for apex downgrade"

joid: update deploy script after update joid scenario structure to fit naming convention

Change-Id: Id9d3bb2d48ee515c4d4e16009fb9e1d3417c92cc
Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

Merge "qtip: fix 'too many values to unpack' error"

qtip: fix 'too many values to unpack' error

Change-Id: Ida505af3bab72e589b16d4803cd6c9ef910cb6f4
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Merge "bottlenecks: rewrite bottlenecks jobs into parent/son for supporting of different installers and branch"

adding sudo to yum remove for apex downgrade

Change-Id: I03954a7e80185adb26bd909cf2b9140fc1e2e340
Signed-off-by: Dan Radez <dradez@redhat.com>

teaching Apex builder to install multiple RPMs

Change-Id: I10f462497de58319048e8a0feb6ed29257d64453
Signed-off-by: Dan Radez <dradez@redhat.com>

bottlenecks: rewrite bottlenecks jobs into parent/son for supporting of different installers and branch

JIRA: BOTTLENECK-1

Change-Id: Ia8d7a3103c74aadb03529e71d2128eca8870fa40
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bugfix: fix compass-verify job

Change-Id: I87bc2db5e157fea21333053f7a14150f69602fbe
Signed-off-by: meimei <meimei@huawei.com>

bugfix: fix the verify job

Change-Id: I9dfb91a4b3d6596675dfcd703cfd024a0428543c
Signed-off-by: meimei <meimei@huawei.com>

compass-bugfix: fetch os creds from host1-5

Change-Id: I9acce6f1dabb5186375894cdcdc83b392e9d872e
Signed-off-by: meimei <meimei@huawei.com>

yardstick: remove fetch_os_creds builder

It is not needed any more since we have docker containers, and the
script is called within the docker. No need to have the
credentials in the jumphost.

Change-Id: I81645edc9b8f4d6cba0270bcca9b5731fe0aa2bc
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "test: fix output redirection if when CI_DEBUG"

Merge "apex: unblock bm when daily is triggering it"

apex: unblock bm when daily is triggering it

Change-Id: I50f2258bb0f5a3f8c255eb97a0685868dccd4011
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: fixes jjb for rpm building

Change-Id: I4e2b81a3705fa095e1a5eef320317668ec001a20
Signed-off-by: Tim Rozet <trozet@redhat.com>

test: fix output redirection if when CI_DEBUG

Change-Id: I200bd37d05110b4352439c799c61f18d32523ee6
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

jjb: Trying to see whether job updates are reflected to Jenkins

Change-Id: Ibe58c5c2abd97bc21d46834164da7df310c32af1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "test: add CI_DEBUG parameter"

Revert "fuel: Set friendly display name for OPNFV Platform CI jobs"

The jobs for virtual deployments end up same on project views on jenkins.
Further thinking is needed.

We might need to skip this for the timebeing due to other pressing issues.

This reverts commit 12a09216ad69c213c355e523e93cad118e55bfd4.

Change-Id: I37aec8db9eaebc721b2350e765e032816861622d

Merge "fuel: Set friendly display name for OPNFV Platform CI jobs"

test: add CI_DEBUG parameter

This way, we can avoid showing all the ugly output
that some docker commands show

Change-Id: If4f11c768227e015f3d846b80b09fccd30b21f7c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

functest: results dir docker volume bugfix

This fixes this error:
line 25: =-v /home/jenkins-ci/opnfv/functest/reports:/home/opnfv/functest/results: No such file or directory

Change-Id: I6b196ba47f42a54854ba11bc29c61b73c017b1a8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

fuel: Set friendly display name for OPNFV Platform CI jobs

In order to make job names healthy for the eyes, Set fuel multijob
display names to "fuel {scenario}" and exclude POD, loop and branch
names from display names since they are/can be displayed on Jenkins View.

Change-Id: I638f2f3cd03f975b51affa37758cefc723efdb60
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "functest: add DEPLOY_SCENARIO env var to functest docker"

compass: Align scenario short names between installers

The fields in scenario short name is
    os-[controller]-[feature]-[mode](-[optionalparameter])

The change in scenario naming requires adjustment in jenkins job names
as well in order to have full alignment on CI.

The details of scenario naming scheme has been discussed during daily
standup on 2016-01-13.

You can read more details regarding scenario and job naming on
https://wiki.opnfv.org/brahmaputra_testing_page#scenario_and_jenkins_job_naming_scheme

fuel and joid switched to this type of scenario and job naming already.

Change-Id: Ia9246ac7ce8db054c1cb73381f83387ecd1dce66
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

functest: add DEPLOY_SCENARIO env var to functest docker

Change-Id: I142b534274d03bdad38775c889f07e53ee597c91
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

fuel: Enable build blocker for CI jobs

Prevent starting more than 1 deploy job on same pod.

Change-Id: Ia8c3081bb5154b9ff92a58b58e0391b017ac5276
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

yardstick ci bugfixes

Change-Id: I5db36005f5e5aaa5b219c381db48b3ec33a0994f
JIRA:-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

joid: Remove disabled from the job configuration of CI jobs

There seems to be a bug in Jenkins Job Builder related to Multijob
Plugin causing jobs to be disabled if the job config contains disabled key.

Change-Id: Ic2e6ccc99cbeca965d01911a1dfb3f7a0ddcd04c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update yardstick db parameters

Change-Id: Ia720a6cffa279d3621c33dfb6eafa95df9bdc0e2
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

joid: add juniper pod1

Change-Id: I9ff2fe3e8204d2561de140dc42a5cdb68638b3d0
Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

joid: Enable build blocker for CI jobs

Prevent starting more than 1 parent or deploy job on same pod.
Fix the bug causing the jobs to be disabled.

Change-Id: I515aa9977fc577b6ed95719668ef414ddf9b7fb0
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "added the public network ips default for intel pod5 and pod6. Modified as per comment from Julien."

apex: fixes branch trigger for gerrit on verify

Change-Id: I997fbe5f6957919ae53e21793e2dfa8a83145466
Signed-off-by: Tim Rozet <trozet@redhat.com>

added the public network ips default for intel pod5 and pod6.
Modified as per comment from Julien.

Change-Id: Ic6727a45d7ed274b6205fcd6a0fc510af622a382
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

apex: Fixes duplicate ARTIFACT_VERSION param

Change-Id: I789b041152dfe2aa0cfed6ca29fa1bced6253f2b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "apex: adds brahmaputra and moves daily to use baremetal"

apex: adds brahmaputra and moves daily to use baremetal

Changes include:
 - Extra slash fixed in GS_URL
 - "brahmaputra.1.rc0" now used as the brahmaputra artifact version

Change-Id: I0b248d149f166ab174bb8b08ffb25e38c42a9457
Signed-off-by: Tim Rozet <trozet@redhat.com>

fuel: Align scenario short names between installers

The fields in scenario short name is agreed between joid and fuel as below.

    os-[controller]-[feature]-[mode](-[optionalparameter])

Change-Id: I3adcd5fae2cf461c39bb84e91c7962fc413c15bd
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Adapted include-raw with colons

Change-Id: I58511a1a4472742c2941c31964987dc984a2ee71
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bug fix for qtip-run-suite builder in QTIP JJB

qtip-run-suite builder had "#!/bin/basih" instead of "#!/bin/bash"

Change-Id: I6d4a01d6ea74facfb1acfd358745d1ef5b34ce86
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

fuel: Disable use of local ISO and trigger of merge virtual deploy jobs

Scenario and POD descriptions impact virtual deployments and need adjustments.
Merge virtual deploy triggers have been disabled in order not to give incorrect
feedback to people.

Change-Id: I93aef5e029f64b74cf13ad82742b080a18d28da4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "apex: change public network name to 'external'"

Merge "apex, yardstick: integrate yardstick into apex"

test: add --no-cache flag when building docker images

Now in the right place

Change-Id: I3b42c51775d57561d530b3407752433c48253dc4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "test: add --no-cache flag when building docker images"

apex, yardstick: integrate yardstick into apex

Creating job for apex to attempt to run yardstick on LFPOD1

Change-Id: Ie9eb8edb39ce9152fc5335a3d57c24b6492d07d8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add joid and apex to yardstick CI"

test: add --no-cache flag when building docker images

Sometimes, if the docker leftovers are not properly removed,
there is some cache that the build uses. This will force to
build from scratch without using any existing image (no cache)

Change-Id: Ifb19b2fc01da938cf46eb18d62a5877cf0a560e5
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

joid: Add scenario selector for different sdn controllers + default releng triggers

Change-Id: I21854444d997bba876e711433c1b2132cde61c7c
Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

Add joid and apex to yardstick CI

Apex and Joid setup copied from functest.

Change-Id: I8543f1e04eea79550f01dfc23e3123b9be6731ca
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Merge "test: Remove escape characters from docker job"

test: Remove escape characters from docker job

Fetching the branch name is now fixed too.

Change-Id: Ib83afb4f938890285ab861634eb8fef654a10d76
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

apex: change public network name to 'external'

Although this environment variable is not used in Functest,
to be consistent with the names, Apex creates by default a
public network called 'external'.

Change-Id: Ie33b116beafc1257c5c26b416cdb76c463553e2d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bug fixes for QTIP Jenkins Job

Bugs in qtip-cleanup and qtip-run-suite builders.
Spaces removed in qtip-cleanup builder to ensure
variables take the given values.
container_id again redeclared and echoed in
qtip-run-suite for debugging.

Change-Id: I608001fbc91d34870debe2cd620d9a5e19e82dd6
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Merge "test: Set build name of test jobs to DEPLOY_SCENARIO"

test: Set build name of test jobs to DEPLOY_SCENARIO

DEPLOY_SCENARIO will be set to os-[controller]-[nfv_feature]-[mode]-[extra]
The fields could be
- controller: (nosdn|odl|onos|ocl)
- nfv_feature: (none|kvm|ovs)
- mode: (ha|noha)
- extra: installer specific field to use when needed or none

Change-Id: I9ef66833c41e3ef24ea4a7195fb8b20302021543
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

functest: Enable verify jobs for brahmaputra branch

Change-Id: I75707f3bc895cde271a76ea78aea13937caa8eca
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

jjb: Cleanup outdated and example jobs

Genesis jobs are only commented out. The directory can totally be
removed once brahmaputra is released.

Change-Id: Ide6baace0fb3c06f328022fb3d874ba6d49f17e9
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "docs: fix ODT document creation"

fuel: Enable all available scenarios for brahmaputra branch

This change
- Enables all available scenarios for stable/brahmaputra branch on LF POD2
and Ericsson POD1.
- Enables new node type, virtual, which is able to run available scenarios.
- Adjusts build blocker for multijob projects.
- Skips cloning of fuel repo for multijob projects.
- Enables os_odl-l2_ha auto trigger for LF POD2, Ericsson POD1, and Ericsson
POD2.
- Enables the use of an already downloaded ISO if the ISO was previously
downloaded to jumphost to speed up deployment.
- Adds a generic job for fuel for easier CI development/troubleshooting which
is kept disabled by default.
- Removes SDN_CONTROLLER parameter.

Change-Id: Icf26241216522b58db6908623a77405cdaac2ba2
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Update deprecated pollscm usage"

Update deprecated pollscm usage

The syntax "pollscm: '@midnight'" is deprecated and should be updated to
using the new syntax:

    - pollscm:
       cron: '@midnight'

Change-Id: Id11d301dfee4d183ee40f2342528c4258f36034f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

test: Fix dockerfile path

Change-Id: Ica1cadc79ee6fd7ff96d66b3f4fb798098fad452
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

docs: fix ODT document creation

The command 'pandoc' has to be execute in the document folder,
otherwise file path in tex can work.

JIRA: RELENG-16

Change-Id: Ia054f6354dceb386805b21721a6736a446980d71
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Redirect job output to file and archive them"

Merge "Add sphinx extensions"

Add sphinx extensions

This change adds following sphinx extensions:
- sphinx.ext.autodoc
- sphinx.ext.viewcode
- sphinx.ext.napoleon

JIRA: -

Change-Id: I97d8ead38fd8e83b98f5083d0e24dd1a084014c9
Signed-off-by: Ana C <ana.cunha@ericsson.com>

bottlenecks: disable time trigger in order not to run parallel and open B branch

JIRA: BOTTLENECK-1

Change-Id: I19a917f090289233a8c7d61f3a25569dadad1972
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "set current-parameters with false - compass use build node to trigger the daily-multi-job - run phase job(deploy+test) in specific pod"

Merge "enable onos in joid deployment"

Merge "support ODT format creation in docs-build.sh"

set current-parameters with false
- compass use build node to trigger the daily-multi-job
- run phase job(deploy+test) in specific pod

Change-Id: I9e5c25e31452a0f8f95f4e4d84c90f5640568c28
Signed-off-by: meimei <meimei@huawei.com>

enable onos in joid deployment

Change-Id: Ic05366cd730fea7edfcf6aa4c993399ffdc54a38
Signed-off-by: meimei <meimei@huawei.com>

Merge "add two test cases: VSTF tu1 and tu3"

Merge "enable onos in joid deployment"

Fuel: Enable build blocker for brahmaputra job

Change-Id: Ib809840ec4b89b8feaab6b0910c3fff9593a7ba9
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>