Add scenarios jobs

deployment and integration with functest

Change-Id: Ic9f72f4f6bf4d526b51b3254cfc2efd5842dd58c
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "ignore auto generated files and directories by running TestAPI unittest"

Merge "[docker] Use image IDs instead of tags"

Revert "Remove jobs for cengn-pod1"

This reverts commit c88a035890338b9cd1a78766bcddfe6c95fad963.

Change-Id: Iba57f84b3b358a4178b79fe0122dc9b4ace6132f

[deployment_handler] Add get_arch function

This function will be used by ARM project to
detect the architecture of the compute nodes.

Example: http://paste.openstack.org/raw/599722/

Change-Id: Ic76f291468998d3a3d9e7df507a146da44f2f7f9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove jobs for cengn-pod1

Change-Id: Ie7a6313e60bc9446665151fe691fe50118bc8280
Signed-off-by: dave.urschatz@cengn.ca <dave.urschatz@cengn.ca>

Fixed url path of artifacts

Change-Id: I503acd1bf421e4734b4edbe07a562ec51f3c0b77
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Add unit tests to token based authentication

Projects has been choosen as an helper to test token success,invalid and
unauthorized

JIRA: FUNCTEST-739

Change-Id: Iecc68821f5cc85630c17e54144723cc6f5e21ded
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Add token based authentication for post/update/delete

As the mongodb database is not so secure today, this has been added.
The token is stored in the mongoDB database. For now, authenticate variable is set
false so that there would be no problem in accessing the databse by jenkins
jobs.

JIRA: FUNCTEST-730

Change-Id: I12b3907d650fc63efbdb031ebf3dd09519750109
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Merge "[deployment_handler] Fix some nits and improve output"

Merge "Apex: Removes nosdn from verify"

Merge "[deployment_handler] Opendaylight node check"

[deployment_handler] Opendaylight node check

- Enhance functionality of manager.py to check if a node is opendaylight
- Update is_compute and is_controller methods, using the Role Class attributes

Change-Id: Icf1d83b289bf6e87f83b0e1b5bdd2f9da436cde5
Signed-off-by: tomsou <soth@intracom-telecom.com>

Merge "Fix dump_ovs_flows crashing when no nodes are passed"

ignore auto generated files and directories by running TestAPI unittest

.coverage / =1.3.1 / cover / coverage.xml / nosetests.xml / testapi_venv
the above files and directories will be generated every time we execute
the TestAPI unittest, ignore them in case being submitted by mistake.

Change-Id: Id9e09229fd067e01d14595d99144536a174e7b93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

fix violation of import rule in TestAPI

TestAPI violate import rule of OpenStack Style a lot, like
Do not import objects, only modules
Do not import more than one module per line
Alphabetically order your imports by the full module path
This patch is mean to fix them.

Change-Id: Ia05b944a74b3f443c9101a9840f613f9a6f5ae49
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Apex: Removes nosdn from verify

Since we now have gate jobs in order to verify functionality specific to
a scenario, we can eliminate running 2 pre-gate verify deploys with
nosdn and odl_l3.  The consensus from Apex team is that we gain little
validation with nosdn in comparison to odl_l3, so we can remove nosdn
and then trigger it as a specific gate job if we need to validate its
functionality.

Change-Id: I23367ad746cedd8b091aa4ffaf53249fef3c0eee
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: Enables FDIO/VPP in daily job"

Apex: Enables FDIO/VPP in daily job

Change-Id: I6c06ecd40b5c2d57ca8f62fd52fe78267b4a8735
Signed-off-by: Tim Rozet <trozet@redhat.com>

Revert "fix for rtd verfiy"

This reverts commit 8f28f2de1aa8a473be54295d58a2311b40617efb.

Change-Id: Id4239ecf4d617440d1198ea7a13b8fecf5bb225b

fix for rtd verfiy

Do not recursively clone submodules
rewrite submodule projects so that docs/ is project root
so we do not build rst files not in docs/

Change-Id: I97d4ca915014dcf8923a44a0c31d3c27ac415885
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Initial add of Models job file

JIRA: MODELS-47

Created models.yml based on copper.yml.
Added shellcheck.

Change-Id: Ic7e451780ad271e66e47c49cc087748267c11b33
Signed-off-by: Aimee Ukasick <aimeeu.opensource@gmail.com>

Merge "Initial add of VES job file"

Fix dump_ovs_flows crashing when no nodes are passed

Although it makes no sense that the lists of controller/compute nodes
are empty, the function should not crash.

This check ensures that the directory where the logs are written to is
always created before dumping anything.

Change-Id: I3a1fd8ac8ab983decb0bc227a2a22286ff5e34ce
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Merge "KVMFORNFV : Enabling triggers for Kvmfornfv NO-HA scenarios."

joid: Create jobs for cengn-pod1

Change-Id: Ia8c43dabd5306cf6443bea910798ce7730089a5e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

We are already in the repo dir

fix cd line

Change-Id: Idc82ef5082788cf8aaeea711cef5ffb80fb9649d
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Need to have these under submodule

increase timeout and ask for shallow clone

Change-Id: I93848c17b4f0d71271fe8bfa30bca6b8a0f509ba
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Shallow clone and increate timeout for rtd verify

Change-Id: I45dc0ef41e88cd8be593ae14b28702a6aed147f9
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

APEX: Change virtual ram for ovs-dpdk and vpp scenarios to 14G

Change-Id: I997202032fd868802166fb84aa0f77b27abf28cd
Signed-off-by: Feng Pan <fpan@redhat.com>

Use securedlab for daisy configuration

pass configuration path, lab and pod info

JIRA:DAISY-40

Change-Id: I0f5dc1427cc33478bdecb8cf9c5f493b90993b7e
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Removed call to change directories

JIRA: COPPER-33

Removed call to change directory to $WORKSPACE/ci since this
will cause an error (no tests dir in $WORKSPACE/ci).

Change-Id: If0c5ca0765f86114625e1659b946bcb92f40231b
Signed-off-by: Aimee Ukasick <aimeeu.opensource@gmail.com>

Merge "Install virtualenv"

[deployment_handler] Fix some nits and improve output

Change-Id: I283564c2f9a651b6c6fd6ec8986a6c1d98a58b2c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "[deployment_handler] Add memory and cpu info to the nodes"

Install virtualenv

This patch installs virtualenv
in the slave machine.

Change-Id: Ib9dc27f30b135d6ba5a587df7825ad2e9cfbaf11
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Merge "[deployment_handler] Fix getting roles from fuel node output"

Merge "Allow ericsson-virtual12 to to push test logs using gsutil"

KVMFORNFV : Enabling triggers for Kvmfornfv NO-HA scenarios.

This patch includes implementation of jobs and triggers for
kvmfornfv os-nosdn-kvm_ovs_dpdk-noha and
os-nosdn-kvm_ovs_dpdk_bar-noha scenarios.

Change-Id: I1e0afd460f42a69b4618b73d032cd4e899e9cb54
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

Merge "Add CI job for traffic stress test in POSCA testsuite"

Allow ericsson-virtual12 to to push test logs using gsutil

This jjob complains about it's not a CI POD:
https://build.opnfv.org/ci/job/functest-fuel-virtual-suite-master/253/console

Change-Id: I7d65350060a855ab5bfddd1abdbe127fe3e0fbf3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "prototypes: bifrost: Collect logs even if deployment fails"

Add reverify alongside recheck

for gerrit-trigger-patchset-created
used by: docs-verify-rtd-master

Change-Id: Iedd6bb129d5dc94da9972b380f24ee4489beb5fc
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

prototypes: bifrost: Collect logs even if deployment fails

Move the collect-test-info.sh script to the 'exit' trap so we can
collect whatever logs we can even if the bifrost deployment failed.

Upstream change: https://review.openstack.org/433532
Change-Id: Icfbec01d894ff33e83730a40a09dc5540008dbaa
Signed-off-by: Markos Chandras <mchandras@suse.de>

[docker] Use image IDs instead of tags

If we use tags, when there are remaining images without
the tag <none> it fails and get the following error:

Removing docker image opnfv/functest:<none>...
Error response from daemon: Error parsing reference:
"opnfv/functest:<none>" is not a valid repository/tag

By using IDs we make sure we delete the images.

Change-Id: Ib336dc73168bac909c42dd4a9681ef07d477dc7b
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[deployment_handler] Add memory and cpu info to the nodes

output: http://pastebin.com/raw/KtuvGPs1

Change-Id: Ie4eb33b041e9ac0ac992a615a29dd7aeab7d857f
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[deployment_handler] Fix getting roles from fuel node output

The roles column that the fuel adapter should look in is "roles" but
it accidentally ended up looking in "pending_roles".

Change-Id: Ifcc59c16da2c604e60ca4d6e3ab33b5b91a029b6
Signed-off-by: Romanos Skiadas <rski@intracom-telecom.com>

Add CI job for traffic stress test in POSCA testsuite

JIRA: RELENG-191
JIRA: BOTTLENECK-131

POSCA testsuite in Bottlenecks current have 2 stress testcases.
This pathch is to add CI process for these traffic stress test.

Changes:

1. Add posca stress traffic
2. Add posca stress dataplane
3. Cleanup env & run suite script refactoring
4. Call sh script process added

Change-Id: I788bd91bca895bf01fd59802f1641747175c80ee
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Removed -u flag from pip install

Change-Id: Iffd95b14ee2e1f427ebaa3e579027238957bedc5
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Install virtualenv

Installing virtualenv in doc shell

Change-Id: I3a77f09d7b2921064e1d599cd2e59c0140d71995
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Bug fix to doc jobs.

Change-Id: I65b78a6772288f22db6cd0e0bcd2b10661acc02d
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Fix bugs for new doc jobs

Added new macro and changed parameters
in docs-rtd.yml

Change-Id: Ibb3306853e241674099ae0227719af6dc1280d1f
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Merge "New doc jobs on lf-build1"

Merge "Apex,Functest: Updates env detection"

Apex,Functest: Updates env detection

If Apex installer VM doesn't exist (such as in snapshot deployments) and
the credentials file is already provided, then can continue functest.
This patch adds that functionality and removes detection for the
"instack" installer VM which is deprecated.

Change-Id: I4267aebbcf0582529f38d451a7e8ba30f71c132a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Bug fix: We are comparing an integer with a string

The config file in SFC using this library was providing an integer
whereas FUEL was providing a string.
e.g. we were comparing 5 with '5' and thus the return was false

Change-Id: I04c27403d479c45acd102a3dde848ba5b2427a10
Signed-off-by: “Manuel Buil” <mbuil@suse.com>

Merge "Fix ovs_logger to use correct opnfv_logger module"

Merge "[doctor] fix log cleaner and exclude joid testing"

[doctor] fix log cleaner and exclude joid testing

Change-Id: Ibf5a23efa8948eb8da693d302e5a8b0a984e3237
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "implement delete and related unittest"

Fix ovs_logger to use correct opnfv_logger module

Change-Id: I7c72a75324897231a583f38d424dedea42b20f3d
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Update emailbox"

Merge "[deployment_handler] Re-write node default string printout"

Merge "[deployment_handler] Add OVS version info"

Merge "[deployment handler] Add Roles and Status classes"

implement delete and related unittest

JIRA: RELENG-163

Change-Id: I7fe45f3e92c3dc5f5b32582561249150a2cdb8cf
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bug Fix: tranlate build tag into jenkins url

Include HEALTHCHECK Tier in the reporting

Change-Id: I4a5a8aeb7564ca35c9199c7925ac344b43270d87
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Initial add of VES job file

JIRA: VES-10

Created ves.yml based on copper.yml.
Added shellcheck.

Change-Id: I15541416b7678e2ddab2bd3afabb36fb21afb497
Signed-off-by: Aimee Ukasick <aimeeu.opensource@gmail.com>

[deployment_handler] Re-write node default string printout

example output: http://pastebin.com/raw/dm3SEA43

Change-Id: I06b4e08897e8303dd938749636e00ae193e91dca
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[deployment_handler] Add OVS version info

Change-Id: I485f969dff29a2d1757ce56c62dda294f44341e2
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[deployment handler] Add Roles and Status classes

By doing this, we can handle roles and status as a
list in the node object.

Output: http://pastebin.com/raw/PAMrWRJi

Change-Id: I0e3c7f375b19548a7e424e3257b84424c8fe4725
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

New doc jobs on lf-build1

New doc jobs have been configured to
run on build slaves (lf1-build1) since
git version on master does not support
submodules.
Verify patch has been made non-voting.

Change-Id: I05224f42156202450b7f5eb36c2ce23f14deff2c
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

[deployment handler] Add support for Clusters in Fuel

Fix minor apex issues.

Output of example.py
http://pastebin.com/raw/x70Uj85V

Change-Id: I6013f5c4d916126f79afd40a6d6a35278c8ed26f
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "APEX: Add fdio specific network settings file to virtual deployments"

CSIT: Modifies functest installer var to be apex

Functest fails to execute the tempest smoke suite unless the installer
provided is apex.

Change-Id: Ic4b726479f15dca87fd2e2e2f62a080637a774a3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix flake8 violations in releng

Change-Id: I45769ff9c9db2de9fbba69117a92de414dd7f651
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bug fix: Huawei POD12 was still not considered as CI POD

Missing space in list of CI PODs

Change-Id: I631ffcac6b8cb9a2f42c55610eb01c43edfae9f4
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

APEX: Add fdio specific network settings file to virtual deployments

Change-Id: I9bbcd1b801d10b6fab6b32b33372260ac2e65cae
Signed-off-by: Feng Pan <fpan@redhat.com>

CSIT: updates csit functest to use tempest smoke serial

Puts this in-line with what is tested on the snapshot promote so we have
apples to apples comparison of results.

Change-Id: I4f333b0a675eed23bb9107c32a59bcf92f461d3b
Signed-off-by: Tim Rozet <trozet@redhat.com>

CSIT: Fixes bug with routes and compute nodes

Change-Id: I2b5625ce9458ff4438ffc556bb08c4d6a6ace03d
Signed-off-by: Tim Rozet <trozet@redhat.com>

CSIT: adds route fix for functest

Change-Id: I3dae88e8af728bbcef0f0d4be27478cf7b8e06fc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add lint to releng repo"

CSIT: Fixes credential file passing

Change-Id: I1605452d5ad4e61915e537677fc291f911dfb6e8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[APEX][GLUON] Add to gluon to apex-daily"

CSIT: Fixes path for overcloudrc

The path was being literally passed to the ENV variable in Jenkins with
quotes, which doesn't work.  Removing quotes.

Change-Id: I0d637d898cbc3c40b26e39b8301feb964de3c57f
Signed-off-by: Tim Rozet <trozet@redhat.com>

CSIT: fixes for functest

Since we have no 'installer' for CSIT snapshot deployments, we need to
indicate to functest where the RC credentials are.  This patch adds
that, as well as modifying the IP configured for the host br-external
bridge to be the GW IP for the external neutron network.  This will
allow floating IPs to work with the Functest container.

Change-Id: Ie594de8cb2d7837abfad612b9ba49b0c02e7b2be
Signed-off-by: Tim Rozet <trozet@redhat.com>

[APEX][GLUON] Add to gluon to apex-daily

Change-Id: I2c5640373e159d8983fa3c6352cc094b122f8e9e
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Merge "No action when no container is there"

Merge "Add call to run shellcheck"

No action when no container is there

Docker complained about no container is there when calling the container
removal step without checking the existence of container.
In this change, action will be taken only if there is any container.

Change-Id: I32efc98bb4e2c2f5a47bffa88fc5c5b4c8e5d821
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Fix escape errors"

Update emailbox

company emailbox is not efficient for dealing with community emails.

Change-Id: Ic159bae1d622214b720023fa07508c79324c3538
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

CSIT: Fixes zip2tar conversion for ODL artifact

File modes were not being preserved using the python tool, hence
manually unpacking and re-packing now into tar.gz

Change-Id: I40289117ec74ea2717a2428e9542da3dc98f590e
Signed-off-by: Tim Rozet <trozet@redhat.com>

CSIT: Fixes permissions with sdnvpn odl_reinstaller

This is a temporary fix that should be removed when
fixed in sdnvpn repo.

Change-Id: I13f247090e72a625db3af932652e006a57418e1e
Signed-off-by: Tim Rozet <trozet@redhat.com>

CSIT: removes dir prefix on NETVIRT_ARTIFACT

Change-Id: I4d046d2be7342e7bf4b19e930dfa3c8f9dea8e79
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex,CSIT: changes pip3 to use just pip

Change-Id: I0c8adbca67e5f2235bb2d48c19edc0f96400faab
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex,CSIT: Fixes slaves and other bugs

Changes Include:
 - Fixes phase jobs to run on the same node
 - Removes using WORKSPACE/.tmp dir for unpacking snapshot since other
   phase jobs will need access to these files.  Now just unpacks to cache
   directory
 - Fixes download for ODL.  The previous way ODL was being downloaded
   was only if a manual patch-set job was run on the ODL gerrit.  This
   patch changes the download to use the zip artifact automatically
   produced.
 - The zip artifact is converted to tar.gz and stored in /tmp/ for the
   install job to consume. Note: the conversion is done because the
   odl-pipeline install scripts only currently accept tar.gz.
 - Extra checks in install job to make sure required files exist and
   have been previously unpacked by deploy job.

Change-Id: I38aad98cac247eb4af2839811388b119079bc7ba
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Change automation to original testresults server"

Change automation to original testresults server

Changed port from 8711 to 8082 and auto to test in url. There are 3
successful builds.

https://build.opnfv.org/ci/job/testapi-automate-master/

Change-Id: I099b026eb22c7d95d8bf7345837e7c2234ef571d
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Merge "Apex: Fixes CSIT snapshot deploy script"