Refactor k8s scenario implementation

This change updates the scenario logic for basic k8s
scenarios that enables the use of various network plugins.

The change simply stops copying k8s-cluster.yml over but instead
operates on the existing/original k8s-cluster.yml and updates
kube_network_plugin in place.

This makes it easier to maintain the scenarios and more importantly
unblocks us from bumping kubespray and kubernetes versions.

In order to verify this change properly, below change first must be
merged.

https://gerrit.opnfv.org/gerrit/#/c/releng-xci/+/68423/

JIRA: XCI-20

installer-type:kubespray
deploy-scenario:k8-calico-nofeature

Change-Id: Icf78a4fc693c659290714e666a2941b6f6e9487a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Bug fix: Correct the ips in the config

When doing ha, controllers get the .11, .14 and .15 whereas computes
get the .12 and .13. The current config was wrong

deploy-scenario:os-nosdn-nofeature
installer-type:osa

Change-Id: Ie6b05990764c796577c6768028191a752be24d11
Signed-off-by: Manuel Buil <mbuil@suse.com>

OSM: use full_install_osm.sh script to install from master

To install OSM from master branch we need to use
full_install_osm.sh and specify the branch.

installer-type:osa
deploy-scenario:os-nosdn-osm

Change-Id: I64dc0d643d02094c9acae6ed064763ff5004342e
Signed-off-by: Venkata Harshavardhan Reddy Allu <venkataharshavardhan_ven@srmuniv.edu.in>

Register OpenStack as VIM to OSM

This patch creates osmrc file and registers the
OpenStack as VIM to OSM.

TODO:
Currently we don't have a suitable way to find out the
functioning status of OSM as soon it was installed.
So we pause the execution of playbook for 2 minutes and
then register OpenStack as VIM. As soon as healthchecks
are added to Docker containers(upstream), we'll use them
to identify the functioning status of OSM and modify the
existing task.

installer-type:osa
deploy-scenario:os-nosdn-osm

Change-Id: Ic38bd2c142f8b1c19bff125f08bab198c423fe5d
Signed-off-by: Venkata Harshavardhan Reddy Allu <venkataharshavardhan_ven@srmuniv.edu.in>

Add post-provision playbook to pass ml2_conf.ini

Functest requires ODL variables to run the ODL healthcheck which is
mandatory for all ODL scenarios

We require this patch to be merged first:

https://gerrit.opnfv.org/gerrit/#/c/63175/

Change-Id: Ibb95d621f952c1d921dcb175fcf6c8ad30c2e234
Signed-off-by: Manuel Buil <mbuil@suse.com>

Ceilometer must be deployed for odl scenarios

Ceilometer is a dependency in the networking-odl repo and thus we
require the ceilometer component to be deployed for all the scenarios
including odl

deploy-scenario:os-odl-nofeature
installer-type:osa

Change-Id: I3281ceec07f72512fba3a804957a0f8ac36b509e
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: Use master branch of devops

Till now we usually clone the osm-devops repo of v4.0.1 and
run the OSM installer file from it. v4.0.1 isn't stable anymore.
OSM (upstream) has moved to release branch model (v4.0 is the
stable one now). Since the integration will be completed with
another patch, we can move to the master branch.

https://gerrit.opnfv.org/gerrit/#/c/63129/

installer-type:osa
deploy-scenario:os-nosdn-osm

Change-Id: I40a7ae3762774bb615638d575814ab13845ac844
Signed-off-by: Venkata Harshavardhan Reddy Allu <venkataharshavardhan_ven@srmuniv.edu.in>

Merge "Bring in the files from base scenario into os-nosdn-osm"

Add OSM variables to os-nosdn-osm scenario

OSM variables are currently in releng-xci. This change adds them
to the scenario itself so they can be configured directly within
the scenario.

Another change will be send to remove corresponding variables
from releng-xci repo.

Change-Id: I33067954f53d21651e8b2d508fe25ac8eb4d9cb5
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Bring in the files from base scenario into os-nosdn-osm

This change brings in the files from the base scenario os-nosdn-nofeature
into os-nosdn-osm so the scenario becomes self-contained without requiring
us to introduce a new mechanism to deploy the base scenario first and then
do additional stuff for the child scenario.

deploy-scenario:os-nosdn-osm
installer-type:osa

Change-Id: Ie14b25fac8a58b01f2ee1e5e89673fbd4ae931cf
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add more info to neutron_provider_networks

If we want to have connectivity to the flat provider network in
openstack, we need this parameters

https://docs.openstack.org/openstack-ansible-os_neutron/latest/app-openvswitch.html

Change-Id: I2c747011428b87252134b9f08a9ed820110dbe68
Signed-off-by: Manuel Buil <mbuil@suse.com>

Create os-nosdn-osm scenario

The tasks added by this change
- configure opnfv host by installing required OSM packages, configuring
lxd and lxd bridge, making devuser member of lxd and docker groups
- clone OSM devops repo and checks out specific version
- execute install_osm.sh script with certain arguments to ensure script
runs unattended

The installation of OSM is based on
    https://osm.etsi.org/wikipub/index.php/OSM_Release_FOUR#Install_OSM_Release_FOUR

Change-Id: I8897288f7d0cadc4931ca21de13a4f4418fff7a8
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

add k8-nosdn-istio scenarios

1. set kubenet the k8s network plugin
2. set istio_enable to true

Change-Id: I244c6c1adfb5c992e1748d198cc1d7f8271f56ee
Signed-off-by: wutianwei <wutianwei1@huawei.com>

add k8-contiv-nofeature scenario

Change-Id: I41ba60a9f49034aa84f852baf17786f678622579
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Bug fix: initialize ODL_VERSION

When doing the ansible lookup, if the variable does not exist, an empty
string is returned. That is a bug which must be fixed:

https://github.com/ansible/ansible/issues/17329

Until then, we initialize the variable

Change-Id: I92c43d15559600ff1583e1560c032377dc22793c
Signed-off-by: Manuel Buil <mbuil@suse.com>

Move generic scenarios into scenarios folder for alignment

All the external scenarios are developed and maintained in corresponding
project repos under scenarios folder. In order to handle generic and external
scenarios in same way, we need to move generic scenarios into scenarios
folder in this repo.

Change-Id: I30064d3e3105a88279e40384a8efb888cc3bcc68
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Adding Git review

Change-Id: I04399562b16bea07bbb498bb4f81d22453498cbe
Signed-off-by: agardner <agardner@linuxfoundation.org>

xci: Add k8-nosdn-nofeature role

Move default k8s-cluster.yml from kubespray/files/ to
role/k8-nosdn-nofeature/files/k8s-cluster.yml since it's scenario
specific. Moreover, we set 'cloud' as kube_network_plugin, which would
use kubnet as network plugin. The kubenet network plugin requires
routing between to be setup by the administrator so we need to add
static routes on every host since they are connected using a bridge
instead of a router.

installer-type:kubespray
deploy-scenario:k8-nosdn-nofeature

Change-Id: I6ab7288c966d7f17e9d61279056f7673be37bebe
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Integrate the k8-flannel-nofeature scenario"

Merge "Simplify odl scenarios"

Integrate the k8-flannel-nofeature scenario

installer-type:kubespray
deploy-scenario:k8-flannel-nofeature

Change-Id: Ie47efe4759b2cf52421cd2edf5e7817442b0026f
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Create the k8-calico-nofeature scenario

installer-type:kubespray
deploy-scenario:k8-calico-nofeature

Change-Id: Ief8557149fd47faab43f8f4bedcf6466dac2275f
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Create the k8-canal-nofeature scenario

add the k8-nosdn-noeature and k8-canal-nofeature roles under scenarios directory
run different roles to configure the k8s-cluster according to the deploy scenario

installer-type:kubespray
deploy-scenario:k8-canal-nofeature

Change-Id: Ia96b01f79fb058e045c5b7d9d9aecb7f15a21e63
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Simplify odl scenarios

So far we were building the repo url variable in the odl scenarios. Moving
that logic to ODL role probably makes more sense as it can be reused by all
scenarios.

This patch passes the odl_version to OSA. That variable will be processed by
the ODL role, which will finally generate the repo url variable

deploy-scenario:os-odl-nofeature
installer-type:osa
Change-Id: I0c9da069238348af6d00d8422ca478cb4be4cfad
Signed-off-by: Manuel Buil <mbuil@suse.com>

Connect ODL CI-CD to XCI

Provide the possibility to select what version of ODL to use, master included.
Before executing xci-deploy.sh, the user can specify ODL's version by using the
XCI_ANSIBLE_PARAMS variable:

export XCI_ANSIBLE_PARAMS="-e ODL_VERSION=oxygen"

Change-Id: I5b3879b0c197059b3aecace48760e983c65a586b
Signed-off-by: Manuel Buil <mbuil@suse.com>

Clean up opnfv ansible vars and switch to lowercase

This change removes the variables that are not used in any of the
playbooks/roles from opnfv ansible vars.

Apart from that, all caps ansible vars replaced with lowercase ones
and impacted playbooks/roles are updated.

installer-type:osa
deploy-scenario:os-nosdn-nofeature

Change-Id: I99ebdc155b3903176ac5940b64cef0c0f3aa0f0d
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

deploy kubernetes in XCI

This commit introduces kubespray into XCI.
k8s install currently assumes k8s install
and OpenStack install cannot coexist.
If XCI_INSTALLER is set to "kubespray" and
DEPLOY_SCENARIO is set to "k8-nosdn-nofeature"
the xci-deploy.sh would install kubernetes instead of OpenStack.
The version of kubernetes is beta release v1.9.0 currently
according to the master of kubespray
it only support the ubuntu now.
Opensuse and centos still need to develop and test.

This patch create the directory xci/installer/kubespray,
the related files of kubespray would be placed to it.
The xci/installer/$installer/playbooks/configure-localhost.yml was moved
to xci/playbooks/configure-localhost.yml as a common yaml file.

You can modify some parameters according your need
in xci/installer/kubespray/files/k8s-cluster.yml to deploy cluster.
When deploying kubernetes,
it would download the kubespray to releng-xci/.cache/repos/kubespray.
If your flavor is Ha, it will download haproxy_server and keepalived
to xci/playbook/roles, which setup haproxy service for kubernetes.

Change-Id: I24d521a735d7ee85fbe5af8c4def65f37586b843
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Rename variable OPNFV_SCENARIO to DEPLOY_SCENARIO

Rest of the OPNFV projects use the variable DEPLOY_SCENARIO so
XCI should be aligned with them as well even though OPNFV_SCENARIO
fits better than DEPLOY_SCENARIO.

Change-Id: Id48c41fa8a1fa9493cfc7a4906f64b6d8ed27d64
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Move contents of os-nosdn-ovs into  os-nosdn-nofeature"

Move contents of os-nosdn-ovs into  os-nosdn-nofeature

This change fixes the scenario os-nosdn-nofeature by
moving directories/files from os-nosdn-ovs to os-nosdn-nofeature.
The contents of the files and variables are also either adjusted
or removed in order to prevent impacts on CI.

Change-Id: Icfde27f413c8f93d097f9f262c8cb1230b7fe59d
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Adapt to updated REST URL for OpenDaylight

Change-Id: Iae7ca106174c09a73bc72075dca0a753c2280f20
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

add os-odl-nofeature scenario

Change-Id: I1355f4beb061caab7315b6f619a96cfaa9f52d2b
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

add os-nosdn-ovs scenario

This scenario is to install ovs on neutron agent and compute nodes for
providing networking capabilities without being managed by Opendaylight.

Change-Id: Iacc2f61ce1ffca248acdca378a23d65a91452828
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Create the basic structure for generic scenarios

Change-Id: I158d4e61e627e47ffa89d8229280011a2b615cac
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>