xci: Bump Bifrost components to the HEAD of Rocky release

The bifrost and ironic SHAs are from the Stein release which is still
in early days of development. We should use Rocky SHAs for the time
being. However, bifrost from Rocky does not support Ansible > 2.4 so
we have to use bifrost from master branch but all the ironic components
have to be from the Rocky release.

Change-Id: I1acb28e4a292c774d681519517be19a2da230851
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Download only necessary images for functest-smoke"

Merge "xci: roles: create-vm-nodes: Always provision VM nodes"

Download only necessary images for functest-smoke

Functest download_images.sh script downloads images that are
not needed for functest-smoke so we only download the necessary
images to cut the time down.

deploy-scenario:os-nosdn-nofeature
installer-type:osa

Change-Id: I0be643c4ccd4b8009e68433f5d635231afd2550a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Bump Kubespray SHA and sync Ansible versions

This change
- bumps kubespray version to 8b3ce6e418ccf48171eb5b3888ee1af84f8d71ba, taking
Kubernetes version from 1.10.2 to 1.10.4.
- pins Ansible version used by Kubespray to same Ansible version as the rest.
The var kept as is in case if we need to pin Kubespray to a different Ansible
version in future.

installer-type:kubespray
deploy-scenario:k8-calico-nofeature

Change-Id: Iefbe82f0b9b10296e4362bca07630047c56630ac
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: Bump OSA and bifrost SHAs"

xci: Bump OSA and bifrost SHAs

This change
- bumps OSA SHA to b9d9269528ecbe04b2638a73c2b0f49839f27422
- bumps bifrost SHA to 0d0cfd908d10a670668619c575fd338d1ff328b7
- Pins Ansible to 2.5.8. OSA is using 2.5.5 which has a bug in the pause
  module so we need to use something newer.

Change-Id: Idf05bbef880db11de4a41464ae5080aa21a0613c
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Install xz utility on deployment host"

xci: roles: create-vm-nodes: Always provision VM nodes

The role used to get the output of 'virsh list --all' to determine how
many VMs are present and shut off in the system. This takes *all* VMs
on the system into consideration so it may skip creation of some or all
of the XCI VMs if we happen to have other VMs present. We can improve
the situation by simply dropping this check and always provision the
VMs we want. If the VM is already present, then the module will simply
do a sanity check of its configuration. This allows XCI to run alongside
other VMs.

Change-Id: I54255a1959509671c0305f48f23a55b6e900684f
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Move OSM variables to os-nosdn-osm scenario"

Align idfs and separate admin and management

According to OpenStack admin is the network for pxe boot and mgmt is the
network for OpenStack services to communicate. We were using both in XCI
indistinctly

Change-Id: I3959e767098ac2be7161a5e84735fde9ab129784
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "Modify idf to be aligned with the rest of idfs"

[xci] integrate istio in XCI

using kubespary to deploy the istio, kubespary support to deploy istio

installer-type:kubespray
deploy-scenario:k8-nosdn-istio

Change-Id: Id8c04936187c89fafa921dada382a0e9e11aab27
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Print OpenStack login information at the end

The info is logged to the console before post-deployment tasks and
this makes it seeing the deployment status and login info inconvenient.
This change moves the logging to the end, after post-deployment.

Change-Id: Ic7e232a0b8343e666f54087fbcc09481ab59ca90
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Move OSM variables to os-nosdn-osm scenario

This change removes OSM variables from releng-xci repo since they
are declared in os-nosdn-osm scenario itself in releng-xci-scenarios
repo.

In order for this change to be verified, below change must be submitted.
    https://gerrit.opnfv.org/gerrit/#/c/61205/

installer-type:osa
deploy-scenario:os-nosdn-osm

Change-Id: I9f3a1dbdfecfb2bb08cc215758bdc52aefcdf697
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Install xz utility on deployment host

Functest Smoke test requires additional images to be available
during testing. One of the images is decompressed using xz and we
need this to be available on deployment host in order to be able
to have the images available for Functest execution.

Change-Id: I5647b3bef37fc55e8c5cc9aec5d0b2c3ea628b8a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Modify idf to be aligned with the rest of idfs

Change our idf to be more aligned with lf's idf. Adapt
dynamic_inventory.py to the change

Change-Id: Ib8f6d1684a00a8eb5ae06d5d04d308d4325cd444
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: Bump OSA and bifrost SHAs

This change
- bumps OSA SHA to cbfdb7dc295ff702044b807336fab067d84a3f20
    (mostly based on Rocky RC1)
- bumps bifrost SHA to c1c6fb7487d5b967624400623fd35aabf303b917
- pins Ansible to 2.4.6.0
- switches to ollivier/functest-healtcheck since OS is bumped to Rocky

Change-Id: Icc14e3e794b489dafd78b426c54051a3732ccb1a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>
Signed-off-by: Markos Chandras <mchandras@suse.de>

Update SHA for ODL

Deployment not working because of a bug. This bug gets fixed with the
new SHA

Change-Id: I91c6df6bf7ea10492265466ebdfbf4264492936b
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: Restrict virtualbmc to version 1.3

Version 1.4 brings in additional dependencies and it's currently
not used in OpenStack anyway. So lets stick to 1.3 for now.

Change-Id: I2489168cae12f7fa3271c2de7d4fcf37bdb97810
Signed-off-by: Markos Chandras <mchandras@suse.de>

Force remove ~/.vbmc folder in case if it doesn't exist

Change-Id: If87afa892a0c39d082cb1563e1c019f46b742169
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge changes from topic 'extend-suse-support-id-skip-verify'

* changes:
  xci: xci-destroy-env.sh: Update virtualbmc path
  xci: create-vm-nodes: Install virtualbmc in the XCI virtualenv
  xci: osa: Drop openSUSE mirror variables

Merge "Integrate os-nosdn-osm scenario"

Merge "xci-lib: Allow more openSUSE IDs"

xci: xci-destroy-env.sh: Update virtualbmc path

Bifrost no longer installs on the deployment host so we don't need
to look into the bifrost venv for a vbmc installation. Moreover, XCI
uses virtualenv by default, so we should only look there for vbmc.
Finally, we should clear vbmc config files from previous deployments
since that could leave artifacts behind.

Change-Id: I4cd35636a65e1823c9e4ca9a7c5b17d4b103c6a2
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: create-vm-nodes: Install virtualbmc in the XCI virtualenv

XCI prepares a virtualenv for us, so we should install virtualbmc
in it.

Change-Id: I320d1c7cad9c5c821269b55252cb7ab4f5136f40
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: osa: Drop openSUSE mirror variables

we let downloads.opensuse.org redirect us to a good one since
the hardcoded one does not appear to work anymore. Ansible gets
upset if we feed it an empty variables file, so we set a couple
of variables there to make it happy.

Change-Id: I887522ebc71dd866d544e75beeff47af6111e059
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci-lib: Allow more openSUSE IDs

Leap 15 is using ID=opensuse-leap and Tumbleweed is using
ID=opensuse-tumbleweed so we should extend the regexp to match
these distributions as well. This allows XCI to support more
openSUSE variants as deployment hosts.

Change-Id: I8bf8e7b15fc00c45807ff92fbc14d7ec79ec4bcb
Signed-off-by: Markos Chandras <mchandras@suse.de>

Integrate os-nosdn-osm scenario

This change integrates os-nosdn-osm scenario.

The installation of OSM is done as post-deployment. This is achieved by
the addition of the new playbook named post-deployment.yml in scenario
role folder.

This mechanism is available for all OpenStack scenarios. If anything
needs to be done for a specific scenario as part of the post-deployment,
it can be achieved by creating playbook post-deployment.yml.

If post-deployment.yml exists in scenario role, the framework will run
it once the regular deployment playbooks are run successfully. If the
file does not exist, it will be skipped.

The location of the post-deployment.yml is
    releng-xci-scenarios/<scenario>/role/<scenario>/tasks/post-deployment.yml

This is only implemented for OpenStack scenarios currently and similar
mechanism is needed for K8S scenarios as well which will be implemented
in a separate change.

installer-type:osa
deploy-scenario:os-nosdn-osm

Change-Id: I16780abffca39699eb2f38f662479f0e4d551504
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "scripts: start-new-vm: Do not upgrade packages on the host"

scripts: start-new-vm: Do not upgrade packages on the host

Upgrading the host could bring undesired side effects so we should
not do that as part of CI deployment.

Change-Id: Ib776cdf96943e22155c2dd47fdadb3e8a86f6143
Signed-off-by: Markos Chandras <mchandras@suse.de>

Resize OPNFV VM Disk

OPNFV VM creation is separated from the rest of the nodes, resulting
in its disk being left without resizing. It is important to resize
its disk to the value defined in its PDF opnfv_vm.yml so the installation
of the other tools does not fail due to lack of space.

Change-Id: I8300e6e355d11788cc983fcebca56076e89918e1
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

docs: Remove info about the flavor aio

The flavor aio is disabled by change https://gerrit.opnfv.org/gerrit/#/c/58595/
so it is important to update the documentation accordingly.

The expectation is to put it back if/when aio is properly verified.

Change-Id: I12a60e819e20f053c38acee9e8276252d2cab267
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: osa: Disable haproxy ssl configuration"

Merge "Disable the flavor aio and set default flavor to mini"

xci: osa: Disable haproxy ssl configuration

The self-signed certificates are causing troubles so until we implement
a proper certificate chain in XCI we should disable the SSL endpoints.

Change-Id: Ife4ef78de1569121c435a806924a3f90917fd85b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Disable the flavor aio and set default flavor to mini

The flavor all-in-one (aio) hasn't been maintained well and
the stability of it is in question. This change disables the
flavor aio and sets the default flavor to mini.

It is important for XCI to enable the aio back in order to help
users who want to try XCI but don't have big enough machine to
go for bigger flavors. However, we need to verify all flavors
for acceptable user experience so the flavor can only be enabled
back once this happens.

Change-Id: I053c8fec78876dea71439f1f1bd737a105254ad4
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Use PDF to set up the XCI VMs

This patch is doing the first work item of the spec:

https://github.com/opnfv/releng-xci/blob/master/docs/specs/infra_manager.rst

It creates the required VMs by XCI to afterwards deploy the VIM. It does that
by reading the pdf provided by the user.

- It is currently assumed that the OS for the VM will be installed in the first
disk of the node described by the pdf

- It is assumed that the opnfv VM characteristics are not described in the pdf
but in a similar document called opnfv_vm.yml

- All references to csv from bifrost-create-vm-nodes were removed

Change-Id: I46a85284e4ce7df21cbf66f66619b35f74251e68
Signed-off-by: Manuel Buil <mbuil@suse.com>
Co-Authored-by: Markos Chandras <mchandras@suse.de>

xci: playbooks: manage-ssh-keys: Create regular user and SSH keys

We may need to perform non-root tasks on the nodes, so we should have a
regular user present as well.

Change-Id: I0b824f1875ce04fe67424fc96e754e06da53be8d
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: var: opnfv_vm: Add descriptor file for OPNFV VM node

The OPNFV VM acts as a sandbox for installing and running bifrost so
it is pdf agnostic. As such, we use its own descriptor file to provision
this node.

Change-Id: Ice33dc744c04147f9c746285c583de56b8353cc3
Co-Authored-by: Markos Chandras <mchandras@suse.de>
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: xci-lib.sh: Install shade and python-pyyaml on the deployment node

In preparation for using PDF/IDF to deploy nodes in XCI, we need to have
shade and python-pyyaml on the host since these are requirements for the
OpenStack Ansible modules (eg os_ironic) and the dynamic inventories.

Change-Id: Ie26af0dc58599af6e29a47d91707976dcf16ac6d
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: roles: create-vm-nodes: Add role for creating XCI VM nodes

Add a new role based on the bifrost one to create nodes for the bifrost
virtual deployments. This role will install and configure libvirt on the
host, download a prebuilt OPNFV VM image and deploy the OPNFV VM using
that image. Moreover, it will create the rest of the nodes for the
virtual deployment which will be configured by bifrost later on.

Change-Id: I9fbd084261351d3b53ae373060f43df046191c5e
Co-Authored-by: Markos Chandras <mchandras@suse.de>
Signed-off-by: Manuel Buil <mbuil@suse.com>

Pin functest-healthcheck docker image to known sha

Functest changes have significant impact which blocks everything in XCI so this
change pins the image to a known sha to get the original set of healthcheck
testcases until the impacts are analysed and concerns are raised to Functest
and the wider OPNFV Community and addressed based on community consensus.

Pinned version of functest-healthcheck contains the test cases below.
- connection_check
- api_check
- snaps_health_check

deploy-scenario:os-nosdn-nofeature
installer-type:osa

Change-Id: Ic9222af8c27e58491b7b60a7504df9d792b5e753
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: vm: start-new-vm: Copy deployment image to clean VM"

xci: vm: start-new-vm: Copy deployment image to clean VM

In order to save us some time and bandwidth we can copy the deployment
image to the clean VM in order to be used by bifrost to prepare the
virtual machines. Moreover, we also put our key there so we can ssh
as the root user.

Change-Id: Id21e19aaefde71862c21180129c664c1bf121c32
Signed-off-by: Markos Chandras <mchandras@suse.de>

spec: create k8-calico-onap scenario

Spec file for the addition of a new XCI scenario which deploys Open
Networking Automation Platform (ONAP) on top Kubernetes deployment
through ONAP Operations Manager (OOM) tool.

Change-Id: I01385fdeeb942154d9cce630552bd3e7713d3cdb
Signed-off-by: Victor Morales <victor.morales@intel.com>
Signed-off-by: Jack Morgan <jack.morgan@intel.com>
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: dynamic_inventory: Add new entry for deployment_host"

Add k8-odl-coe spec

This spec proposes adding an XCI senerio that uses OpenDaylight COE and
NetVirt with Kubernetes for pod networking.

Change-Id: I3418542cf22df0f4d04e167903f2bb59151fa0a6
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

xci: dynamic_inventory: Add new entry for deployment_host

The deployment host is normally the host which runs the various
playbooks so we add a new entry in the inventory for localhost.

Change-Id: I43baddf4fabd69579c1a02f55ece230a062c2d9b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "roles: bootstrap-host: Ensure DNS info from IDF is respected"

xci: osa: switch back from GitHub to OpenStack OSA repos

Switching to github.com for the gitclones did not make much of a
difference since we are still seeing randomg SSL failures during git
clones. So we can switch back to git://git.openstack.org hoping that
the git protocol will be more efficient than https. Moreover some
projects are moving away from github mirroring and this breaks our
tests.

Change-Id: I8188ec7cbfbf16eeb4634bd9a44b12a104ce1059
Signed-off-by: Markos Chandras <mchandras@suse.de>

roles: bootstrap-host: Ensure DNS info from IDF is respected

We are configuring static IPs in the various nodes but we don't do
anything for DNS assuming that DNS is being configured by another
entity. However, the IDF file already contains DNS information for us
so we should use that instead. Moreover, we update the IDF file to use
the gateway as DNS instead of the Google one in order to make it more
usable on restricted networks.

Change-Id: Ieba58ec9558080a1296e204c4f99bae859e9daef
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: OSA: Bump Queens SHAs to fix spice-html5 repo relocation

The spice-html5 repository moved from github to its own gitlab hosting
and that broke everything. As such, we update the OSA roles which
contain the correct URL for the new repository.

Change-Id: I3e2883c0436c9c93d2a8a338343ca3a75a1431e4
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: xci-lib.sh: Use the OSA requirements file for pip components

OpenStack-Ansible maintains a requirements file which ensure that a
working combination of pip/setuptools/wheels/virtualenv can be mixed up
with distro packages so it's beneficial to take that into consideration
when building our environment.

Change-Id: Ic5398de3e464e1526f8d9fb6b6460907ac30084a
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: kubespray: Use bootstrap role for k8s deployments"

Reorder scenarios in opnfv-scenario-requirements.yml

Put OpenStack scenarios and Kubernetes scenarios together.

installer-type:kubespray
deploy-scenario:k8-canal-nofeature

Change-Id: I6a47b0b3703e30ac9a2be53012687217a085ee88
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Unpin all XCI scenarios for development"

Merge changes from topic 'move-sourcing-files'

* changes:
  xci: Move the rest of functions to xci-lib.sh
  xci: file: xci-lib.sh: Avoid sourcing xci-lib.sh twice
  xci: Move sourcing of configuration files to the install-lib.sh

Unpin all XCI scenarios for development

Change-Id: I73a7c58a27c9018d0b131dc3c8bb65da91488c35
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

integrate k8-contiv-nofeature scenario in XCI

Change-Id: I5f18e1060cb45246a15584fdd69c6c6bd3427001
Signed-off-by: wutianwei <wutianwei1@huawei.com>

xci: kubespray: Use bootstrap role for k8s deployments

The bootstrap role configures NTP and networking on hosts so we
should use it on k8s deployments as well.

installer-type:kubespray
deploy-scenario:k8-nosdn-nofeature

Change-Id: I04bd1e1c2c325baabfb836bd8cca60c5f59344c7
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Move the rest of functions to xci-lib.sh

The xci-deploy.sh contains several functions used throughout in the
XCI deployment so we should move thse to xci-lib.sh file.

Change-Id: Iae6751619beea85b894900e5cd2f91a433410f66
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: file: xci-lib.sh: Avoid sourcing xci-lib.sh twice

The file can be sourced from multiple places so we need to avoid
sourcing it twice.

Change-Id: I7d47f3d7e461d90d5456c95a1f7a791b4e3a2bde
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Move sourcing of configuration files to the install-lib.sh

The install-lib.sh assumes that certain configuration files have been
loaded before it's sourced. However, this doesn't work well when other
scripts are using install-lib.sh directly since they also need to load
the same configuration files. As such, lets source all these
configuration files from the install-lib.sh file directly. We also
rename this file to 'xci-lib.sh' since it's not just about installation
helpers anymore.

Change-Id: I35e1e804db06b2bb512e4991e5fdf21a72ffaadb
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: kubespray: Switch kubespray to dynamic inventory"

Merge "spec: PDF and IDF support"

Merge "Pin generic scenarios to project internal tag 6.0.1"

Merge "xci: Wipe repositories at the beginning of the deployment"

Pin generic scenarios to project internal tag 6.0.1

deploy-scenario:os-odl-nofeature
installer-type:osa

Change-Id: I33e10589092ee1027fa2f27fc3c000a0031eaf38
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: bootstrap-host: Fetch netmask information from IDF"

Merge "xci: get-opnfv-scenario-requirements: Fix stale scenario facts"

Merge "xci: Bump Kubespray SHAs and install ansible modules"

Merge "xci: xci-deploy.sh: Only check for xci_overrides files in scenarios cache"

xci: Wipe repositories at the beginning of the deployment

We should not wipe the repositories in the localhost playbooks since
it makes it somewhat hard to debug problems. We should do that at the
beginning of the deployment to ensure that we start without any stale
git data.

Change-Id: I70b2ac77284a9ca304d6aa68dbf1654f59260dc4
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: xci-deploy.sh: Only check for xci_overrides files in scenarios cache

xci/scenarios has been removed from releng-xci so there is not point in
checking for xci_overrides files there.

Change-Id: If6b9306968817b0ba8fb362b532ac8492d274676
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: xci-deploy.sh: Print scenario git SHA"

xci: get-opnfv-scenario-requirements: Fix stale scenario facts

We always need to update the local facts for the scenario we are
deploying in order to avoid deployments with stale data.

Change-Id: I36298d2ebc1b813e95a2f213cd13649a0b4e04bf
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: bootstrap-host: Fetch netmask information from IDF

The IDF file contains the netmask for every network so we should use
that information instead of using hardcoded values.

Change-Id: Ie798cb49563bdb72fdfb7b6e9e269692bf1f7bc9
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: kubespray: Switch kubespray to dynamic inventory

The kubespray installer contains one inventory per flavor. We can get
rid of these files and use the dynamic inventory similar to OSA.
Moreover, we extend the dynamic inventory to read additional group
variables per flavor if necessary. This way we can still pass additional
information to inventory on per-flavor basis. This also fixes a typo
in the 'IDF' file. We also need to bump Ansible for kubespray since the
version we were using is having troubles with dynamic inventories.

Change-Id: Ic58101555f81aec5fee3c193608440aa89bbe445
Signed-off-by: Markos Chandras <mchandras@suse.de>

Pin os-odl-sfc to project internal tag 6.0.1

deploy-scenario:os-odl-sfc
installer-type:osa

Change-Id: I583c8620f29b0735a52c64309d2113f56d38be1e
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: Bump Kubespray SHAs and install ansible modules

1. this change bumps Kubespray SHA to the HEAD of "master" as of 16.05.2018
2. install ansible-modules-hashivault, due to kubespray refactor vault role
   https://github.com/kubernetes-incubator/kubespray/commit/07cc98197187535619ac8e57ee4e04ae02631a5

installer-type:kubespray
deploy-scenario:k8-nosdn-nofeature

Change-Id: I2e3ade3b16eac1506e8556fe1820d84d64c09435
Signed-off-by: wutianwei <wutianwei1@huawei.com>

xci: xci-deploy.sh: Print scenario git SHA

It's useful to be able to tell which particular version of the scenario
we are deploying so we print the git SHA along with the rest of the
deployment information.

Change-Id: If59651fe01449252a2cebcf24c5278ebeb1ac3ea
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: osa: Add initial dynamic inventory from PDF/IDF files"

Merge "xci: idf: Add more information for installers and flavors"

Merge "xci: scripts: start-new-vm.sh: Fix ID for openSUSE Tumbleweed"

xci: scripts: start-new-vm.sh: Fix ID for openSUSE Tumbleweed

Recent openSUSE Tumbleweed releases are now using 'opensuse-tumbleweed'
as distro ID so we need to take that into consideration in order to be
able to use the script on such systems.

~$ source /etc/os-release && echo ${ID}
opensuse-tumbleweed

Change-Id: Ibdfb4292d53dc4d20376230a4131b212f9492e54
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Connect releng-xci-scenarios repository

The releng-xci scenarions have been moved to their own repository so we
delete the copies from the releng-xci repository and also update the
opnfv-scenario-requirements to point to the new repository.

deploy-scenario:os-nosdn-nofeature
installer-type:osa

Change-Id: I1b7b3182a5e0c5b346c00b5734fd0cd3fdd5c98b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "fix k8 aio flavor undefined variable"

fix k8 aio flavor undefined variable

1. fix error that kube_require_packages is undefined
2. add "remote_user: root" in configure-kubenet.yml
   if don't add this, it will have issue to connect host.
   fatal: [opnfv]:UNREACHABLE! => {"changed": false, "msg":
   "Failed to connect to thehost via ssh: Permission denied (publickey,password).\r\n",
   "unreachable": true"}

installer-type:kubespray
deploy-scenario:k8-nosdn-nofeature

Change-Id: Ia8d1980ad18375c0cff3a97b284b0f53d7539e23
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "New SHA for ODL"

New SHA for ODL

We need a patch in the ODL role to be able to deploy a stable ODL.
Before this patch, it is not possible to deploy with a stable
version of ODL and we are always deploying with the tip of the branch.
However, it is useful to deploy with a version which we know for sure
that it is working.

deploy-scenario:os-odl-sfc
installer-type:osa

Change-Id: I539a5afa41598f54c3eeb2f1096022c73aa942b9
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: installer: Do not use XCI_ANSIBLE_PARAMS on remote nodes

The XCI_ANSIBLE_PARAMS is used to pass extra Ansible parameters to XCI.
However, these parameters may not make sense when Ansible is running on
any of the remote nodes, so we should't use it there. If passing
information to "remote" Ansible is required, then we need to come up
with a new variable.

deploy-scenario:os-nosdn-nofeature
installer-type:osa

Change-Id: Ib6343fbfe3af1514c2e7e8948c12e3b19b455fe3
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: osa: Add initial dynamic inventory from PDF/IDF files

The PDF and IDF files contain all the information we need for the
virtual XCI deployment, so we can use it to create a dynamic inventory
and get rid of all the static ones which could easily get outdated
as PDF and IDF files evolve over time.

This inital version of the dynamic inventory contains a lot of
unnecessary generated information but we do that in order to ease
the migration from static files to the dynamic inventory. The dynamic
inventory will be improved in the future as we consume more and more
information from the PDF and IDF files.

Change-Id: Id9f07a61c67a5cffcbc18079a341e5d395020a27
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: idf: Add more information for installers and flavors

Each installer has its own Ansible groups so we need record such
information separately. Moreover, we need to add 'flavor' information
to the IDF so we know which hosts belong to what flavor. This also
fixes the kubernetes installer type to be 'kubespray' instead of 'k8s'
Finally, we extend the IDF to also set appropriate hostnames for the
nodes.

Change-Id: I52b20908ad927840e0b38fba96be8faf6da2b52d
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: osa: Bump SHA to fix resolv.conf file creation and git-clone issues

Container images have recently changed and this breaks lxc_hosts during
cache preparation as shown below:

May 04 07:59:47 fatal: [controller00]: FAILED! => {"ansible_job_id": "362521755821.32697",
"attempts": 1, "changed": true, "cmd": "chroot /var/lib/machines/ubuntu-xenial-amd64 /usr/local/bin/cache-prep-commands.sh
> /var/log/lxc-cache-prep-commands.log 2>&1", "delta": "0:00:00.018827", "end": "2018-05-04 07:59:45.614668",
"finished": 1, "msg": "non-zero return code", "rc": 1, "start": "2018-05-04 07:59:45.595841",
"stderr": "", "stderr_lines": [], "stdout": "", "stdout_lines": []}

As such, we need to bump the SHA from the Queens branch to include the
fix in XCI.

We also need to bump SHA for repo_build role in order to bring
in some upstream fixes when cloning git repositories.

Change-Id: I9f04313f7eb1606e5e71ab8ecee7148d1c5b75ad
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Remove intermediate scenarios tasks file

Now that the scenario role is recorded as a local fact, we can
include the role directly directly so we don't need the the
intermediate file anymore.

deploy-scenario:os-nosdn-nofeature
installer-type:osa

Change-Id: Ia3c5658826f115538b2a103d987ee8f33d3048b9
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Improve scenario bootstrapping process

It's best to check whether the scenario/distro/flavor combination is
supported before spending time cloning all the scenarios. Moreover,
we can record the scenario information as a local fact so we can use
it during the deployment later on.

Change-Id: I1971444c6c6302a844f44ea651ad3b83c4da435c
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: playbooks: Simplify scenario overrides mechanism

Now that releng-xci does not have any internal scenarios anymore, we can
simplify the way we plug scenarios to XCI. We keep cloning scenarios in
the cache directory but we also allow users to pass a special
'xci_scenarios_overrides' variable similar to the
'opnfv_scenario_requirements.yml' file to allow them to override
specific keys of the dictionaries. This can be used by Jenkins to test
incoming changes by altering the defaults values. For example, when
we want to test a Gerrit change we can create a file called foobar.yml
with the following contents

xci_scenarios_overrides:
  - scenario: os-odl-sfc
      version: 9fa5400012e02408b416eb7bd26307e7d179abce
      refspec: refs/changes/79/55879/7

and load it using

XCI_ANSIBLE_PARAMS="-e @foobar.yml"

This will make XCI checkout the refspec that we want instead of the
default version.

Change-Id: Ida49910b4c79b843582ddd70c00063fe9bc90dd4
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: roles: bootstrap-host: Simplify configuration files

We split the networking task on distro specific files to make it
easier to read. Moreover, the debian network configuration has been
improved by simply sharing a common file across all nodes and also
use the 'source' facility in the main /etc/network/interfaces file
to use one configuration file per interface.

Change-Id: Ic822fe6dc197227e70c0ba7cee812629df287d82
Signed-off-by: Markos Chandras <mchandras@suse.de>

spec: PDF and IDF support

XCI baremetal is a big feature which will require a lot of patches and lines of
code. Before starting the contributions, a spec will allow us to discuss and
agree on the general aspects of its architecture and implementation. That will
hopefully facilitate and increase the velocity of its reviews.

This patch provides a spec with the general design ideas for the infra_manager
tool which will allow XCI to be deployed on baremetal. Its architecture is
based on the contributions from David. All the content of the spec is questionable
even the structure of the spec :)

Change-Id: Ie4b096482c8150a04d3d3b2df0e2ca8a280aad10
Signed-off-by: Manuel Buil <mbuil@suse.com>