xci: file: ansible-role-requirements: Bump SHA for rabbitmq-server

The rabbitmq-server contains some fixes for SUSE so lets just bump this
role instead of switching the entire OSA pin SHA so close to the Euphrates
release.

Change-Id: Ic034ed4bd9e290cadc5336d781b0e24036d5cd46
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Check if /etc/ssl/certs exists before creating it"

Create the structure for the documentation

This change puts the initial structure for the documentation.

Change-Id: I4ff075874815bfcd1834049ae205a02b72bae75f
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Check if /etc/ssl/certs exists before creating it

In CentOS and Suse, /etc/ssl/certs is a symbolic link to
/etc/ssl/pki/tls/certs.  The Ansible module "file" will fail if it is asked to
create a directory which is already a symbolic link.

This patch will check if /etc/ssl/certs exists before trying to create it.

The same check is done both on the host and the opnfv guest VM.

Also, /etc/certs is only writable by root, so we need a "become: true" clause
to be able to modify it in localhost (but not in opnvf VM).

Change-Id: Iab6c3c162548f84ad6082829e4a7c2ab63d2cfa0
Signed-off-by: Tapio Tallgren <tapio.tallgren@nokia.com>

Merge changes from topic 'fix-vm-on-jenkins'

* changes:
  xci: xci-deploy.sh: Apply workaround for checking db cluster on SUSE
  xci: playbooks: synchronize-time: Fix service name for openSUSE
  xci: configure-opnfvhost: Do not run 'remove-folders'
  xci: scripts: build-dib-os.sh: Pin diskimage-builder
  xci: configure-opnfvhost: Do not check /etc/ssl/certs on SUSE

xci: xci-deploy.sh: Apply workaround for checking db cluster on SUSE

The mysql socket path is wrong on SUSE which leads to problems when
trying to verify the status of the db cluster. Apply workaround until
it's fixed upstream

controller00_galera_container-56c89184 | FAILED | rc=1 >>
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2 "No such file or directory")

Change-Id: I23192f4079526ae7820a1db023a097a651a09140
Link: https://review.openstack.org/508154
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: playbooks: synchronize-time: Fix service name for openSUSE

In openSUSE, the chrony service is 'chronyd'.

Change-Id: Ifb946b0ba49783108a84dd5b998d9d45f5c9df51
Signed-off-by: Markos Chandras <mchandras@suse.de>

Ensure the pinned versions of components match to the pinned OSA

The versions for the OpenStack services and global requirements
need to be pinned alongside with the OSA SHA1 and the role versions
to ensure we pinned everything.

This change is required for osa-periodic jobs as well since that
job will use sources-branch-updater.sh script and the script updates
these files to ensure things are pinned correctly.

    modified:   ansible-role-requirements.yml
    modified:   global-requirement-pins.txt
    modified:   playbooks/defaults/repo_packages/openstack_services.yml
    modified:   releasenotes/notes/glance-init-config-overrides-d1c8c3dcc50c109a.yaml
    modified:   releasenotes/notes/neutron-init-config-overrides-9d1d2b3b908705ed.yaml
    modified:   releasenotes/notes/trove-init-config-overrides-a78ed428a32adef8.yaml

By doing this change, we do not need to have any
magic to capture updates to those files. Just updating the files
we keep in xci/file folder will be sufficient and they get copied
over during the playbook execution.

Change-Id: Iae0db22574a0368e896132469a8587d1457ce177
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: configure-opnfvhost: Do not run 'remove-folders'

The OPNFV node is brand new and it doesn't have any traces
of XCI directories so there is no point in running the
'remove-folders' role.

Change-Id: Ic9b9203cc14abda2dab406de6a5feeef6a1b7e2a
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: build-dib-os.sh: Pin diskimage-builder

diskimage-builder does very frequent releases and sometimes things
break. There is no particular reason to always fetch the latest version
so lets do it in a controlled way after proper testing.

Change-Id: Ie9685a9a15fa7fefa1c5ecea49090ac9d92e63ff
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: configure-opnfvhost: Do not check /etc/ssl/certs on SUSE

This is similar to Ibc188b76f47c4f7d1c5aa452a21e838420d65e6a
/etc/ssl/certs is a symlink so skip this task on SUSE.

Change-Id: Iae38640501748dc3dd802ce795acfaeefd836c97
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge changes from topic 'fix-vm-on-jenkins'

* changes:
  xci: scripts: start-new-vm.sh: Fix paths for default XCI test
  xci: Replace ANSIBLE_VERBOSITY with XCI_ANSIBLE_VERBOSITY
  xci: scripts: start-new-vm.sh: Print dib output when running on CI
  xci: scripts: start-new-vm.sh: Use 'unsafe' cache for the clean vm disk
  xci: xci-deploy.sh: Make sure all local Ansible installations are gone
  xci: scripts: start-new-vm.sh: Do not allow multiple build-dib-os processes

xci: scripts: start-new-vm.sh: Fix paths for default XCI test

The XCI test is located in ~/releng-xci inside the new VM so we need
to look there for an existing one or for executing it after the default
one has been created and copied to the remote host.

Change-Id: Ieb195293da7832bcb5d29c8a28cc3477205f2e5e
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Replace ANSIBLE_VERBOSITY with XCI_ANSIBLE_VERBOSITY

The ANSIBLE_VERBOSITY env variable is actually used internally by
Ansible and exporting it actually makes Ansible super verbose even if
the variable is empty. This feature is going away in the future so we
introduce our own XCI_ANSIBLE_VERBOSITY variable which is simply passed
to the command line to control verbosity in a proper and deterministic
way.

Change-Id: I8a32eeb1a86b4cb0a9872a51bbe9f9624d096e39
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Print dib output when running on CI

Until we are able to fetch the dib images from external resources, we
need to build them as part of the job. diskimage-builder can sometimes
fail so we need to be able to see the log for debug purposes.

Change-Id: Iab8bfba08daa7095cf76537f629c8e7bf6330b17
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Use 'unsafe' cache for the clean vm disk

This is not a production virtual machine and we don't care
if we lose data in case it's killed unexpectedly so we can just
ignore the 'flush' commands from the guest. This will also improve
the overall I/O in the VMs.

Change-Id: Ib486a073f667e22f4a1e65a220ac553874f708cc
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: xci-deploy.sh: Make sure all local Ansible installations are gone

We need to ensure that all Ansible installations are gone before we
install it again so we can ensure that a local or system wide
installation will not take precedence over the one we try to install.

Change-Id: I9daf66d661697baf63340ba4af1cd58fbd81f143
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Do not allow multiple build-dib-os processes

apt-get is really unhappy when another instance is running and fails
with the following error:

E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)
E: Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?

Change-Id: I2fe343fdab8438cb112cce0a4f81c7e3977c55f9
Signed-off-by: Markos Chandras <mchandras@suse.de>

Remove the quotes from the IP

Functest complains that it cannot connect to the installer because it does
not understand the ip or hostname. The cause for this is the quotes in the
template

Change-Id: I75c30b7f1bbcee3f968692b4347ceb13ab1131d2
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "xci: scripts: Fix script to run on Jenkins CI"

Create a role which prepares xci for functest

Functest requires xci deployment to have:

- A public neutron network
- A subnet attached to the public neutron network
- The gateway from the subnet attached to one interface

The network and subnet creation are done via a script
instead of using Ansible OpenStack module in order to
get things working asap.

These three tasks are implemented in a role

This patch depends on a pending patch:

https://gerrit.opnfv.org/gerrit/#/c/39517/2

Change-Id: I0635227153087fd9e25b76f0859f82bf48bfb930
Signed-off-by: Manuel Buil <mbuil@suse.com>
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: scripts: Fix script to run on Jenkins CI

A couple of tweaks are necessary to get it working with Jenkins
- Jenkins jobs could contain the 'xci' string so make the regexp
more accurate.
- Rename VMs to use a more accurate name
- Fix ssh public key location
- Create a fresh /etc/hosts since distro may not have one.
- Set hostname on VM

Change-Id: I332a424bc8b2de98d7b326c192996b7b12c79dd7
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: file: Update package metadata before installing packages

We may have old or no metadata for packages at all so package
installations may fail. As such, lets sync with upstream mirrors
before we try to install any packages.

Change-Id: I15f73e46d4f0cae2c50d23a92e0f4da83821039e
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: scripts: Add script to use clean virtual machines for testing"

Merge "bugfix: Correct the role in aio configure-opnfvhost.yml"

xci: scripts: Add script to use clean virtual machines for testing

These scripts will prepare a clean OS image based on diskimage-builder
and launch a new VM with it. The purpose of that is to use this virtual
machine as a 'host' to run XCI on it. This way we can ensure that all
tests are being executed on the same clean environment which is ideal
for reproducing and debugging purposes. We also commit the ssh keypair
so we can build it in the image and use it to control the virtual
machine without user interaction. Needless to say that this keypair MUST
NOT be used for anything else apart from the dib build process.

Change-Id: Idec0fc06c82435adc1a4d569b8e578616998de5f
Signed-off-by: Markos Chandras <mchandras@suse.de>

bugfix: Correct the role in aio configure-opnfvhost.yml

Change-Id: Ie70800f6cbc07c505739a870be304d9153941dec
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Log Horizon URL, admin username and password on console.

Added so that user need not traverse files for these parameters

JIRA: RELENG-221

Change-Id: I1c445ea34ef9494d5bef3a6cba0c8d40bacba29f
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Merge "Install docker and shade on opnfv host"

Merge "Reduce no of cpus allocated per node"

Merge changes from topic 'split-variable-creation-to-task'

* changes:
  xci: configure-localhost: Do not check /etc/ssl/certs on SUSE
  xci: xci-deploy.sh: Ensure env_reset is not present

Merge changes from topic 'split-variable-creation-to-task'

* changes:
  xci: Move the destroy-env.sh script to xci-deploy.sh
  xci: provision-vm-nodes.yml: Merge plays

Merge "Override ansible role versions only if OSA version is not master"

Merge changes from topic 'split-variable-creation-to-task'

* changes:
  xci: playbooks: Include distribution var files dynamically
  bifrost: scripts: Look for virtualbmc on bifrost virtualenv
  xci: Gain elevated privileges to remove the XCI_DEVEL_ROOT directory
  xci: Move VM provisioning to xci-deploy.sh

Reduce no of cpus allocated per node

Change-Id: I62c167621e2b28a57b1ef7647d105ea73dbb0291
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Install docker and shade on opnfv host

Docker is needed for running tests against the deployment.
Shade is needed for managing OpenStack via Ansible.

This change adds tasks to install docker and shade on opnfv
host if it is run as part of CI.

Users should be free to install these if they want so it is
not installed for them by default.

Change-Id: Idfd0f02312cc5e1b0180ed2408755a8c730b987b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add the internal_vip(172.29.236.222) to used_ip

The IP in used_ip will not be used later
otherwise internal_vip may be assigned to lxc container,
which will cause issue during deploying

Change-Id: I9834dfa9b218b4dd23e20c8d57e05bb806dafa7b
Signed-off-by: wutianwei <wutianwei1@huawei.com>

xci: configure-localhost: Do not check /etc/ssl/certs on SUSE

/etc/ssl/certs is a symlink so skip this task on SUSE.

Change-Id: Ibc188b76f47c4f7d1c5aa452a21e838420d65e6a
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Move the destroy-env.sh script to xci-deploy.sh

There is no particular need to execute the bash script using Ansible.
Lets move it to the xci-deploy.sh script instead.

Change-Id: I0fa91195d9c3647bb4766d76c28892e2f13e1e98
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: playbooks: Include distribution var files dynamically

This is a continuation of I0a49e2ed8d811bb40a99612462752f8691133e0f
We need to convert these two plays to include the variable files
dynamically similar to the rest of the playbook.

Change-Id: I43203651ccafb03e015bfe4d1b075a7ee96b5adc
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: xci-deploy.sh: Ensure env_reset is not present

We are making use of 'sudo -E' to preserve environment variables
when using 'sudo' so we need to make sure that we don't use env_reset
in the configuration file.

Change-Id: I45a818da6c5c090ece67898e54f2dc4ba48cb452
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: provision-vm-nodes.yml: Merge plays

There is no need to have multiple plays executed on a single host group
so merge them all together into a single one.

Change-Id: Ie190cdecfbdcba48f75b21aa5930e1d9b8392aa0
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: scripts: Look for virtualbmc on bifrost virtualenv

Since I94874d600a29247b7826324cc111901995df90dc, bifrost installs pip
packages in virtualenv so we need to look there for virtualbmc if it's
not currently installed on the host.

Change-Id: Ia4c7e8a75c020dc00b920956495831cc77457876
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Gain elevated privileges to remove the XCI_DEVEL_ROOT directory

This is similar to 0927671781f6875926dac2e5f4bb10816e67070c. We need
elevated privileges to remove the XCI_DEVEL_ROOT directory so move this
role to its own play.

Change-Id: Ice4f030eeb28cd24a6166f11a5a792ab3df8880c
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Move VM provisioning to xci-deploy.sh

The bifrost-provision.sh script will provision machines using Ansible
playbooks. If we run this script in an Ansible playbook, that means that
we will run Ansible with Ansible and this can only lead to further
confusion when debugging issues. As such, since we already have a script
to provision machines, lets use it directly from the xci-deploy.sh
script. This also reverts 3f04e1fd72b14420788af64b14c35a5f74727f82 which
added virtualenv support in bifrost since that causes more problems than
it fixes for the time being.

Change-Id: Id82b7c06a2af28b66f64f1966227888227ec276f
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: provision-vm-nodes: Use sudo to remove the XCI directory"

Merge "bifrost: scripts: Do not run env-setup twice"

xci: provision-vm-nodes: Use sudo to remove the XCI directory

Since I00d77e1fc62cccda7920af3469af9d44247780f4 the entire XCI_DEVEL_ROOT
is being removed. However, some of the files are owned by root so we
need elevated privileges to remove these files and directories

Change-Id: Ie10018ded198b922077e38fa5776fca098418192
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Ensure XCI_DEVEL_ROOT is removed"

bifrost: scripts: Do not run env-setup twice

This is already done a few lines above since
I94874d600a29247b7826324cc111901995df90dc so there is no need to do it
twice.

Change-Id: I661516d9aadd265bf6869005718b2f51c57ff84d
Signed-off-by: Markos Chandras <mchandras@suse.de>

Ensure XCI_DEVEL_ROOT is removed

It is important to start with a clean XCI_DEVEL_ROOT in order to
ensure the leftovers from the previous deployment doesn't result
in successful or failed deployments due to not having it in sync
with the latest updates.

Change-Id: I00d77e1fc62cccda7920af3469af9d44247780f4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: synchronize-time: Install the chrony package and drop Xenial reference

The roles should pull all the packages they need so we need to install
the 'chrony' package everywhere and also drop the Xenial reference since
there is nothing Ubuntu specific here.

Change-Id: I51fb24573c0e884f8a96868e304b23140cc23b41
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: configure-nfs: Install the NFS server package

We need to explicitly install the nfs server package instead of bundling
it to the dib image since not every node needs it.

Change-Id: I73f59f4ed582359df80ea08712b433537c087aea
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: configure-nfs: Add SUSE support

Add ability to restart the NFS server on SUSE hosts.

Change-Id: Id5f0edb399151c62302b2e36bb9451ed35501d3f
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: configure-network: Add ability to configure network on SUSE hosts

Change-Id: I42c6f5f07ac87b5599758947fabe5fce36d44a2e
Signed-off-by: Markos Chandras <mchandras@suse.de>

Override ansible role versions only if OSA version is not master

If OSA version is set to master, we should use the role versions
directly from upstream to ensure we do not cause issues by the
use of wrong role versions.

Change-Id: I26005d23944445bf287384f90c7f2e139224ab23
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: xci-deploy.sh: Allow xci-deploy.sh to run on SUSE hosts

SUSE support is slowly being added to XCI.

Change-Id: I1ab6c01d3a33a9b2264992b5e1d202146972743f
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: xci-deploy.sh: Configure dib so VMs match the host

In preparation for adding SUSE support, we need to configure the dib
build process to build images which match the host's OS.

Change-Id: I4944245d526f916b2033abc5d219fa7a69db54ab
Signed-off-by: Markos Chandras <mchandras@suse.de>

Vagrantfile: Update base OS before installing XCI

The Vagrant image may be old and have stale metadata leading to
failures when installing packages. As such, it's best to update
it as soon as possible. This is also inline with the AIO documentation
which suggests to always use an up to date OS.

Change-Id: I43d9f8431e1a6ed877936adc65c54be466b76aff
Signed-off-by: Markos Chandras <mchandras@suse.de>

Vagrantfile: Bump memory requirements to 16G

Apparently 8G is no longer enought to deploy the 'mini'
flavor since the following error occurs:

[14505.101254] Out of memory: Kill process 23666 (qemu-system-x86) score 344 or sacrifice child
[14505.103404] Killed process 23666 (qemu-system-x86) total-vm:5566132kB, anon-rss:3008288kB, file-rss:0kB, shmem-rss:0kB

Change-Id: Iaa21ad367c63bf17a2c999082b5e09fa2e772d67
Signed-off-by: Markos Chandras <mchandras@suse.de>

Vagrantfile: Add workaround for empty /etc/hosts

Due to a bug in Yast2, /etc/hosts may be empty in Vagrant images so
add a workaround for it.

Change-Id: I1da9204a07f33008f9d5f1ec9ce976116e9d7a4c
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Move Vagrantfile to root directory

We need access to the entire releng-xci directory so we can use the
OPNFV_RELENG_DEV_PATH variable to use modified files for testing
purposes so we move the Vagrantfile to the root directory.

Change-Id: I941b6f2efff479024ff580c3d58fcdcbadd9aa7f
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Vagrantfile: Set $HOME/.local/bin to path

It appears that pip install --user puts files in .local/bin
which may not always be in $PATH.

Change-Id: Ifa9fb3ee448471a00986e7f6f51544a3e436c9e1
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Vagrantfile: Switch off privilege mode

The xci-deploy.sh script should not be run as root.

Change-Id: I8d78d9df218508a72b6e419d16c95739fc1801e0
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: playbooks: Add task for loading distribution variables

vars_files doesn't support loading files with variables in their names.
As such we add a new task to include these files before running any of
the roles. This fixes warnings like this:

Info: Starting provisining VM nodes using openstack/bifrost
-------------------------------------------------------------------------
No config file found; using defaults
skipping vars_file '../var/{{ ansible_os_family }}.yml' due to an undefined variable
skipping vars_file '../var/{{ ansible_os_family }}.yml' due to an undefined variable
skipping vars_file '../var/{{ ansible_os_family }}.yml' due to an undefined variable
skipping vars_file '../var/{{ ansible_os_family }}.yml' due to an undefined variable
skipping vars_file '../var/{{ ansible_os_family }}.yml' due to an undefined variable
skipping vars_file '../var/{{ ansible_os_family }}.yml' due to an undefined variable

Change-Id: I0a49e2ed8d811bb40a99612462752f8691133e0f
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: env-vars: Bump Ansible version to 2.3.2.0

Now that bifrost uses virtual env for Ansible we can go ahead and
bump the Ansible version to match the one from OSA so we can make use of
the latest features. Furthremore, we stop passing ANSIBLE_VERBOSITY to
the command line since it's an environment variable so Ansible already
knows about it.

Change-Id: I52d9a211fc0ced1f7830f6945b2943f35d38109b
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: Use virtual environment for bifrost

bifrost forces us to use an old Ansible version which means we can't
take advantage of new features in XCI playbooks. As such, we move the
entire bifrost step to a virtual environment so we can have a newer
version of Ansible on the host.

Change-Id: I94874d600a29247b7826324cc111901995df90dc
Signed-off-by: Markos Chandras <mchandras@suse.de>

Disable strict host key checking for galera cluster check

The command to check the galera cluster fails due to having strict
host key checking enabled.

This change disables strict host key checking for galera_container
to ensure we can verify if the database cluster is operational.

OSA does this for aio on their gate and put host key checking
configuration to group_vars which we might need to do as well.

Change-Id: Ifc59581d979c71f1db1b87126659470dc85cc2db
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Generate and use certificates for OSA"

Merge "synchronize-time: Retry if chrony failed due to NTP issues"

Generate and use certificates for OSA

Instead of making OSA to generate self signed certs, bring our
own and pass them.
By this way we will be able to trust in that certs, and start
consuming OpenStack easily.

It will also generate proper openrc file to source it and start
consuming the cloud properly.

Change-Id: Ic72a8b05e6efb222926fc5fa0800e033b2dbd22f
Closes-Bug: RELENG-266
Signed-off-by: Yolanda Robla <yroblamo@redhat.com>

synchronize-time: Retry if chrony failed due to NTP issues

chrony randomly fails with the following issue

TASK [synchronize-time : synchronize time]
*************************************
fatal: [controller00]: FAILED! => {"changed": true, "cmd": "chronyc -a 'burst 4/4' && chronyc -a makestep", "delta": "0:00:00.004991", "end":
"2017-09-14 19:30:37.561972", "failed": true, "rc": 1, "start": "2017-09-14 19:30:37.556981", "stderr": "", "stdout": "200 OK\n503 No
such source", "stdout_lines": ["200 OK", "503 No such source"],"warnings": []}

As such, lets retry a few more times before giving up.

Change-Id: I20767bb3031061c03c9ba8dbc65859c7312bfac9
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: xci-deploy.sh: Do not 'tee' ssh output"

xci: xci-deploy.sh: Do not 'tee' ssh output

Using 'tee' to capture 'ssh' command output randomly breaks with the
following error:

tee: standard output: Resource temporarily unavailable

Lets just store the log on the host and copy it back in the end.

Change-Id: I41edac138b8642e8765d5c1e5974b375b5b3203b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: SHA bump as of September 5th 2017"

Merge "xci: scripts: Update wording for comments"

Add ~/.local/bin to PATH if it is not there already

Change-Id: Ie9481ce8ec891313b613d824a8f8943e706884f7
Signed-off-by: Tapio Tallgren <tapio.tallgren@nokia.com>

xci: SHA bump as of September 5th 2017

The SHA bump is required for SUSE support.

Change-Id: If21e7658ee2ee967c458c08d186b5c1d07b5d93c
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: Update wording for comments

Update wording so it matches the upstream one and minimize the
noise on a-r-r updates.

Change-Id: I216c1ee1ac4f24ab2c5a382bfe5e2aacf324024a
Signed-off-by: Markos Chandras <mchandras@suse.de>

bugfix: Add symlinks for interface files for additional hosts

This is a temporary fix to get noha and ha flavors working.
We should normally use bifrost inventory and have templates for
opnfv, controller, and compute groups rather than per host basis.
But since that is still pending to be done, this change tries to
make sure what we have now continues working.

Change-Id: I9132c474754f4d11d1b9e4b1288b449703994db8
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "cinder: Bring in the fix for cinder online migrations command"

Merge "keepalived: Bring in the fix for iteritems for python3"

Merge changes from topic 'initial-multi-distro-support'

* changes:
  xci: playbooks: configure-nfs: Prepare for multi-distro support
  xci: playbooks: configure-network: Prepare for multi-distro support

Merge "xci: Vagrantfile: Add openSUSE Leap 42.2 and 42.3 support"

cinder: Bring in the fix for cinder online migrations command

This change fixes the bug with cinder online migration command by moving
osa version to commit 691c59 and moving the cinder role version to
commit 96160f. [1][2]

The issue appears when the flavor is set to ha.

[1] https://review.openstack.org/gitweb?p=openstack/openstack-ansible.git;a=commit;h=691c59f25e5d271c670c24d12e8d60fa422441e1
[2] https://review.openstack.org/gitweb?p=openstack/openstack-ansible-os_cinder.git;a=commit;h=96160f084d89355ba62980b1ebbedf0eef7c7b20

Change-Id: I5339d1fd00a1b108f09c1221e5a3cbecc2f35182
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add note to explain how role versions can be adjusted

The OSA version can be overriden by users to move to a later
version of it (such as master).

This change adds cautionary note to README to explain what
they can do in this situation.

Change-Id: I3e4943c2c4af10001b07ffd289bd300bb5f80244
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

keepalived: Bring in the fix for iteritems for python3

This change moves the keepalived role version to commit b13e08 in
order to bring the fix applied in upstream, switching from iteritems
to items for python3. [1]

The flavor ha is enabled back due to incorporating the fix to xci and
the note in README.rst is removed as well.

https://github.com/evrardjp/ansible-keepalived/commit/b13e0840b09154a6d2470f71fea8eaa968525c5b

Change-Id: I6e03f579f1107475f4b4adf54699fc4f924beec3
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Disable tempest playbook

download.cirros-cloud.net is having trouble and failing patchset
verification jobs.

Apart from that, we are switching to healtcheck tests using OPNFV
test framework so this patch fixes the current issue and prepares
for the future.

Change-Id: I593d3b2424250f12c8f32701007e97408e72e40d
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: playbooks: configure-nfs: Prepare for multi-distro support

There is nothing Ubuntu specific in this role apart from the nfs server
service name. As such we remove the block statement and make the service
name configurable in order to prepare for multidistribution support.

Change-Id: I3c8202315fc49b5e5afc2a0d03eaf80d83db5f4c
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: playbooks: configure-network: Prepare for multi-distro support

Move the network templates inside the role since it's their only user.
Moreover, remove the arguments when we include the role in playbooks and
move the distro logic to the role itself.

Change-Id: I938686fdb31b9896b9e97339799a0edd4c34bf36
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Vagrantfile: Add openSUSE Leap 42.2 and 42.3 support

Add support for testing the XCI in the latest openSUSE Leap releases.

Change-Id: I9b649b7076e031b162a10a976debf305299cf4f7
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Bump OSA SHA to Pre-Pike

This change bumps osa sha to 4d39f2cc. [1] The reason for going to a later
osa sha is to include ODL and Tacker commits in upstream to ease the work
done for ODL and SFC scenarios. However, this osa sha seems to be having
issues with the flavor ha so the users should be aware of the problems
which is added into the readme as known issue and the flavor is disabled
in xci-deploy.sh.

Another reason to bump sha right now is that upstream changed a lot during
last 2 months and waiting longer will probably result in more changes, making
it harder to move to a later osa sha even harder.

Other changes included by this change are

- update ansible role requirements to move to shas pinned by upstream for pike.
- add odl and tacker roles into ansible role requirements.
- update how aio is deployed due to removal of an upstream script. (this could
perhaps have been done in a better way but the time pressure required this to
be fixed in the way as proposed.)
- ensure facts are gathered for all the hosts and containers before
running setup-infrastructure.yml playbook.
- stop grepping for failed in the log of setup-hosts.yml playbook due
to existence of rescue block in rabbitmq_cluster_create.yml [2].
- reduce the resource needs by updating the user_variables that are
based on upstream osa gate which uses aio. The values for none-aio xci
flavors will be adjusted in a separate change once the sha bump is complete.
- fix a bug in ha-vars.

[1] https://review.openstack.org/gitweb?p=openstack/openstack-ansible.git;a=commit;h=4d39f2cc29417153780210fc0bb86223387e9968
[2] https://review.openstack.org/gitweb?p=openstack/openstack-ansible-rabbitmq_server.git;a=blob;f=tasks/rabbitmq_cluster_create.yml;h=4aaad5adafa42684c0d791b49539069fe1b45635;hb=HEAD#l24

Change-Id: Ia7fc495e315e4a41359641f8be4b3c8bbf7b61fa
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Update the repo directory structure

This patch
- removes obsolete openstack-ansible and puppet-infracloud directories
- adds upstream directory to keep the contributions that are pending to
be accepted by upstream in order to have progress in OPNFV. In a perfect
world, one should expect to have nothing in this directory so the items
in this folder are short-lived.
- adds prototypes directory to keep stuff that hasn't been discussed to be
part of XCI and to share ideas and trials with the rest of the community.

Change-Id: I12afe7050ff2b0ac457d4b16d21dfd7df6ac84c9
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "prototypes: bifrost: destroy-env: Always destroy XCI VMs"

prototypes: bifrost: destroy-env: Always destroy XCI VMs

It's possible that a previous run failed before registering the VMs
to the vbmc. As such, consulting the vbmc to retrieve the VM names will
return nothing and no VM will be deleted. As such, it's best to get
the VMs from the currently XCI profile and make sure they are really
gone.

Change-Id: If11265655f42c8a1c7627c9139ac0cbfc002b1fe
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Refactor releng/prototypes/xci to releng-xci/xci in the code"

Merge "bifrost: scripts: Disable selinux on Centos7"

Merge "prototypes: xci: xci-deploy.sh: Only allow XCI on Ubuntu"

Merge "prototypes: xci: config: Allow users to set VM specs"

prototypes: xci: xci-deploy.sh: Only allow XCI on Ubuntu

There is no support for openSUSE or CentOS right now yet the
script runs happily on these hosts until it breaks in horrible
ways. The only place we explicitly ask for Ubuntu hosts is the wiki
which can easily be missed by newcomers. As such, modify the script
to only run on Ubuntu hosts.

Change-Id: If9b355da51367fc95948a2b12a7f6c4d6b3bbbbf
Signed-off-by: Markos Chandras <mchandras@suse.de>