xci: lib-install: Clear XCI_CACHE prior to downloading openstack-ansible-tests

If we don't clear the cache, the script errors out with the following:
fatal: destination path '/root/releng-xci/.cache/repos/openstack-ansible-tests'
already exists and is not an empty directory

Change-Id: I22111ed655a4c6790f808155968deb2fd3828e41
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Merge "Export OPENSTACK_REQUIREMENTS_VERSION"

Merge "Introduction of PDF/IDF"

Merge "xci: osa: Fix OpenStack-Ansible bootstrap"

xci: osa: Fix OpenStack-Ansible bootstrap

Commit 269b5fc033b1ee8d14d9d4694f4f0d3765866c0a ("xci: installer: osa:
Fix status report when bootstrapping OSA") removed the 'chdir' parameter
by accident and this broke the OpenStack-Ansible bootstrapping. This
patch brings the missing parameter back.

Change-Id: I0ecfa0eb4c91a9f1dfa2d86a8a50bacdbd224533
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: kubespray: Fix inventory when configuring keys on targethosts"

Merge "xci: Add k8-nosdn-nofeature role"

Introduction of PDF/IDF

this is a proposition of self sufficient PDF/IDF to describe the POD
where XCI is running.

The PDF [Pod Description File] is describing the physical
level of the POD where XCI will run the installer. It lists servers and
their description (CPU/RAM/DISK/NICS)

The IDF [Installer Description File] is describing how the installers
will use the POD. 2 sections are today important in this IDF:
- idf.net_config is describing the network topology
- xci section is set to describe how common steps (network, nfs,
  ceph,...) of XCI will use the pod.

Another section of IDF idf.[installer], curretnly empty, will
contain all pod specificities that are linked to an installer (osa,
kolla, k8s,...) and not shared with the others.

Those 2 files are describing the vitual pod as it is already
deployed by the XCI. Those default files can be replaced by the ones
describing the target pod (done manually or with the CI). It would then
be to the install process to take into account these files (to be done).

Change-Id: I3dcbd965f8c84b03d34eb0fd68599d7bec402dbd
Signed-off-by: Blaisonneau David <david.blaisonneau@orange.com>

Merge "Create directory to move xci scripts from releng/jjb/xci"

Merge "xci: installer: osa: Fix status report when bootstrapping OSA"

xci: kubespray: Fix inventory when configuring keys on targethosts

The SSH keys for the OPNFV host have been configured in the
configure-opnfvhost.yml playbook so we shouldn't do that in a playbook
that is only meant to configure the target hosts. As such, fix the group
to use 'k8s-cluster' instead.

Since the targethosts playbook does not apply to all hosts anymore, we
can simply drop the list of required packages and only install 'netaddr'
on the OPNFV host which is the host that needs it. Similarly, the dbus
package is only needed on the targethosts.

Change-Id: I293ad83a3a95797d9025f2cddd7849be7b3a49da
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Add k8-nosdn-nofeature role

Move default k8s-cluster.yml from kubespray/files/ to
role/k8-nosdn-nofeature/files/k8s-cluster.yml since it's scenario
specific. Moreover, we set 'cloud' as kube_network_plugin, which would
use kubnet as network plugin. The kubenet network plugin requires
routing between to be setup by the administrator so we need to add
static routes on every host since they are connected using a bridge
instead of a router.

installer-type:kubespray
deploy-scenario:k8-nosdn-nofeature

Change-Id: I6ab7288c966d7f17e9d61279056f7673be37bebe
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: Markos Chandras <mchandras@suse.de>

Create directory to move xci scripts from releng/jjb/xci

This change proposes creation of a folder named ci in releng-xci
in order to move the XCI scripts from Releng. The reason to name
the directory ci is that this directory has been in use by the
majority of OPNFV Projects and Releng either executes the scripts
directly or with the help of wrapper scripts that do not contain
project specific logic.

Scripts developed in releng/jjb/xci has too much XCI specific stuff
in them, making it difficult to keep the separation between
XCI framework and CI itself. Apart from that, having scripts
in Releng makes it troublesome to verify them properly.

Another importance of moving the scripts here is to ensure
these scripts can be used by other CI/automation tooling such
as Zuul in future. It is better to move the scripts now before
things get even more complicated to move.

Change-Id: Id22c2c2e09950b49a36a04a78208a3404de9c088
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Download only the needed images for OpenStack Functest Healthcheck

Some of the files needed by Functest are pretty big and it takes time
to download them all so this change ensures that the files are needed
by healthcheck is downloaded and the rest is not.

Further changes are needed to make the list even smaller for smoke test
but we need Functest guidance to identify which of them are needed for
what testing. It could be done by having suite specific download_images.sh
like download_images_healthcheck.sh, download_images_smoke.sh and so on.

deploy-scenario:os-nosdn-nofeature
installer-type:osa

Change-Id: Ib2c5867adfad8097d1a084c39ad08cc4df2e4549
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: installer: osa: Fix status report when bootstrapping OSA

Fixes the following ansible-lint warning

 [WARNING]: While constructing a mapping from /home/devuser/releng-
xci/xci/installer/osa/playbooks/configure-opnfvhost.yml, line 113,
column 7,
found a duplicate dict key (args). Using last defined value only.

We also remove the changed_when value since we now use 'args' to get
proper status report.

Change-Id: I382e3183b66e590462fbcb8663d53cade0e5d92c
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: opnfv-scenario-requirements: Add openSUSE to k8-canal-nofeature

openSUSE is supported in kubespray so we add it to the
k8s-canal-nofeature scenario.

installer-type:kubespray
deploy-scenario:k8-canal-nofeature

Change-Id: I626e98beef220f724ae72329be42b959a03ce87b
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: opnfv-scenario-requirements: Add openSUSE to k8-calico-nofeature

openSUSE is supported in kubespray so we add it to the
k8s-calico-nofeature scenario.

installer-type:kubespray
deploy-scenario:k8-calico-nofeature

Change-Id: I1ffa972b7bb1f949645bb585d2a8688cf4580342
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Integrate the k8-flannel-nofeature scenario"

Merge "Simplify odl scenarios"

Integrate the k8-flannel-nofeature scenario

installer-type:kubespray
deploy-scenario:k8-flannel-nofeature

Change-Id: Ie47efe4759b2cf52421cd2edf5e7817442b0026f
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

xci: kubespray: Bump SHA to include openSUSE support

The upstream PR to include openSUSE support has been merged so we need
to bump the SHA to make it available in XCI.

Change-Id: Ida5bd05ce8b0c883b6d7582a495ca934ecc4b1f1
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Create the k8-calico-nofeature scenario"

Merge "Remove duplicated info line for bifrost version"

Create the k8-calico-nofeature scenario

installer-type:kubespray
deploy-scenario:k8-calico-nofeature

Change-Id: Ief8557149fd47faab43f8f4bedcf6466dac2275f
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Redirect virsh output to /dev/null in cleanup script"

Merge "Switch to Gerrit for scenario source urls"

Switch to Gerrit for scenario source urls

In the past, there were cases where the Git mirrors were
out of sync with Gerrit which caused the use of outdated
repos. This change switches all scenarios to Gerrit.

Apart from that, it also aligns the urls across all scenarios.

Change-Id: I5301630a71446df8668f16c81bf26d81bcea8031
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Create the k8-canal-nofeature scenario

add the k8-nosdn-noeature and k8-canal-nofeature roles under scenarios directory
run different roles to configure the k8s-cluster according to the deploy scenario

installer-type:kubespray
deploy-scenario:k8-canal-nofeature

Change-Id: Ia96b01f79fb058e045c5b7d9d9aecb7f15a21e63
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Simplify odl scenarios

So far we were building the repo url variable in the odl scenarios. Moving
that logic to ODL role probably makes more sense as it can be reused by all
scenarios.

This patch passes the odl_version to OSA. That variable will be processed by
the ODL role, which will finally generate the repo url variable

deploy-scenario:os-odl-nofeature
installer-type:osa
Change-Id: I0c9da069238348af6d00d8422ca478cb4be4cfad
Signed-off-by: Manuel Buil <mbuil@suse.com>

Update prepare-functest role for k8s and fix fetching xci.env

This change updates prepare-functest role for testing k8s scenarios
using functest healthcheck. The changes include
- update tasks to skip checking/creation of public gateway which
is needed for OpenStack based scenarios
- update run-functest.sh.j2 template and set the used docker image
name based on FUNCTEST_SUITE_NAME that is going to be used
- update run-functest.sh.j2 template and add commands needed to run
tests using functest-kubernetes-${FUNCTEST_SUITE_NAME} docker image
- update env.j2 to exclude setting the var EXTERNAL_NETWORK which is needed
for OpenStack based scenarios

Apart from updating the the prepare-functest role, a bug has also been fixed
by adding the fetching of xci.env for installer kubespray.

installer-type:kubespray
deploy-scenario:k8-nosdn-nofeature

Change-Id: Ia701db9748ea9509a2dc165341285fb189aa7266
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Remove duplicated info line for bifrost version

Change-Id: If49cebc6ac6b1a80fbddceaf55a2cf1df299583a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Set additional variables for functest

CI_LOOP, NODE_NAME, and BUILD_TAG are needed for logging info to console.
FUNCTEST_MODE and FUNCTEST_SUITE_NAME are important for stating what level
of testing we do for verify and merge jobs.

Change-Id: Iaa5499155b4b94a1cfc6b5c70fe6f8f7417502a6
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Export OPENSTACK_REQUIREMENTS_VERSION

The hash value for the OpenStack requirements project is consumed
for other projects which can be out of the openstack-ansible scope.
This change creates the OPENSTACK_REQUIREMENTS_VERSION variable using
the openstack_services.yml value as default one.

Change-Id: I4544bcc3f14c107aab8ebba1dced1ba203f07f68
Signed-off-by: Victor Morales <victor.morales@intel.com>

shabump: Bump SHA to make sfc scenario work

sfc scenario fails when running the functest snaps-healthcheck.
The reason is a race condition found in ODL Nitrogen.
This race condition is gone in ODL Oxygen. We need latest ODL role
to include the ODL Oxygen version

Depends-On: I59802f467a77ae755886e4cc389c2406e9d17d4c
deploy-scenario:os-odl-sfc
installer-type:osa
Change-Id: I6d575370834eabb1b6a0532f74e1b2fc733e500c
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "Revert "display the correct deploy scenario for the functest run""

Merge "export LANG="C" rather than  export LANG="c""

Merge "xci: kubespray: Generate and use SSL certificate for HAProxy"

Merge "xci: osa: Move SSL certification tasks to a new file"

Merge "xci: kubespray: Use the common tasks to manage the SSH keys"

xci: osa: Fix conditional for copying OSA files to OPNFV host

The conditional was wrong since it was being treated as a string
instead of actually evaluating it as a boolean value.

Change-Id: I59802f467a77ae755886e4cc389c2406e9d17d4c
Signed-off-by: Markos Chandras <mchandras@suse.de>

Redirect virsh output to /dev/null in cleanup script

deploy-scenario:k8-nosdn-nofeature
installer-type:kubespray

Change-Id: I540eb8bad2f35d7029ae8a2148c431f7664fbad0
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Revert "display the correct deploy scenario for the functest run"

This reverts commit 5dc7b76e38019c059cea159769cdb2c37af98ded.

OPENSTACK_OSA_VERSION was removed by this patch and that variable is
needed. By looking at the patch, it seems theat variable was removed
by mistake

Change-Id: I73dc7a7ec393231717f847ff303f9b2f99a00cc0

[XCI] Fix ansible synchronize module parameter

synchronize module unsupported parameter "recurse",
it would be failed, when trying to synchronize the directory.
we need change it to "recursive", more information please refer to
http://docs.ansible.com/ansible/devel/modules/synchronize_module.html

Change-Id: If18ce8a3411ba9425dd573f090c5f4e0c41858e0
Signed-off-by: wutianwei <wutianwei1@huawei.com>

xci: kubespray: Generate and use SSL certificate for HAProxy

In the OpenStack-Ansible installers we are using the XCI ssl
certificates for the endpoints but in kubespray we are generating them
on the fly. In order to keep both setups as close as possible, we can
use the XCI certificates in kubespray as well.

Change-Id: I1ca55127fe747618205394c02b3d44bb573435f4
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: osa: Move SSL certification tasks to a new file

The tasks for creating and managing the XCI SSL certificates
can be shared between installers so move them to a common file.

Change-Id: I9df82517e737681420429a992aa8d68e78528fd4
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: bifrost: Fix unbound variable error

If we are not in a virtual environment, then VIRTUAL_ENV is going
to be unset and we will fail with the following error:

./scripts/bifrost-provision.sh: line 105: VIRTUAL_ENV: unbound variable

As such, we need to provide a default value if that variable is unset.
We also fix a typo in the _sudo variable.

Change-Id: Ic018716c03ffba6e8e742e34720ea462b85341be
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: kubespray: Use the common tasks to manage the SSH keys

Drop the kubespray specific tasks for managing the SSH keys in favor of
the common ones.

Change-Id: Ib8e18fcc14c4c0126cae72740dbb33921a21af6b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: kubespray: Fix failures to due task checks"

Merge "xci: osa: Fix task status when bootstrapping OpenStack-Ansible"

Merge "xci: bifrost: Use 'sudo' to install dependencies for bifrost jobs"

Merge changes from topic 'common-ssh-manage-tasks'

* changes:
  xci: osa: Use Ansible modules to create ssl certificates
  xci: osa: Move tasks for managing SSH keys to a new file

export LANG="C" rather than  export LANG="c"

opnfv@linux-r4ap:~$ export LANG="C"
opnfv@linux-r4ap:~$ perl -E exit
opnfv@linux-r4ap:~$ export LANG="c"
opnfv@linux-r4ap:~$ perl -E exit
perl: warning: Setting locale failed.
perl: warning: Please check that your locale settings:
        LANGUAGE = "en_US.UTF-8",
        LC_ALL = "",
        LANG = "c"
    are supported and installed on your system.
perl: warning: Falling back to the standard locale ("C").

paste of deploy failing: https://hastebin.com/fufananewa.sql

Change-Id: Id1ef2430887251044700e03fc1f294ad18adf90a
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Correct mail address of Manuel Buil"

xci: kubespray: Fix failures to due task checks

(this commit fixes many things because they all need to be submitted
together to unblock the jobs)

Commit 9e1d3d6e62abf5d0da26a296bcd235f37a54d9c6 ("xci: playbooks: Fixes
various ansible-lint warnings") broke public key authentication from
localhost to the OPNFV host because the localhost pubkey was not
appended in the authorized_keys file. The reason for that was that the
task was skipped due to the 'creates' parameter. This is now fixed, by
dropping the check since we always need to append the localhost pubkey.

This is only a temporary solution until we modify kubespray to use the
common file for managing the SSH keys.

This also makes the final 'kubectl' move to /usr/local/bin non-fatal
since future kubespray releases put it there already.

The same commit also broke the k8s-cluster.yml overrides. This is
because the file was never copied across due to the task conditional
being wrong. As such, we fix the conditional to check for the correct
file.

Change-Id: I9cfb29eba50c7fea9df29581ebb015163b8a9754
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: osa: Fix task status when bootstrapping OpenStack-Ansible

The bootstrap script from the OpenStack-Ansible repository creates
several things in /opt/ansible-runtime and /usr/local/bin so we can
check if the final 'openstack-ansible' symlink exists in order to
report a proper status for that task and even skip if everything
is prepared already.

Change-Id: I4ca3a733746f8d757aa1156b533e4b4de90188e6
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: bifrost: Use 'sudo' to install dependencies for bifrost jobs

When bifrost jobs are being executed, the virtual environment hasn't
been prepared yet because that's something that bifrost does later on.
As such, we need to use sudo to install the required dependencies to
avoid the following issue:

Exception:
Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/pip/basecommand.py", line 215, in main
    status = self.run(options, args)
  File "/usr/lib/python2.7/site-packages/pip/commands/install.py", line 342, in run
    prefix=options.prefix_path,
  File "/usr/lib/python2.7/site-packages/pip/req/req_set.py", line 784, in install
    **kwargs
  File "/usr/lib/python2.7/site-packages/pip/req/req_install.py", line 851, in install
    self.move_wheel_files(self.source_dir, root=root, prefix=prefix)
  File "/usr/lib/python2.7/site-packages/pip/req/req_install.py", line 1064, in move_wheel_files
    isolated=self.isolated,
  File "/usr/lib/python2.7/site-packages/pip/wheel.py", line 345, in move_wheel_files
    clobber(source, lib_dir, True)
  File "/usr/lib/python2.7/site-packages/pip/wheel.py", line 316, in clobber
    ensure_dir(destdir)
  File "/usr/lib/python2.7/site-packages/pip/utils/__init__.py", line 83, in ensure_dir
    os.makedirs(path)
  File "/usr/lib64/python2.7/os.py", line 157, in makedirs
    mkdir(name, mode)
OSError: [Errno 13] Permission denied: '/usr/lib/python2.7/site-packages/pbr'

Change-Id: I081884ec18d27af19a053bf5b734f6f3846c60f1
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: osa: Use Ansible modules to create ssl certificates

Ansible already provides modules to create ssl certificates so we can
use these instead of running the openssl commands directly. Moreover, we
can drop all the tasks which create the ssl directories since there are
being created by the openssl package which also creates the appropriate
symlinks. Finally, there is no need to generate the certificate on
localhost if only the OPNFV host consumes it, so move these steps to
the appropriate playbook.

Change-Id: I0045945c502013be3d76440876e894a44a092690
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: osa: Move tasks for managing SSH keys to a new file

The tasks that manage the SSH keys are common across hosts and
also common across different installers. As such, lets move them
to a new file so we can share them more easily.

Change-Id: If235877394f224a47a2f2b8de748a2330eabcec1
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge changes from topic 'misc-simplifications-osa'

* changes:
  xci: bootstrap-host: Make active network interface consistent
  xci: osa: Simplify tasks for copying OSA configuration files
  xci: Use proper Ansible modules to manage SSH keys

Correct mail address of Manuel Buil

Change-Id: Id448a38567975185b399ab54a34b39edf148a0ac
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

shabump: Bump SHAs to bring cinder, lxc_hosts, and pip fixes in

This change brings the fix for
- cinder haproxy check for ha deployments
- pip related fixes
- fixes for lxc_hosts

Change-Id: I4af64041a4a76c10361456f73577e7c7040edf8a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

xci: bootstrap-host: Make active network interface consistent

When we run XCI for the first time, Ansible picks the first active
interface as the default one. However, after we configure all the XCI
bridges etc, and we try to run this role again, Ansible may have changed
its mind about what interface is active and it could default to one of
the bridges. This forces the role to redo the network configuration but
this time the bridges are being attached to bridges so everything goes
terribly wrong after that. The way to solve this would be to add a local
fact about what interface should be considered as the 'real' default one
so subsequent calls to this role to not destroy the network.

This also drops the task which removed the network configuration files
on SUSE platforms since Ansible is smart enough to not touch them if
they are configured properly.

Change-Id: Ic0525e934b1934a40d69e6cf977615ab9b3dac6d
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: osa: Simplify tasks for copying OSA configuration files

We can use a loop to copy all these files instead of multiple tasks.
This simplifies the playbook quite a bit.

Change-Id: I5f0d387ac090d81fc577b5ebeaeb6131e75cffa1
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Use proper Ansible modules to manage SSH keys

We can use the 'user', 'slurp' and 'authorized_key' modules
to manage the various SSH configurations across the hosts instead
of using command line tools.

Change-Id: I2dde4d584fc336e267868607d5a58f5ee2c1feed
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: bifrost: Only use libvirt as DNS server if using proxy servers"

Merge "xci: Check XCI playbooks using ansible-lint"

Merge "xci: playbooks: Fixes various ansible-lint warnings"

Merge "xci: get-opnfv-scenario-requirements: Use checksum for rsync updates"

xci: infra: bifrost: Make sure XCI variables are defined first

It's best to define all the XCI variables before everything else
to ensure that all subsequent bifrost variables are properly
defined.

Change-Id: Id4a9e0c89e8dd32b852cfef6b9bb336c4b75f5a7
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: bifrost: Only use libvirt as DNS server if using proxy servers

Commit 0d332a80cf731e5927c81c9f6929a8b83d43cddd ("Add proxy support")
switched the default DNS server to the libvirt bridge. However, we only
need to override the default DNS if we are behind a proxy server.

Change-Id: I7d8fe8c10a1aba2db4a703a81e74ef76fa593d95
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: infra: bifrost: Define more XCI variables for bifrost jobs"

xci: get-opnfv-scenario-requirements: Use checksum for rsync updates

Rsync will update modification times on transferred files so Ansible
marks the task as 'changed' all the time even though the source and
destination files are the same. This is confusing for XCI developers
because they may think that there are local changes to the scenarios
which is not always the case. As such, compare the 'checksums' of the
actual files to determine if there are any changes that need to be
copied over. This requires us to turn off the 'archive' option and
use the individual options directly.

This fixes the following problem where in a typical XCI job, all
inbound scenarios appear to have changes which is not true.

Mar 26 15:10:24 TASK [Synchronize local changes to scenarios' master branch] *******************
Mar 26 15:10:24 ok: [localhost] => (item=os-odl-sfc)
Mar 26 15:10:25 changed: [localhost] => (item=os-nosdn-nofeature)
Mar 26 15:10:25 changed: [localhost] => (item=os-odl-nofeature)
Mar 26 15:10:25 changed: [localhost] => (item=k8-nosdn-nofeature)
Mar 26 15:10:26 ok: [localhost] => (item=os-odl-bgpvpn)

Change-Id: I14f446c341a675b286e971f0b5c0be14d04abb9d
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Check XCI playbooks using ansible-lint

The ansible-lint tool can help with maintaining consistency across all
the XCI playbooks, so lets introduce it early in the process to capture
common mistakes before the actual XCI deployment is executed. This
however needs to run after all the scenarios repositories have been
cloned and configured.

Change-Id: I28104429e3ac0cdbc48a003b163f4fb8c3acd8a7
Link: https://github.com/willthames/ansible-lint
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: playbooks: Fixes various ansible-lint warnings

In preparation for adding support for the 'ansible-lint' tool we fix
various problems in our playbooks to make the tool happy before we make
it mandatory.

Some of the problems that are fixed here are

- [ANSIBLE0011] All tasks should be named
- [ANSIBLE0012] Commands should not change things if nothing needs doing
- [ANSIBLE0013] Use shell only when shell functionality is required
- [ANSIBLE0010] Package installs should not use latest

installer-type:osa
deploy-scenario:os-nosdn-nofeature
Change-Id: I66c759d3932a414b81b2846393d2d98ce80c0b6d
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: get-opnfv-scenario-requirements: Fix local scenario sync

Commit 07747a53901e550280afb421b6fcbebc8994e93a ("xci: playbooks: Fix
synchronization of external scenarios") fixed copying of external
scenarios but broke internal ones because the regexp was wrong. The
variable was not evaluated properly so nothing was replaced for internal
scenarios. This also fixes a problem when the scenario and the role
names differ so we make sure that the role with the correct name is
created.

Change-Id: Idd7590d972841b5c03286b34757d7325b863c6bf
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: infra: bifrost: Define more XCI variables for bifrost jobs

This is similar to eeb906a553d6ddf70ffc5af1acadb33a13ff5990 ("xci:
infra: bifrost: Set XCI_DISTRO if it's not defined") so we need to
define more XCI variables if we are running the standalone bifrost
jobs.

Change-Id: I112cfbfdda677174bdb0d0afef73f035c74cb79e
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: playbooks: Fix synchronization of external scenarios"

xci: playbooks: Fix synchronization of external scenarios

The code was supposed to copy everything from
{{ xci_path }}/{{ scenario.role }} to the XCI roles directory but
external scenarios have their 'role' attribute relative to their
repository whereas internal one have it relative to the {{ xci_path }}.
As such, changes to external scenarios were not copied successfully
to the playbooks directory and their changes where never tested.
This removes the 'xci/scenarios/$scenario' part of the inbound
roles attribute to make all them relative to the
xci/scenarios/$scenario directory.

Change-Id: Id28671b30c8ee4aa6bc186444c0e5a3a3ea3d89b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: install: Move all pip installations to virtualenv"

Merge "xci: files: install-lib.sh: Hide rsync errors"

xci: install: Move all pip installations to virtualenv

Now that all pip installations are managed in the same way we can
move them inside a global virtual environment to further isolate the
XCI artifacts from the rest of the system. Moreover, we further simplify
the initial package installation to install everything at once instead
of calling the package manager for every single package that we need.

Change-Id: I6a170d2439fae8b0653f3141e0e8bb8ead67657e
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: infra: bifrost: Set XCI_DISTRO if it's not defined

The XCI_DISTRO variable is normally set from the XCI deployment script.
However, on bifrost jobs, we don't run this script as part of XCI so we
need to ensure that this variable is set properly.

Change-Id: I295b65176bab6ccbdd12aa50449d3c021a88b43d
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: files: install-lib.sh: Hide rsync errors

rsync may fail because the OPNFV VM doesn't exist if we failed quite
early in the process so hide any errors from the remote rsync operation
to avoid confusion.

Change-Id: I43dfb0a527165a186674178d12e6d00ffc61f580
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: playbooks: Fix message on fail task for deployed scenario"

Merge "xci: files: xci-destroy-env.sh: Remove VMs from all flavors"

Merge "xci: osa: Configure the ARA callback plugin on OPNFV host"

Merge "xci: Install the ARA callback plugin"

Merge "xci: files: install-lib.sh: Install pip packages as user"

Merge "xci: files: Move Ansible installation to a library file"

Merge "xci: kubespray: Add experimental support for openSUSE"

Nomination of David Blaisonneau as XCI committer

David Blaisonneau is the main driver of introducing native
support for Pharos PDF/IDF in XCI. He has been also working
on stabilizing XCI framework and enabling baremetal deployments.

His contributions include
- creation of PDFs for baremetal PODs
- starting the work on improving the stabilization of the framework
- starting the work on introducing support for PDF/IDF
- deployment on baremetal

Change-Id: If4e71c7456e5e8f642b3e82b8ef356747431ed96
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Nomination of Periyasamy Palanisamy as XCI committer

Periyasamy Palanisamy onboarded SDNVPN project to XCI,
contributed various scenarios and made contributions to upstream
projects.

His contributions include
- creating os-odl-nofeature scenario
- integrating ovs into os-nosdn-nofeature scenario
- creating os-odl-bgpvpn scenario
- improving the framework
- reviewing changes

His contributions can be seen from following link:
https://gerrit.opnfv.org/gerrit/#/q/owner:periyasamy.palanisamy%2540ericsson.com+project:releng-xci+status:merged

Apart from contributing to XCI, he directly worked in upstream for
integrating different features and improving things. Some of his
contributions can be seen from following links:
https://review.openstack.org/#/q/owner:%22Periyasamy+Palanisamy+%253Cperiyasamy.palanisamy%2540ericsson.com%253E%22+status:merged
https://git.opendaylight.org/gerrit/#/q/project:integration/packaging/ansible-opendaylight+owner:periyasamy.palanisamy%2540ericsson.com+status:merged

Change-Id: I1b86938b8519e758801339fb8029f8b2dd1f7918
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Nomination of Manuel Buil as XCI committer

Manuel Buil has been crucial onboarding OPNFV SFC Project to XCI.
His contributions include
- creating os-odl-sfc scenario on XCI
- developing role to integrate Functest into XCI
- working on establishing XCI developer workflow by being first project
to evaluate the XCI framework and provide feedback
- reviewing changes

His contributions can be seen from following link:
https://gerrit.opnfv.org/gerrit/#/q/owner:mbuil%2540suse.com+project:releng-xci+status:merged

Apart from contributions to XCI, he contributed to several upstream components
in order to onboard SFC to XCI.
- Taking over the Ansible Tacker Role implementation and finalizing it
- Integrating Tacker into OpenStack Ansible
- Enhancing Ansible Neutron Role and introducing ODL support

His contributions to upstream projects can be seen from following link:
https://review.openstack.org/#/q/owner:mbuil%2540suse.com+status:merged
https://git.opendaylight.org/gerrit/#/q/project:integration/packaging/ansible-opendaylight+owner:mbuil%2540suse.com+status:merged

Change-Id: I40756bfe5e7c962e6d8d6d5c3d53ef1699ae6428
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Nomination of Tianwei Wu as XCI committer"

Merge "Connect ODL CI-CD to XCI"

Merge "xci: scripts: start-new-vm.sh: Improve do_copy()"

Merge "Move bootstrap-scenarios.yml to common playbooks directory"

Merge "Use package_state:present to avoid package installation issues"

xci: osa: Configure the ARA callback plugin on OPNFV host

The OSA deployment is driven by the OPNFV host so we need to install
and configure the ARA plugin there as well.

Change-Id: Ib583f5771a8c2da7531f0a42612d7c0b34fb4898
Signed-off-by: Markos Chandras <mchandras@suse.de>

Move bootstrap-scenarios.yml to common playbooks directory

Move bootstrap-scenarios.yml from installer/osa/playbooks/bootstrap-scenarios.yml
to playbooks/bootstrap-scenarios.yml as a common playbook.
So we can use this file to bootstarap k8s-* scenarios, instead of creating a new
file under installer/kubespray/playbooks/bootstrap-scenarios.yml

Change-Id: Ic31ee00e1a0863f48fb86298d7c00fa8420fa28a
Signed-off-by: wutianwei <wutianwei1@huawei.com>