xci: Move OpenStack-Ansible out of the main script

In preparation for supporting more NFVIs in XCI, we need to make the
main script NFVI agnostic. Right now, our NFVI is being deployed using
bifrost+OSA so we keep bifrost in the main script since the hardware
provisioning is NFVI agnostic (at least for now) but we move OSA to
its own directory. This should allow more NFVI to plug into XCI by
simply providing a nfvi-deploy.sh script. The user can select the
preferred NFVI using the XCI_NFVI variable.

Change-Id: Ieeacd3b22a64d363feff5d43ff23a80c39038837
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: Add flavor information for scenarios"

Merge "xci: scripts: vm: Use virtio for disk and network I/O"

xci: Add flavor information for scenarios

Scenarios may not support all XCI flavors so record that information
per scenario basis. This will resolve failures when we try to deploy
a scenario that doesn't support the selected flavor.

JIRA: RELENG-338

Change-Id: I5f73b139ee6c1831896aa32147c4dc1368673d92
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: vm: Use virtio for disk and network I/O

This ensures that the virtio paravirtualization driver is used for both
disk and network I/O which should provide the best performance since we
no longer need to emulate a real bus or driver.

Change-Id: Ic46a38f51b06cb4b848d87d890d23fec022b2f15
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Drop AIO specific playbook

The configure-opnfvhost playbook which is used for all flavors except
AIO can also be used for AIO if it's adapted to not configure networking
on the host and also do not fail if there aren't any OSA variables files
available so lets do all that in order to avoid duplicating code across
flavors.

Change-Id: I58379d8b52094294b9349494753ffcdd44982013
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: Fix checkout location for OpenStack-Ansible"

xci: Fix checkout location for OpenStack-Ansible

The OPENSTACK_OSA_PATH only makes sense on localhost. As such, when we
use it on playbooks that operate on remote hosts, the result is not
predictable. However, we rsync the entire releng-xci repository to the
opfnv host so we can make everything predictable by simply clone
everything in advance in the .cache directory. That directory is then
rsync'd to the opnfv host. As such, we can repurpose the
OPENSTACK_OSA_PATH to point to the path into the OPNFV host. Moreover,
all external repositories are being cloned to .cache/repos so we can
eliminate some variables in order to simplify the code. Finally, we
bring back the ability to use an external OSA repository for
development purposes.

Change-Id: Ieef3e22ae2085f6735185634d555cfc0d4b69b39
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Reduce noise during bootstrapping

There is too much noise when XCI is cloning repositories, installing
packages etc so lets make the console output somewhat more readable.

Change-Id: I15667e0349f943ad5488daf0e3cea9336c9166d1
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Restore the OPNFV_SCENARIO variable

The variable was accidentally removed in ab3c9ad0f9a4 so bring it back.

Change-Id: I48e4b8dd68969c8e5336e5e571a73f037fb65988
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Move contents of os-nosdn-ovs into  os-nosdn-nofeature"

Merge "Adapt to updated REST URL for OpenDaylight"

Move contents of os-nosdn-ovs into  os-nosdn-nofeature

This change fixes the scenario os-nosdn-nofeature by
moving directories/files from os-nosdn-ovs to os-nosdn-nofeature.
The contents of the files and variables are also either adjusted
or removed in order to prevent impacts on CI.

Change-Id: Icfde27f413c8f93d097f9f262c8cb1230b7fe59d
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Connect sfc-odl scenario with xci

Change-Id: I5a3f533f61b6572d8070fe5f0a306ef9d418ced8
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "bifrost: destroy-env.sh: Clean dib images by default"

Merge "xci: Ensure we are in the root directory for bug reports"

Merge "xci: Use local playbooks for XCI deployments"

Merge "xci: playbooks: provision-vm-nodes: Simplify the provision VM playbook"

Adapt to updated REST URL for OpenDaylight

Change-Id: Iae7ca106174c09a73bc72075dca0a753c2280f20
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

bifrost: destroy-env.sh: Clean dib images by default

The destroy-env.sh script is meant to clean the entire environment
including the dib images that were built in a previous run. However,
this step was only executed if requested exclicitly leaving old
artifacts behind. As such, lets switch the default value in order to
remove these images as expected.

Change-Id: If3b91a621df50931ef3d666737cbc3bbea5d34b9
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Ensure we are in the root directory for bug reports

During the XCI deployment we change directories in too many places. As a
result of which, when something breaks, we may be outside the releng-xci
checkout directory so we need to enter it again for all the git commands
to work.

Change-Id: I6adcff396fc5d7cce8bb07353dec26b76b1825a4
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Use local playbooks for XCI deployments

Previously, we used to clone the releng-xci repository under a directory
in /tmp, copy our changes to that repository and then run the
xci-deploy.sh script from it. However, this made things far too complex
for deployers and developers since some playbooks were used from the
local repo whereas others were used from teh /tmp checkout. By running
everything from our local repository simplifies things a lot since we
can directly test our changes and also reduces the code we have in our
playbooks.

Change-Id: If16aa51b2846c170676df82d25cb90e26b1568b2
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Make it easier to use OpenStack-Ansible stable branches

It seems it is desirable for projects to use stable OpenStak-Ansible and
OpenStack releases in general. However, merely overriding
OPENSTACK_OSA_VERSION doesn't work because role requirements and
OpenStack services have to be adapted too. Despite the Documentation
warning users about this, seems like nobody remembers to read and
do the necessary steps. However, this leads to numerous invalid bug
reports due to this stable/master mix. Lets try to help improving
this situation by doing all the necessary ground work if we detect that
we are using a stable branch.

Change-Id: I2ba5d7e7942109973b6a6523aae2c01b65e61fe7
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: playbooks: provision-vm-nodes: Simplify the provision VM playbook

The provision-vm-nodes playbook is only responsible for running bifrost
to provision the XCI virtual machines. As such, drop all the extra tasks
that this playbook performed in order to simplify it. This also drops
the XCI_EXTRA_VARS_PATH variable since it had a rather obscure usage
and there is not much value in passing inventory information outside of
XCI. All these will be handled in the scenarios themselves.

Change-Id: If5cb381a3d1e101100eb04478d80fb3045cdfaf8
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Bump OpenStack Ansible and bifrost SHAs

Change-Id: I96c988ef6b303b89a5615c50ef60b45e49584b83
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Do not execute ironic node-list"

Merge "xci: Allow variable overrides from external scenarios"

Do not execute ironic node-list

This command has been removed in order to solve the issue
caused by executing the command outside of venv. Apart from
that, it doesn't add much value to the process in general either.

Change-Id: Ice7edc5adbd3dd2e2bbde57b8cebd92416825597
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: playbooks: Copy scenarios instead of symlinking them"

xci: Allow variable overrides from external scenarios

All scenarios are being cloned to XCI_SCENARIOS_CACHE so look
there for the various override files. This will allow external
scenarios to influence the XCI environment.

Change-Id: I39a48ce55baaa29d09737ce6232867ef1165f099
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "integrate inband os-odl-nofeature scenario"

integrate inband os-odl-nofeature scenario

Change-Id: I4ea6b421a24f41ea3ca925ea98d961e1a34e7876
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Replace the OPNFV hardcoded IP

The xci-deploy.sh script has an IP address which has been replaced
for OPNFV_HOST_IP environment variable. This commit completes that
change.

Change-Id: I285b6a5b88fb15e7b68a94e95634d9d289d8659a
Signed-off-by: Victor Morales <victor.morales@intel.com>

xci: playbooks: Copy scenarios instead of symlinking them

Previously, the scenarios were symlinked from the checked out location
to {{ playbook_dir }}/roles. However, the symlinks were pointless since
they only exist in our local releng-xci directory. The roles much also
be present in OPNFV_RELENG_PATH which is the place where the deployment
happens. We use 'rsync' to copy our local releng-xci directory to the
remote one so our roles can be automatically be placed there if we copy
them instead of symlinking them.

Change-Id: I735db71eedfaa51d7196761aa2af8329d86cb775
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "XCI: Bump OpenStack Ansible SHAs"

Merge "xci: Drop OPNFV_RELENG_DEV_PATH variable"

Make sure the docker service is started

We are installing the docker package but not checking if it is started

The service name for the three distros is the same but I still added the
variable in each distro variables file to keep best practices

Change-Id: I0c73069ea7edc366e824cf39d14d24d1416fd6c3
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: Drop OPNFV_RELENG_DEV_PATH variable

The OPNFV_RELENG_DEV_PATH variable was used to point to a releng-xci
development repository. However, people normally set the current
directory as the development one and they almost always want to
test the current code in XCI. Using an secondary releng-xci tree
as development repo is a very obscure case and it normally complicates
things. As such, let drop this option and always use the current
repository for development purposes.

Change-Id: If111bf29a32a5f6ea28694f191645af0c6a87abc
Signed-off-by: Markos Chandras <mchandras@suse.de>

add os-odl-nofeature scenario

Change-Id: I1355f4beb061caab7315b6f619a96cfaa9f52d2b
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

XCI: Bump OpenStack Ansible SHAs

Change-Id: Iee45d9c865f3fdc83089126cf78b1daa0917df1a
Signed-off-by: Markos Chandras <mchandras@suse.de>

Add section describing how to get involved

Change-Id: I9c552930b46dad2bf9720595d44208b393dba643
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Add required packages install for AIO"

Merge "Integrate inband os-nosdn-ovs scenario"

Merge "xci: scripts: start-new-vm.sh: Rework fix for parallel pkg mgr instances"

Integrate inband os-nosdn-ovs scenario

Change-Id: I9253edf028fce571e04f9f82103a94952e05d2d4
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Enable tempest

Change-Id: I0fb12e4c2612f953998880a94b13655fa9ee0d8c
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Use RUN_TEMPEST global env"

xci: scripts: start-new-vm.sh: Rework fix for parallel pkg mgr instances

The current way of detecting whether multiple package manager processes
are running is not ideal so just wait a random amount of time if we
detect that another instance of our package manager command is running.

Change-Id: Id94e3ed5293bf223f7250f92525a6e02bb1ea842
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add the libvirt DNS to resolv.conf"

Add the libvirt DNS to resolv.conf

This change adds the gateway into the resolv.conf for helping
to resolve some routes faster during the execution of start-new-vm.sh
main script.

Change-Id: I08f361f5e55589f388e6ff6613d213eb79bbbce9
Signed-off-by: Victor Morales <victor.morales@intel.com>

Use RUN_TEMPEST global env

The RUN_TEMPEST global environment has been defined in *user-vars*
but never used in the playbooks. This change pretends to enable the
use of that value.

Change-Id: I49ca092546494c0cdcb015a549828bf79fa5f889
Signed-off-by: Victor Morales <victor.morales@intel.com>

Add required packages install for AIO

The All-in-One flavor is missing the tasks for the installation of
distro and pip packages, these tasks are performed by other flavors.

Change-Id: Ia0f707c08acd47e1dc4577916da58e338ba187fa
Signed-off-by: Victor Morales <victor.morales@intel.com>

Add br-vlan-veth to the br-vlan bridge in openSUSE

br-vlan-eth was created but not added to any bridge, therefore floating ips
were not working as it was impossible for the OVS in the compute to get the
ARP messages coming from the gateway of the public network

Change-Id: Ia0828b7e96359dc10012ac52bf0e5d4f2c5419cb
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: config: pinned-versions: Bump Bifrost SHA

Change-Id: I9df869fa82f4486b104f4330b83e8300362afb54
Signed-off-by: Markos Chandras <mchandras@suse.de>

Remove the share flag

When creating the external network for functest testing purposes, it does not
need to be shareable between tenants because functest uses routers and floating
ips. Therefore, better remove it to avoid confusion

Change-Id: I18a1fd34a52ddae2527ee3580a9d1a2b649e61b6
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: Use the dib pip-and-virtualenv element

The element will ensure that we have a reasonable set of pip
and virtualenv packages in place as well as pick the right
python version for the distribution. We also make sure that
we use python2 everywhere.

Change-Id: I8a83af9acffbd8d6d583832956e1685100ec508a
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "playbooks: configure-opnfvhost: Be explicit when copying user files"

Merge "XCI: Bump OpenStack Ansible SHAs"

Merge "xci: file: install-ansible.sh: Update script from latest Bifrost"

playbooks: configure-opnfvhost: Be explicit when copying user files

The flavors may contain deployment specific user_variables.yml files
so we should only copy the generic one in the common tasks and leave
the rest for scenarios to copy them if necessary.

Change-Id: I39e3e090dc40d4f13bb42028a24e8574e19cf6dd
Signed-off-by: Markos Chandras <mchandras@suse.de>

XCI: Bump OpenStack Ansible SHAs

Change-Id: If5e4ff731b2bf59e44b753ce0574f25639694162
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "add os-nosdn-ovs scenario"

xci: file: install-ansible.sh: Update script from latest Bifrost

Update our own copy of the Ansible installation script to take some
Bifrost fixes into consideration. We also upgrade the pip and setuptools
to the latest available version if possible.

Change-Id: I5e51099b2698f0b03922d1364e83bc91cfadc00c
Signed-off-by: Markos Chandras <mchandras@suse.de>

add os-nosdn-ovs scenario

This scenario is to install ovs on neutron agent and compute nodes for
providing networking capabilities without being managed by Opendaylight.

Change-Id: Iacc2f61ce1ffca248acdca378a23d65a91452828
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Merge "Fix permissions on SUSE network script"

Merge "Integrate ceph in XCI"

Fix permissions on SUSE network script

We were not getting the eth12 interface in the computes because the
network-config-suse file did not have executable rights:

-rw-r--r-- 1 root root   300 Nov  9 14:40 network-config-suse

Change-Id: Ia796123b331b67bc442d3506b944f0430f7a5f32
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "Bump OpenStack Ansible SHAs"

Bump OpenStack Ansible SHAs

We also need to allow root logins when the ansible-hardening role
is applied which are disabled by default.

Change-Id: I71f881305bafdd884d541cd34796a6fed8eee157
Signed-off-by: Markos Chandras <mchandras@suse.de>

Fix yum update repos

The *yum update* fails during the installation of ansible in centos
because it tries to update openssh-server among other packages.
This commit change fixes the command to only update the repository
information. The --assumeno argument is not required.

Change-Id: I26870462888742b3200097322d5316ac00febfc5

Merge "Enable OPENSTACK_OSA_DEV_PATH for AIO"

Merge "Fix typo in xci-deploy.sh comments"

Enable OPENSTACK_OSA_DEV_PATH for AIO

The task for synchronize source code between the host and opnfv guest
instance was not implemented for All-in-One flavor. This change
uses the same task that is used in other flavors.

Change-Id: I9733544a22de4867c399eb57dfe90c0915350171
Signed-off-by: Victor Morales <victor.morales@intel.com>

Merge changes from topic 'add-role-hooks'

* changes:
  xci: playbooks: Add generic playbook for scenarios to plug their roles
  xci: Clone all XCI scenarios in advance similar to a-r-r
  xci: xci-deploy.sh: Allow scenarios to overrides XCI variables.

Integrate ceph in XCI

Openstack ansible support to deploy ceph.
The purpose of this patch is to configure the ceph,
just like we configure other openstack components.

The default is to not deploy ceph.
If you want to deploy ceph you just need to
export XCI_CEPH_ENABLED=true before running xci-deploy.sh.
When deployed successfully, the openstack storage will use ceph.

Change-Id: Ifd8d16fdce2914b6316842e72bbfd93228ea059d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Drop Ironic DB using non-default password"

Fix typo in xci-deploy.sh comments

Change-Id: Iac117beb3d4a8df85ad2453c97982adf90958833
Signed-off-by: Victor Morales <victor.morales@intel.com>

docs: Add ONAP into the diagram

Change-Id: If6a0c9d498324a5edec38a442f5c3d23f9796130
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Drop Ironic DB using non-default password

The current implementation relays on the fact that the existing mysql
deployment the root user can remove has access to the root user
without its password. It's possible to drop the Ironic database using
the same credentials that were used during its creation.

Change-Id: I4b26455e06e5f024d2bd8c42065367838bb4aa0f
Signed-off-by: Victor Morales <victor.morales@intel.com>

Merge "Create the basic structure for generic scenarios"

xci: playbooks: Add generic playbook for scenarios to plug their roles

The new bootstrap-scenarios.yml playbook is aimed to be used by
scenarios to configure themselves right before we proceed with
the bootstrapping. This way we can avoid having scenario specific
stuff into the generic code.

Change-Id: I3026013719a50458c65405439712270f25f569ff
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Clone all XCI scenarios in advance similar to a-r-r

In order to plug the scenarios' roles properly, we need to have all
roles physically present in advance. As such, add a
opnfv-scenario-requirements.yml file which can be used to populate the
roles directory with all the scenarios.

Change-Id: I0cdadb63849e4565c31559817660d23217879053
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Remove empty line

The empty line is wrong and it may cause some issues so drop it.

Change-Id: I4120e00df1dd9b7061dc1175e0ea6db8e0a9df88
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: xci-deploy.sh: Allow scenarios to overrides XCI variables.

Scenario may want to override variables exported by the XCI so
allow them to define their own 'xci_overrides' file in the root directory
of the role to do so.

Change-Id: I6648eb43831a2aecc08d745a8c0fc191ce56e1b2
Signed-off-by: Markos Chandras <mchandras@suse.de>

docs: Add XCI overview document

Change-Id: I23405aec19a7e9bfce1c58d770b80b1c9c550d00
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "xci: AIO: Disable tempest on AIO"

Merge "xci: scripts: start-new-vm.sh: Make VM specs configurable"

xci: scripts: start-new-vm.sh: Skip all qcow2 files

We may have qcow2 files around from previous deployments so make sure
they are not copied to the newly created VM.

Change-Id: I35a8d72355ffff4678b611e09aedc8667f29a7f1
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: AIO: Disable tempest on AIO

In a similar fashion to the rest of the flavors, we disable the
tempest tests.

Change-Id: Id4a9912d87d1dabe3e433456f4b145d319e174d5
Signed-off-by: Markos Chandras <mchandras@suse.de>

Create the basic structure for generic scenarios

Change-Id: I158d4e61e627e47ffa89d8229280011a2b615cac
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: scripts: start-new-vm.sh: Make VM specs configurable

We should be able to configure the VM specs so we can fit it
in smaller environments.

Change-Id: I56850df2f6842b6ef757500fecdc21bd1382b7e7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Create the prepare-tests playbook"

Merge "xci: Bump bifrost SHA"

Merge "xci: scripts: start-new-vm.sh: Do not run multiple package manager processes"

Merge "xci: scripts: start-new-vm.sh: Add option to clean VM on failure"

Merge "xci: playbooks: configure-opnfvhost: Copy all user_*.yml files"

Merge "xci: scripts: start-new-vm.sh: Do not destroy user's configuration file"

Create the prepare-tests playbook

This playbook should be executed in case we want to use the osa deployment
as platform for testing a scenario. The playbook currently includes a call
to the prepare-functest role which installs and sets-up everything to run
functest based tests

Change-Id: Ibb59825e64c5889f36fd3bfb38a4d23b67b11866
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: scripts: start-new-vm.sh: Do not run multiple package manager processes

Package managers get upset if multiple instances run in parallel since
the last one will fail to aquire some sort of DB locking and fail. As
such, lets fix that and only run one package manager process at any
time.

Change-Id: I4ab13f61eee861ef70cb4115403d0e239ec14308
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Add option to clean VM on failure

Sometimes we may want to remove the clean VM in case of failure. This
is mostly true for CI tests because developers do not normally have access
to the deployed VMs to debug problems since they can easily recreate the
same environment using this script. If they ever want direct access to
the slaves then that option can easily be turned off and retrigger the
job. In the meantime, this patch allows slaves to free resources when a
job fails instead of keeping the broken tests around.

Change-Id: I07d56661e45fc64e1ec0db7a359522e4ebd2891a
Signed-off-by: Markos Chandras <mchandras@suse.de>