Merge "xci: playbooks: provision-vm-nodes: Simplify the provision VM playbook"

xci: Make it easier to use OpenStack-Ansible stable branches

It seems it is desirable for projects to use stable OpenStak-Ansible and
OpenStack releases in general. However, merely overriding
OPENSTACK_OSA_VERSION doesn't work because role requirements and
OpenStack services have to be adapted too. Despite the Documentation
warning users about this, seems like nobody remembers to read and
do the necessary steps. However, this leads to numerous invalid bug
reports due to this stable/master mix. Lets try to help improving
this situation by doing all the necessary ground work if we detect that
we are using a stable branch.

Change-Id: I2ba5d7e7942109973b6a6523aae2c01b65e61fe7
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: playbooks: provision-vm-nodes: Simplify the provision VM playbook

The provision-vm-nodes playbook is only responsible for running bifrost
to provision the XCI virtual machines. As such, drop all the extra tasks
that this playbook performed in order to simplify it. This also drops
the XCI_EXTRA_VARS_PATH variable since it had a rather obscure usage
and there is not much value in passing inventory information outside of
XCI. All these will be handled in the scenarios themselves.

Change-Id: If5cb381a3d1e101100eb04478d80fb3045cdfaf8
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Bump OpenStack Ansible and bifrost SHAs

Change-Id: I96c988ef6b303b89a5615c50ef60b45e49584b83
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Do not execute ironic node-list"

Merge "xci: Allow variable overrides from external scenarios"

Do not execute ironic node-list

This command has been removed in order to solve the issue
caused by executing the command outside of venv. Apart from
that, it doesn't add much value to the process in general either.

Change-Id: Ice7edc5adbd3dd2e2bbde57b8cebd92416825597
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "xci: playbooks: Copy scenarios instead of symlinking them"

xci: Allow variable overrides from external scenarios

All scenarios are being cloned to XCI_SCENARIOS_CACHE so look
there for the various override files. This will allow external
scenarios to influence the XCI environment.

Change-Id: I39a48ce55baaa29d09737ce6232867ef1165f099
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "integrate inband os-odl-nofeature scenario"

integrate inband os-odl-nofeature scenario

Change-Id: I4ea6b421a24f41ea3ca925ea98d961e1a34e7876
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Replace the OPNFV hardcoded IP

The xci-deploy.sh script has an IP address which has been replaced
for OPNFV_HOST_IP environment variable. This commit completes that
change.

Change-Id: I285b6a5b88fb15e7b68a94e95634d9d289d8659a
Signed-off-by: Victor Morales <victor.morales@intel.com>

xci: playbooks: Copy scenarios instead of symlinking them

Previously, the scenarios were symlinked from the checked out location
to {{ playbook_dir }}/roles. However, the symlinks were pointless since
they only exist in our local releng-xci directory. The roles much also
be present in OPNFV_RELENG_PATH which is the place where the deployment
happens. We use 'rsync' to copy our local releng-xci directory to the
remote one so our roles can be automatically be placed there if we copy
them instead of symlinking them.

Change-Id: I735db71eedfaa51d7196761aa2af8329d86cb775
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "XCI: Bump OpenStack Ansible SHAs"

Merge "xci: Drop OPNFV_RELENG_DEV_PATH variable"

Make sure the docker service is started

We are installing the docker package but not checking if it is started

The service name for the three distros is the same but I still added the
variable in each distro variables file to keep best practices

Change-Id: I0c73069ea7edc366e824cf39d14d24d1416fd6c3
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: Drop OPNFV_RELENG_DEV_PATH variable

The OPNFV_RELENG_DEV_PATH variable was used to point to a releng-xci
development repository. However, people normally set the current
directory as the development one and they almost always want to
test the current code in XCI. Using an secondary releng-xci tree
as development repo is a very obscure case and it normally complicates
things. As such, let drop this option and always use the current
repository for development purposes.

Change-Id: If111bf29a32a5f6ea28694f191645af0c6a87abc
Signed-off-by: Markos Chandras <mchandras@suse.de>

add os-odl-nofeature scenario

Change-Id: I1355f4beb061caab7315b6f619a96cfaa9f52d2b
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

XCI: Bump OpenStack Ansible SHAs

Change-Id: Iee45d9c865f3fdc83089126cf78b1daa0917df1a
Signed-off-by: Markos Chandras <mchandras@suse.de>

Add section describing how to get involved

Change-Id: I9c552930b46dad2bf9720595d44208b393dba643
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Add required packages install for AIO"

Merge "Integrate inband os-nosdn-ovs scenario"

Merge "xci: scripts: start-new-vm.sh: Rework fix for parallel pkg mgr instances"

Integrate inband os-nosdn-ovs scenario

Change-Id: I9253edf028fce571e04f9f82103a94952e05d2d4
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Enable tempest

Change-Id: I0fb12e4c2612f953998880a94b13655fa9ee0d8c
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Use RUN_TEMPEST global env"

xci: scripts: start-new-vm.sh: Rework fix for parallel pkg mgr instances

The current way of detecting whether multiple package manager processes
are running is not ideal so just wait a random amount of time if we
detect that another instance of our package manager command is running.

Change-Id: Id94e3ed5293bf223f7250f92525a6e02bb1ea842
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add the libvirt DNS to resolv.conf"

Add the libvirt DNS to resolv.conf

This change adds the gateway into the resolv.conf for helping
to resolve some routes faster during the execution of start-new-vm.sh
main script.

Change-Id: I08f361f5e55589f388e6ff6613d213eb79bbbce9
Signed-off-by: Victor Morales <victor.morales@intel.com>

Use RUN_TEMPEST global env

The RUN_TEMPEST global environment has been defined in *user-vars*
but never used in the playbooks. This change pretends to enable the
use of that value.

Change-Id: I49ca092546494c0cdcb015a549828bf79fa5f889
Signed-off-by: Victor Morales <victor.morales@intel.com>

Add required packages install for AIO

The All-in-One flavor is missing the tasks for the installation of
distro and pip packages, these tasks are performed by other flavors.

Change-Id: Ia0f707c08acd47e1dc4577916da58e338ba187fa
Signed-off-by: Victor Morales <victor.morales@intel.com>

Add br-vlan-veth to the br-vlan bridge in openSUSE

br-vlan-eth was created but not added to any bridge, therefore floating ips
were not working as it was impossible for the OVS in the compute to get the
ARP messages coming from the gateway of the public network

Change-Id: Ia0828b7e96359dc10012ac52bf0e5d4f2c5419cb
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: config: pinned-versions: Bump Bifrost SHA

Change-Id: I9df869fa82f4486b104f4330b83e8300362afb54
Signed-off-by: Markos Chandras <mchandras@suse.de>

Remove the share flag

When creating the external network for functest testing purposes, it does not
need to be shareable between tenants because functest uses routers and floating
ips. Therefore, better remove it to avoid confusion

Change-Id: I18a1fd34a52ddae2527ee3580a9d1a2b649e61b6
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: Use the dib pip-and-virtualenv element

The element will ensure that we have a reasonable set of pip
and virtualenv packages in place as well as pick the right
python version for the distribution. We also make sure that
we use python2 everywhere.

Change-Id: I8a83af9acffbd8d6d583832956e1685100ec508a
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "playbooks: configure-opnfvhost: Be explicit when copying user files"

Merge "XCI: Bump OpenStack Ansible SHAs"

Merge "xci: file: install-ansible.sh: Update script from latest Bifrost"

playbooks: configure-opnfvhost: Be explicit when copying user files

The flavors may contain deployment specific user_variables.yml files
so we should only copy the generic one in the common tasks and leave
the rest for scenarios to copy them if necessary.

Change-Id: I39e3e090dc40d4f13bb42028a24e8574e19cf6dd
Signed-off-by: Markos Chandras <mchandras@suse.de>

XCI: Bump OpenStack Ansible SHAs

Change-Id: If5e4ff731b2bf59e44b753ce0574f25639694162
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "add os-nosdn-ovs scenario"

xci: file: install-ansible.sh: Update script from latest Bifrost

Update our own copy of the Ansible installation script to take some
Bifrost fixes into consideration. We also upgrade the pip and setuptools
to the latest available version if possible.

Change-Id: I5e51099b2698f0b03922d1364e83bc91cfadc00c
Signed-off-by: Markos Chandras <mchandras@suse.de>

add os-nosdn-ovs scenario

This scenario is to install ovs on neutron agent and compute nodes for
providing networking capabilities without being managed by Opendaylight.

Change-Id: Iacc2f61ce1ffca248acdca378a23d65a91452828
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Merge "Fix permissions on SUSE network script"

Merge "Integrate ceph in XCI"

Fix permissions on SUSE network script

We were not getting the eth12 interface in the computes because the
network-config-suse file did not have executable rights:

-rw-r--r-- 1 root root   300 Nov  9 14:40 network-config-suse

Change-Id: Ia796123b331b67bc442d3506b944f0430f7a5f32
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "Bump OpenStack Ansible SHAs"

Bump OpenStack Ansible SHAs

We also need to allow root logins when the ansible-hardening role
is applied which are disabled by default.

Change-Id: I71f881305bafdd884d541cd34796a6fed8eee157
Signed-off-by: Markos Chandras <mchandras@suse.de>

Fix yum update repos

The *yum update* fails during the installation of ansible in centos
because it tries to update openssh-server among other packages.
This commit change fixes the command to only update the repository
information. The --assumeno argument is not required.

Change-Id: I26870462888742b3200097322d5316ac00febfc5

Merge "Enable OPENSTACK_OSA_DEV_PATH for AIO"

Merge "Fix typo in xci-deploy.sh comments"

Enable OPENSTACK_OSA_DEV_PATH for AIO

The task for synchronize source code between the host and opnfv guest
instance was not implemented for All-in-One flavor. This change
uses the same task that is used in other flavors.

Change-Id: I9733544a22de4867c399eb57dfe90c0915350171
Signed-off-by: Victor Morales <victor.morales@intel.com>

Merge changes from topic 'add-role-hooks'

* changes:
  xci: playbooks: Add generic playbook for scenarios to plug their roles
  xci: Clone all XCI scenarios in advance similar to a-r-r
  xci: xci-deploy.sh: Allow scenarios to overrides XCI variables.

Integrate ceph in XCI

Openstack ansible support to deploy ceph.
The purpose of this patch is to configure the ceph,
just like we configure other openstack components.

The default is to not deploy ceph.
If you want to deploy ceph you just need to
export XCI_CEPH_ENABLED=true before running xci-deploy.sh.
When deployed successfully, the openstack storage will use ceph.

Change-Id: Ifd8d16fdce2914b6316842e72bbfd93228ea059d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Drop Ironic DB using non-default password"

Fix typo in xci-deploy.sh comments

Change-Id: Iac117beb3d4a8df85ad2453c97982adf90958833
Signed-off-by: Victor Morales <victor.morales@intel.com>

docs: Add ONAP into the diagram

Change-Id: If6a0c9d498324a5edec38a442f5c3d23f9796130
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Drop Ironic DB using non-default password

The current implementation relays on the fact that the existing mysql
deployment the root user can remove has access to the root user
without its password. It's possible to drop the Ironic database using
the same credentials that were used during its creation.

Change-Id: I4b26455e06e5f024d2bd8c42065367838bb4aa0f
Signed-off-by: Victor Morales <victor.morales@intel.com>

Merge "Create the basic structure for generic scenarios"

xci: playbooks: Add generic playbook for scenarios to plug their roles

The new bootstrap-scenarios.yml playbook is aimed to be used by
scenarios to configure themselves right before we proceed with
the bootstrapping. This way we can avoid having scenario specific
stuff into the generic code.

Change-Id: I3026013719a50458c65405439712270f25f569ff
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Clone all XCI scenarios in advance similar to a-r-r

In order to plug the scenarios' roles properly, we need to have all
roles physically present in advance. As such, add a
opnfv-scenario-requirements.yml file which can be used to populate the
roles directory with all the scenarios.

Change-Id: I0cdadb63849e4565c31559817660d23217879053
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Remove empty line

The empty line is wrong and it may cause some issues so drop it.

Change-Id: I4120e00df1dd9b7061dc1175e0ea6db8e0a9df88
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: xci-deploy.sh: Allow scenarios to overrides XCI variables.

Scenario may want to override variables exported by the XCI so
allow them to define their own 'xci_overrides' file in the root directory
of the role to do so.

Change-Id: I6648eb43831a2aecc08d745a8c0fc191ce56e1b2
Signed-off-by: Markos Chandras <mchandras@suse.de>

docs: Add XCI overview document

Change-Id: I23405aec19a7e9bfce1c58d770b80b1c9c550d00
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "xci: AIO: Disable tempest on AIO"

Merge "xci: scripts: start-new-vm.sh: Make VM specs configurable"

xci: scripts: start-new-vm.sh: Skip all qcow2 files

We may have qcow2 files around from previous deployments so make sure
they are not copied to the newly created VM.

Change-Id: I35a8d72355ffff4678b611e09aedc8667f29a7f1
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: AIO: Disable tempest on AIO

In a similar fashion to the rest of the flavors, we disable the
tempest tests.

Change-Id: Id4a9912d87d1dabe3e433456f4b145d319e174d5
Signed-off-by: Markos Chandras <mchandras@suse.de>

Create the basic structure for generic scenarios

Change-Id: I158d4e61e627e47ffa89d8229280011a2b615cac
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: scripts: start-new-vm.sh: Make VM specs configurable

We should be able to configure the VM specs so we can fit it
in smaller environments.

Change-Id: I56850df2f6842b6ef757500fecdc21bd1382b7e7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Create the prepare-tests playbook"

Merge "xci: Bump bifrost SHA"

Merge "xci: scripts: start-new-vm.sh: Do not run multiple package manager processes"

Merge "xci: scripts: start-new-vm.sh: Add option to clean VM on failure"

Merge "xci: playbooks: configure-opnfvhost: Copy all user_*.yml files"

Merge "xci: scripts: start-new-vm.sh: Do not destroy user's configuration file"

Create the prepare-tests playbook

This playbook should be executed in case we want to use the osa deployment
as platform for testing a scenario. The playbook currently includes a call
to the prepare-functest role which installs and sets-up everything to run
functest based tests

Change-Id: Ibb59825e64c5889f36fd3bfb38a4d23b67b11866
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: scripts: start-new-vm.sh: Do not run multiple package manager processes

Package managers get upset if multiple instances run in parallel since
the last one will fail to aquire some sort of DB locking and fail. As
such, lets fix that and only run one package manager process at any
time.

Change-Id: I4ab13f61eee861ef70cb4115403d0e239ec14308
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Add option to clean VM on failure

Sometimes we may want to remove the clean VM in case of failure. This
is mostly true for CI tests because developers do not normally have access
to the deployed VMs to debug problems since they can easily recreate the
same environment using this script. If they ever want direct access to
the slaves then that option can easily be turned off and retrigger the
job. In the meantime, this patch allows slaves to free resources when a
job fails instead of keeping the broken tests around.

Change-Id: I07d56661e45fc64e1ec0db7a359522e4ebd2891a
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Do not destroy user's configuration file

As we move towards making this script useful for developers, we
shouldn't destroy the existing ssh configuration file but rather
create a new one just for XCI. This also move the destruction of
previous instances sooner, even before building the OS image so we
can free resources as soon as possible. Finally, this also uses the
hostname to ssh to the new VM instead of its IP to ensure that
everything is setup up properly on the physical host.

Change-Id: I185befd8943fdb8ebcdb635aefb4d4b03473258b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Made minor edits througout the document"

Made minor edits througout the document

Change-Id: I35aefb46661a89615b207398341705dd483b6797
Signed-off-by: rpaik <rpaik@linuxfoundation.org>
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: playbooks: configure-opnfvhost: Copy all user_*.yml files

OpenStack-Ansible can make use of all the user_*.yml files so scenarios
can make use of this facility to override the default ones we provide
for every flavor. As such, lets copy all the user_*.yml files to the
deployment host.

Change-Id: I5ddce48677f66a3ff3ec127f0fc0163f9f45b200
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: bifrost-provision.sh: Always initialize XCI_ANSIBLE_VERBOSITY

The XCI_ANSIBLE_VERBOSITY is normally exported by the XCI bootstrapping
process. However, sometimes it's necessary to run bifrost-provision.sh
by itself so we can debug machine provisioning. As a result of which,
we need to initialize this variable properly so we don't fail with
'unbound variable' errors.

Change-Id: I81c59cf8eb3369c001e952c2c0a2846ed8d95cdf
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Bump bifrost SHA

The latest bifrost code contains a fix when setting up DNS from a glean
configuration drive and also a few virtualenv improvements. This allows
us to get rid of all the workarounds we had in the past to switch
Ansible versions in the middle of the XCI deployment.

Change-Id: If49e290315ec96efdc07d04ff6624439c53aee19
Signed-off-by: Markos Chandras <mchandras@suse.de>

Remove the quotes from the external network name

If we leave the quotes, functest will search for a neutron network with the
name "ext-net" instead of ext-net and will fail

Change-Id: I4ef62fa6ea69573f5872b864402ddb8644ce432d
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: scripts: build-dib-os.sh: chmod and chown files using sudo

Some of the files may be owned by root so we need to ensure that
everything is reset properly. Moreover, only clean the image files
for the one we are building.

Change-Id: I45b78db6715534187f19d9f513e8288fd076cb6b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Install docker-py when running xci as part of CI"

Merge changes from topics 'copy-hidden-skip-verify', 'xci-cache-skip-verify'

* changes:
  xci: scripts: start-new-vm.sh: Copy hidden files and directories
  xci: scripts: vm: Add ability to use cached images for clean VM

Install docker-py when running xci as part of CI

docker-py package is required by the docker_container module in ansible:

http://docs.ansible.com/ansible/latest/docker_container_module.html#docker-container

Change-Id: Ib051ae09c84cfa973ef814852e78626499471d0f
Signed-off-by: Manuel Buil <mbuil@suse.com>

xci: file: ansible-role-requirements.yml: Bump SHA for lxc_hosts

Bump the SHA for lxc_hosts so we can start using lxc-2.X.X on SUSE
hosts.

Change-Id: Ia4830996a66b5694a9d22f8cd067ca12163939a3
Signed-off-by: Markos Chandras <mchandras@suse.de>

Fix the figure size in user guide

Change-Id: I550860f574765a3035e9025e254f6d7ba110e0e4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: scripts: start-new-vm.sh: Copy hidden files and directories

Fix the rsync command to also copy the hidden files and directories.
Copying the .git directory allows us to quickly inspect any file
changes when investigating bug reports and other problems.

Change-Id: I4e6feeea77d5c3b23362a216206c5970b4900169
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: vm: Add ability to use cached images for clean VM

Make it possible to use the hosted dib images from artifacts.opnfv.org
instead of building a new one on every CI run. This way, we can reduce
the time it takes to start the actual XCI deployment.

Change-Id: Idb1f5e3929cc14502c3f7383a61d2fbd0a6eefaf
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Set JENKINS_HOME on local runs

If we are creating a new virtual machine for local testing, then we
should set JENKINS_HOME since some playbooks use this variable to
determine if the deployment happens on a CI or not. That script aims
to simulate a CI deployment so it should have this variable set.

Change-Id: I1165c8b2cd467ba92fcf6f6c178a69b07834894e
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: xci-deploy.sh: Extend regexp when collecting env variables

Not all variables start with XCI, OPNFV or OPENSTACK so extend the
regexp to look for more variables.

Change-Id: If3693d65eec697f6c81c608da3be5799333c28d7
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: scripts: start-new-vm.sh: Do not break on idle SSH connections

Add ServerAliveInterval and ServerAliveCountMax directives in order
to try and keep SSH connections alive. This aims to solve ssh timeouts
like the following one on busy hypervisors:

packet_write_wait: Connection to UNKNOWN port 0: Broken pipe

Change-Id: I58029b41226098d6a44181434ad8653f72384e9d
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: xci-deploy: Add simple error handler"

xci: xci-deploy: Add simple error handler

Add a simple function to collect useful information when submitting
bug reports.

Change-Id: If24b76d2742edffa2269d39dcc998675d1388214
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: scripts: start-new-vm.sh: Use Docker to build OS images"