prototypes: xci: update-osa-version-files: Add support for updating bifrost SHAs

Add a second optional argument to update the bifrost SHA instead of
doing this bit manually.

Change-Id: I0fab8745ae08ad4f54a2a1f5b0b7a64fde4b8295
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Update SHAs for OSA and its roles

This also updates the second (pre_release) argument of
'update_ansible_role_requirements' from 'false' to 'true' so that
non-openstack roles can be updated as well.

Change-Id: Id424499f44c9b51c02d56e5d93580faeea50ad12
Signed-off-by: Markos Chandras <mchandras@suse.de>

Talk about development mode for XCI

Explain the usage of OPNFV_RELENG_DEV_PATH

Change-Id: I19e3946c9ea78a6bb0521818b58af297a396d80d

prototypes: xci: config: Update bifrost SHA

Update bifrost SHA to 7c9bb5e07c6bc3b42c9a9e8457e5eef511075b38
which is the current HEAD on 16th of June 2017.

Change-Id: I91cd98221fda7a1dd689abbfbf07474bd8aac4e1
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: scripts: Add update-osa-version-files.sh script

Add new prototypes/xci/scripts/update-osa-version-files.sh which can be
used to update the XCI ansible-role-requirements.yml file as well as the
OSA pinned SHA string. This file is using the upstream
'sources-branch-updater-lib.sh' library from the openstack-ansible
repository.

Change-Id: I51b88c50cb2bffe0cf1b7aa054a5b237103fd92f
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Add 'ansible-hardening' role to the requirements file

Upstream commit 2798cf403c47d165cd8d34d7888990dce1f827f8 ("Use new
ansible-hardening role") added the new 'ansible-hardening' role to the
ansible-role-requirements.yml file and as such we also need to take that
into consideration. The sha hash does not matter much at this point
since it will be fixed the next time we tag all the roles.

Change-Id: I5444af948e2b83de49863e7e28f3918fed88c90d
Signed-off-by: Markos Chandras <mchandras@suse.de>

Define an extra vars path and copy into playbooks

This will allow to define the XCI_EXTRA_VARS_PATH, that can
contain group_vars/all (or any other valid files), and those
will be copied inside releng and bifrost playbooks.

Change-Id: I95e4b0bfb67f26bfa1eb10c97096784eb7f3a87a
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Explain the need of having an ssh key

In order for XCI to work, the user needs to have a ssh key. Explain
that on the README and show the command to generate it.

Change-Id: I517e15de15ba1b09977dbd62881bc2625c8b2833

prototypes: xci: Make CLEAN_DIB_IMAGES variable configurable

The CLEAN_DIB_IMAGES variable determines whether the /httpboot
or /tftpboot directories will be removed before running the xci-deploy
script. This forces XCI to re-create the target OS images. We moved
this variable from env-vars to user-vars since this is something that
users normally want to tweak in their deployments.

Change-Id: Ia48bd63979e3837aab7e47c906c2501e7c7dd0e1
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: bifrost: Switch Ubuntu targets to Xenial (16.04)

Switch default target OS to Ubuntu Xenial (16.04) which is also
the version which is supported by OpenStack Ansible.

Change-Id: I73adc6472b0fb572177e1508cf831b4d3190245c
Signed-off-by: Markos Chandras <mchandras@suse.de>

Fix ansible installation for non-root

Currently ansible was set to be installed with pip, but
this fails for non-root user. Instead of that, execute
pip with --user flag, so we don't need root permissions and it
is only installed for the current user.

Change-Id: Ib37a2a3866b4b48aca834b894cdd128ee63b31d6

Remove sudo usage from xci-deploy

The script was refactored to don't need sudo on the
latest versions, and the documentation is still referencing it.

Change-Id: I7064317ab7b756a78638f7474f2944472d3a4ba2

prototypes: xci: Look for SSH keys in $HOME directory

We no longer run everything as root so we need to look for SSH keys
in the appropriate home directory.

Change-Id: Iae1f7eb80059e7d369c8e0c8b6c33c6a4f673f94
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Move host keys away from / directory

Putting the host keys in '/' requires root privileges so
it's best if we place them in the same directory like the
rest of the XCI files.

Change-Id: I030ed3d6cbb57bb984a78aeffb4eca2bd5c10bb0
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Add ability to use local repositories for testing

When developing XCI features it's useful to be able to use the local
repositories rather than cloning them from git since that makes
it harder to test local modifications against XCI. As such, we add
three new variables which can be used to hold local paths to the
bifrost, releng and openstack-ansible repositories. We are still
cloning the repositories but we then use the 'synchronize' Ansible
module to copy modified files from the local repositories.

Change-Id: I6d593ea48d8b9c51415d9d0848f77a498ef2f486
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: bifrost: Remove OPNFV specific group_vars file

The only reason we had this file was because we had to define our own
'ssh_public_key_path' variable to look in the /root directory since we
were running everything as root. Since we are now moving away from this
approach, this file is not needed anymore.

Change-Id: Ic938c4c8c877c95ce261721dc32fc5147081e236
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: configure-localhost: Use 'connection: local'

Since we are operating on localhost, there is no need to do that via ssh
so we use 'connection: local' instead. Moreover, we do not need to
execute everything as root so we drop the remote user directive.

Change-Id: Ib2127edad29e2da1cd1beebf42cb8f0d278ce3ad
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: provision-vm-nodes: Do not provision VMs as root.

There is no need to provision VM nodes as root. The only thing that we
need to run as root is the destroy-env.sh script and for that we move
it to its own play so we can use Ansible's become directive. Moreover,
since this playbook operates on localhost we can use 'connection: local'
so we don't have to execute everything via ssh and possibly speed up
the whole process.

Change-Id: Ia9efd5f30e95385b5cf193dde352f93551846c0e
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: user-vars: Move root directory away from /opt

Having everything in the /opt implies root privileges. However, xci
should work as normal user and as such we use the /tmp directory as
the root directory.

Change-Id: I985ded289208e1de53ad0ba878afd5bfd745c3fd
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: xci-deploy: Do not use sudo when connecting to remote hosts

In preparation for running xci-deploy as normal user, we do not need to
gain elevated privileges in order to connect to remote hosts. SSH keys
will be placed in user's ssh directory so we can ssh as normal user.

Change-Id: Ieb705515ec191955a646839e8f195d089df184bd
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Do not require root privileges in xci-deploy

There is no good reason to run the script as root. If elevated
privileges are required then we will do it on a per case basis.

Change-Id: I7195fb3a0026ea20ce04e0b652dd3c1c56ca5741
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: bifrost: Write clouds.yaml file for regular users

This is similar to commit 6769ae9bcbf6 ("prototypes: bifrost: Add
keystone roles"). In preparation for running the bifrost jobs as normal
user we need to write a clouds.yaml file to users home directory.
This is similar to the bifrost upstream testing playbook.

Change-Id: Iae4bc73906649707667925280a19282ec5c93998

prototypes: xci: Make sure Ansible dependencies are installed

'pip install ansible' is not enough on newly installed hosts which may
lack the necessary build tools to install Ansible's dependencies. As
such, we add a script similar to the bifrost/scripts/install-deps.sh
one to pull in all the necessary distro-specific packages so Ansible
and it's dependencies can be installed from scratch.

Change-Id: I4b1e74644db9ace451ad763e4c54f1a3a43214fd

prototypes: bifrost: Add keystone roles

The os_client_config Ansible module used by all the ironic-* roles
depends on the keystone roles so we need to make use of them even
though they do not affect the end result. This fixes the following
OPNFV CI problem due to not having a clouds.yaml file present to
be consumed by the os_client_config Ansible module.

fatal: [controller00]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}
An exception occurred during task execution. The full traceback is:
Traceback (most recent call last):
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 75, in <module>
    main()
  File "/tmp/ansible_ApkCUQ/ansible_module_os_client_config.py", line 63, in main
    for cloud in config.get_all_clouds():
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 798, in get_all_clouds
    cloud, region_name=region['name']))
  File "/usr/lib/python2.7/site-packages/os_client_config/config.py", line 1071, in get_one_cloud
    auth_plugin = loader.load_from_options(**config['auth'])
  File "/usr/lib/python2.7/site-packages/keystoneauth1/loading/base.py", line 162, in load_from_options
    raise exceptions.MissingRequiredOptions(missing_required)
keystoneauth1.exceptions.auth_plugins.MissingRequiredOptions: Auth plugin requires parameters which were not given: auth_url
fatal: [opnfv]: FAILED! => {"censored": "the output has been hidden due to the fact that 'no_log: true' was specified for this result"}

Moreover, we cleanup the ~/openstack directory which may contain some
bifrost artifacts such as a clouds.yaml file.

Finally, we use 'sudo -H' because for the keystone roles we need the HOME
variable to be set properly.

Change-Id: I45b08bd33dd8ea9505fe10eb4b2b10956b3b683c

xci: Ensure ansible is bootstrapped as last step

Role requirements file is used during ansible bootstrap on opnfv
host so we must ensure the right ansible role requirements is there
in advance.

Change-Id: I2c5a1edd82a51cbbe1469c31f37b5d638d32ec27
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Always use pinned versions of openstack-ansible-requirements

Pinned versions used to be used only if XCI_LOOP == 'daily', but it
seems to be required, otherwise this is very likely to fail

Change-Id: I21f638bba75846a58b12373a903d414fa89b4bc6
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

xci: Fix nfs server ip for glance

Change-Id: Iebb9945bfd9cad9ebfda127f130542f4a6334aec
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Merge configure-targethosts.yml playbooks into one

They are exactly same now after moving nfs to compute00.

Change-Id: I9d9d2f037aa3684ba130ae0a4f9aef2e733f2d2e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Change cinder backend and move nfs to compute00

This change
- switches cinder backend from lvm to nfs as examplified in [1].
- moves nfs shares from compute01 to compute00 in order to merge
configure-targethosts.yml playbook in upcoming change.
- updates openstack_user_config.yml to reflect the switch to nfs
and move of nfs server to compute00.
- removes exports file due to switching to lineinfile module.

[1] https://docs.openstack.org/project-deploy-guide/openstack-ansible/draft/app-config-prod.html

Change-Id: I0715c98a89ab124256e3857c1047e374f261e39b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Force sync time

For some reason, when the nodes are provisioned, they are out
of sync time-wise. This prevents neutron agents on compute nodes
from starting and then everything fails.

This change restarts chrony after the network configuration is updated
and the nodes have internet access and force synchs time on nodes.

Change-Id: Ib27b1fa0313223b52fa2e6229d5a179581d62686
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Fix network configuration

This change
- sets static IP for controller nodes' vxlan bridges as stated
in osa documentation: compute and network hosts must have an IP [1]
- configures IPs for controller nodes' vxlan bridges.
- removes the additional vlan ip from compute nodes as it seems to
be there for all in one.
- removes glean.rules as they mess with the network configuration once
the network changes are applied.
- removes the contents of interfaces.d as osa populates config for
lxc bridges and includes this config in interfaces file thus all the
files in interfaces.d must be removed in order not to mess with the
network configuration.
- updates modules appropriately.

[1] https://docs.openstack.org/project-deploy-guide/openstack-ansible/draft/app-config-prod.html

Change-Id: I84d5f07216c8d0246da06080fb0ed19f917d6637
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Fix images directory permissions

Change-Id: Ibc1b9662bb9865c0e309128327d620324ddca85c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Exclude aodh, ceilometer, and gnocchi from deployments

Aodh is broken on the master branch due to use of conflicting
sqlAlhcemy package, causing issues during osa repo_build.

This patch disables aodh and the related services ceilometer
and gnocchi since the reason for us to have these 2 is to get
aodh.

See the failure from
https://build.opnfv.org/ci/job/xci-deploy-virtual-xenial-daily-master/26/consoleFull

Change-Id: Ic6b74328cf1692b5e26c5f30b3eb3799240c7117
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Log info about provisioned VMs to console

Change-Id: If29aaf0be6ddd860450eeb10432fe75e12b1d03b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: SHA bump as of April 4

The bifrost, osa, and ansible role requirements sha1s are bumped
based on the HEAD of the master of the projects on April 4.

designate is also disabled based on the comment the osa commit
mentions.

https://review.openstack.org/gitweb?p=openstack/openstack-ansible.git;a=commit;h=d9e1330c7ff9d72a604b6b4f3af765f66a01b30e

Change-Id: Ib47515490c799d3b1d2b4b319277c8900cd37328
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Introduce XCI_LOOP variable to control what to do properly

XCI has different jobs/loops to run
- patchset verification jobs (currently bifrost and osa in future)
- periodic jobs (bifrost and osa)
- daily jobs (for OPNFV platform deployment and testing)

The same scripts/playbooks used by XCI will also be used by developers.

We need to do different things depending on the context the scripts
and playbooks are executed.
- periodic jobs will use latest of everything to find working versions
of the components. (periodic osa will use unpinned role requirements
for example)
- daily jobs will use pinned versions in order to bring up the platform
and run OPNFV testing against it. (daily deployment will use pinned
versions and role requirements for example)
- developers might choose to use pinned versions or latest

Depending on what loop we are running, we need to do things differently
in scripts and playbooks. This variable will help us to do this in easy way.

We can of course do pattern matching of the job name but it will not
work if the scripts are used outside of Jenkins.

The default loop for non-Jenkins execution is set to daily as we want
developers to use working versions unless they change it to something
else intentionally.

Change-Id: Iff69c77ae3d9db2c14de1783ce098da9e9f0c83d
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Fix the haproxy service and gnocchi db sync problem

This patch reflects the fix Tianwei found for the keystone and gnocchi
issues with HA deployment.

https://gerrit.opnfv.org/gerrit/#/c/32367/

The keystone issue should be fixed upstream but until that happens, we
can use the patch here to move us forward.

Previously removed OpenStack services have also been enabled to
try as close deployment as possible to upstream openstack-ansible.

Change-Id: Ib7b1cfe0f363381466b43a3249667c638c09d9fd
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Adjust and fix jobs and scripts

This change
- fixes GIT_BASE in jobs
- adjusts build blockers
- fixes where the flavor vars should be sourced from
- sources flavor vars for bifrost periodic jobs
- renames the xcimaster node to opnfv to be consistent
- removes obsolete xci-provision.sh script
- enable additional openstack services including tempest to
  ensure the deployment is sane

Change-Id: Ifdce1da52d68a26c2b87e1bd3b1996ec119d8d90
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Start developer documentation

Change-Id: Ib5200372a44ee6a22b45c2105b3729d362eacb1d
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Configure daily job to use xci scripts

Daily jobs are now switched to using xci-deploy.sh script together
with the environment variables, playbooks, and so on.

These jobs do not set any version for any of the component as
the point with these jobs is to test the platform itself, not the
tools.

DIB related stuff is still left as parameters to deploy job for SUSE
and CentOS jobs so we can override what is set by xci depending
on the distro.

Change-Id: I5a5292e6bae8fdd052858108db409e8d495fbf24
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Update main script and readme

This change
- updates the main script to run the playbooks
- creates the initial version of the readme file

Change-Id: I4110433bce541a5d9645f34457f9e1b1ee93df19
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Create playbook to destroy, create and provision VM nodes

This change moves preparation (cloning repos, combining opnfv/bifrost
with openstack/bifrost), destroying and creating VM nodes from the
script into a separate playbook.

This requires the host to have ansible installed. The version of ansible
to install using pip currently matches to what bifrost uses but it is
hardcoded and needs to be fixed properly.

The reason for having this as a playbook to simplify the script and
increase the reuse. This playbook will be used for
- developer sandbox
- periodic bifrost jobs to run against latest on given branch and
promoting bifrost sha1 to pin later on
- daily jobs to run using pinned versions of bifrost

Change-Id: I033f12290dfea19d4c74be80eea7203211c0369e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Add ansible files for sandbox ha flavor

This patch adds noha target host configuration playbook, inventory, variable
files and so on to use until we have time to fix things more properly and some
other functionality becomes available in upstream. This approach will result in
duplicates but it is something we can perhaps live with.

The playbook to configure target hosts will be same with the one we will
have for noha flavor but for different for the flavor mini.

The user variables and openstack user configuration will be different between
flavors and keeping deployment specific configuration.

Change-Id: I4e2b375b9f8f6bd5f8c5da91a522b78d61a58125
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Add ansible files for sandbox mini flavor

This patch adds mini target host configuration playbook, inventory, variable
files and so on to use until we have time to fix things more properly and some
other functionality becomes available in upstream. This approach will result in
duplicates but it is something we can perhaps live with.

The user variables and openstack user configuration will be different between
flavors and keeping deployment specific configuration.

Change-Id: Ie312dfa2047d094b590de970c1436d69f4c69668
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Add ansible files for sandbox noha flavor

This patch adds noha target host configuration playbook, inventory, variable
files and so on to use until we have time to fix things more properly and some
other functionality becomes available in upstream. This approach will result in
duplicates but it is something we can perhaps live with.

NFS configuration is converted into a role and the rest is adjusted accordingly.

The playbook to configure target hosts will be same with the one we will
have for ha flavor but for different for the flavor mini.

The user variables and openstack user configuration will be different between
flavors and keeping deployment specific configuration.

Change-Id: I8faceae846285fc3e4260cbced5b740a9b0c3766
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Move role configure-network to the right place

Incorrectly placed role configure-network causes ansible to skip
the roles at the beginning of the playbook.

Change-Id: Id85e9684eb86acad7c11104b434a319c37e16903
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Add ansible files for sandbox aio flavor

This patch adds aio opnfv host configuration playbook, inventory, variable
files and so on to use until we have time to fix things more properly and some
other functionality becomes available in upstream. This approach will result in
duplicates but it is something we can perhaps live with.

The playbook to configure opnfv host is different from the playbook used for
the rest of the flavors as our target host is the opnfv host itself. This is
the reason for not having target host configuration playbook.

This installation of aio will be driven by upstream scripts/playbooks entirely
and we just execute the scripts we have in openstack-ansible repo.

Change-Id: Ica814bdac1d324414f3add382a8241de49c93a2e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

prototypes: bifrost: Remove ironic templates

This effectively reverts d8235c3c97f4 and 7c1b8bf89d6ce since
upstream has now fixed the issues reported in
https://review.openstack.org/#/c/450681/

Change-Id: I35588146654d9141bc9357faa3d44e8799c5b706
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Networking fixes to introduce role and interface var

Network configuration task and accompanied handler put into a role
and handler is converted to task.

Distro specific var, interface, is introduced to ensure we do not
hardcode the interface which might not be available.

Update the templates accordingly.

Change-Id: I667620fe22c93a9b20a1d8c1b7b0051d7647b591
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Ensure using flavor inventory

This is needed in order to configure target hosts that are in the
flavor inventory file rather than what is there by default, which
is aio.

Change-Id: Iab27ed71a3d7c03f8fbbec8ceb7af92259320412

xci: Add common and OS family ansible var files

OS family vars_files are currently empty and put there to show
the intend. (kind of TODO)

opnfv.yml holds non-distro and non-flavor specific variables.

Change-Id: I65aff2650257f2df00fd1f0a0638fd1aff596ac4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Add main playbooks and files

This patch adds the main/common playbooks, files, and templates to
be used for all flavors.

The provisioning and OpenStack installation process will be as below
- provision VMs for flavor using bifrost
- once the VMs are provisioned, configure-localhost.yml playbook will
be run, preparing the localhost in order to ensure the right playbooks
(configure-opnfvhost.yml and configure-targethosts.yml), inventory files
and var files are in place before we proceed with configuring opnfv host.
- after getting the right files for the flavor, opnfv host will be
configured using configure-opnfvhost.yml playbook.
- finally, the target hosts will be configured.
- once the above process is completed, openstack-ansible playbooks will
be run, setting up hosts, infrastructure and OpenStack.

Change-Id: I6e08b2cfdab9627f765e6fc414917b09f953cab2
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

prototypes: bifrost: Remove /opt/stack from previous deployments

/opt/stack is being created by bifrost so the destroy-env.sh
script should be responsible for cleaning up all the remnants.
That way we can use the destroy-env.sh script outside of Jenkins
as well.

Change-Id: I72d9737cf2446ff3ffc02f195337a6873eceb5c0
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Destroy/undefine only the VMs we created

Destroying/undefining all the VMs on host might cause issues for the
users. This change tries to reduce the possibility of it by removing
VMs listed by vbmc.

Change-Id: I5134043309722632df68a0800c6403e6f39a8d16
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

prototypes: bifrost: Fix Ironic drivers for VMs

Commit d8235c3c97f4("Set database pool_size in ironic.conf and
inspector.conf templates") added a copy of the ironic.conf.j2
template file to workaround an upstream bug but it also changed
the default ironic drivers leading to broken introspection. We use
virtual BMC for controlling the VMs and this expects ipmi ironic
drivers so we fix that.

Change-Id: Ibb2cc58738ec1693e136bdce7335cd1b861ec613
Fixes: d8235c3c97f4("Set database pool_size in ironic.conf and inspector.conf templates")
Signed-off-by: Markos Chandras <mchandras@suse.de>

xci: Make OSA playbook to use during installation configurable

Change-Id: Ie6f079bb61905ca0458778b78fef799777b24efa
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Rename the deployment host to opnfv

Reflect the changes to other impacted files as well.

Change-Id: I106f4e47fe5c75d288f4878fe6ec9f8ff39c652e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Add/update variables to tool, user, and flavors

Updates
- RAM allocations for the flavors mini and noha increased to 12GB.
- Distro variables introduced to tool as it will be used by the CI and
the developers.
- LOG_PATH and RUN_TEMPEST are now available in user variables.

Change-Id: I4a73d7b79761d81f605cdb3fa9771ca40e9f9f02
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Yet another try to find how best to structure stuff

Summary of changes are
- flavors directory has been removed and the flavor config files are
moved into config and renamed to <flavor>-vars
- common files are put under file
- files specific to flavors are put under file/<flavor> directories
- templates and var files are stored in template and var directories
respectively
- 3 playbooks are created

Change-Id: I8a93e0947ccb02f93a6c8f00da27e0cc6b4dc21e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Set database pool_size in ironic.conf and inspector.conf templates

min_pool_size and max_pool_size are undefined in ironic.conf and inspector.conf
templates, causing issues during ironic-dbsync and ironic-inspector-dbsync.

https://build.opnfv.org/ci/job/opnfv-bifrost-verify-trusty-virtual-master/224/console

This issue is there for stable/ocata as well.

These should be got rid of once the patch on openstack/bifrost is merged.
https://review.openstack.org/#/c/450681/

Change-Id: I678835e763022a7168e498047bb65d140895e019
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Enable node provisioning and shuffle/rename stuff

This change enables node provisioning using bifrost based on the chosen
flavor.

Other changes include
- move flavor specific stuff (playbooks, inventory, vars) into their own
folders so it is easier to copy them over.
- rename flavors and get rid of xci from them.
- introduce env-vars to keep variables that are not really user variables.

Please note that this patch contains empty files and so on due to still
trying to find best way to structurei things. Apart from this, there will
probably be lots of duplications here and there which will be taken care
of once things settle.

Change-Id: I04a5d422e5b018439bafea5e68e65255ae38d22b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Set up the basics for xci developer sandbox

This change creates
- initial version of the script to initiate the VM node creation and
provisioning with bifrost and OpenStack installation with openstack-ansible
- pinned-versions to hold the "known working" versions. releng will use master
until the development is complete.
- user-vars to hold user variables
- configuration files to keep settings for different flavors
- ansible files (playbooks, inventory files, variables) per flavor. These
files are empty at the moment in order to save the chosen path makes sense.
Once the way is agreed on, these will be similar to the files listed below
with different content per flavor.
    https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=prototypes/openstack-ansible/playbooks/inventory
    https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=prototypes/openstack-ansible/playbooks/configure-xcimaster.yml
    https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=prototypes/openstack-ansible/var/ubuntu.yml

These new files will be the ones used when the actual deployment is done
with openstack-ansible based on the flavor chosen by developer (or CI).

Change-Id: Ia2f38416a161abd186cbcca61e105c6a68f78b54
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Configure ansible verbosity based on job type

Daily jobs will use pinned versions of bifrost and openstack-ansible in
order to make sure we use known good versions for them since focus of
the daily jobs is  OPNFV platform testing.

Ansible log can easily become massive depending on the level it is set
and it is not so relevant for daily jobs to have it like this due to
less probability of dailies failing to provision/deploy.

On the other hand, the jobs that verify/test bifrost and openstack-ansible
will have max verbosity enabled to troubleshoot these components themselves.

New set of jobs will be created running periodically against the HEAD
of master for bifrost and openstack-ansible to catch working versions
and help us promote them to use for daily platform jobs. Verbosity of these
jobs will be enabled like how we are doing for bifrost-verify jobs.

Change-Id: Ic9fd2ff418fdaa3ad7fbfc22d8ec2dc1174df65f
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Merge bifrost provisioning scripts and rename

Jobs are adjusted as well.

Change-Id: I0bc5bdda37277053d81d7da394e0156902da817a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Adjust how bifrost inventory files are specified

First step towards creating env-vars files based on the use of these
scripts so the scripts can be merged into one.

Change-Id: I4ee1d9af520aa684a5367a2645d709835bc4a5a1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Make it possible to select component versions

By replacing the branch with version, we now can specify sha1s
per project; opnfv/releng, openstack-ansible, and bifrost.

If nothing is specified manually (or via promotion), the defaults
will be set to branches, master and stable/ocata.

Change also includes further logging.

Change-Id: Iae0f8cc60391caeb0f2735610050007014374a70
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Fix grep, switch to opnfv playbook and log playbooks to console

Change-Id: I4a576d45b71267f672e55c93e4f0c95410af019a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Fix the script name and remove openstack services

Change-Id: I774e12f15561de75920ca50bcb2fbaf917e004a9
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Logging, naming, and job updates

- adjust build blockers in daily jobs.
- explicity set SLAVE_LABEL for provision, deploy, and functest jobs
so they run on correct nodes even if they are started manually.
- rename files and update scripts accordingly.
    osa_deploy.sh -> osa-deploy.sh
    targethost_configuration.yml -> configure-targethosts.yml
    jumphost_configuration.yml -> configure-xcimaster.yml
- add/fix console logging in osa-deploy.sh.
- add license header to osa-deploy.sh.

Change-Id: I57a37dccaa4bcda554ef79969e5d288b49937807
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Updates to releng/osa to make it work on Jenkins

- change OSA_BRANCH to OPENSTACK_BRANCH to be consistent everywhere.
- create opnfv-setup-openstack.yml playbook, getting rid of some components
and copy it to xcimaster to use during the deployment.
- switch to opnfv-setup-openstack.yml from setup-openstack.yml.
- create Jenkins job wrapper to execute osa deploy script.
- disable ansible strict host key checking.
- use sudo -E as needed in order to make env vars set by Jenkins
job and wrapper available to other scripts and to ansible.
- rename jumphost to xcimaster so people do not mix it with actual
jumphost located in Pharos PODs.
- other minor fixes.

Change-Id: I5736fa700c2aa39c598d301bc74450d766b74411
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Updates to releng/bifrost to make it work on Jenkins

- get rid of BAREMETAL_DATA_FILE and use BIFROST_INVENTORY_SOURCE
so it works both for master and ocata for osa-bifrost.
- set BIFROST_INVENTORY_SOURCE file according to branch bifrost is
executed from for osa-bifrost.
- explicitly set what the SSH public key file is as ansible copies
the wrong public key to nodes if bifrost is executed on Jenkins
using sudo.
- set branches if they are not set so the scripts can be used manually
as well.
- rename jumphost to xcimaster so people do not mix it with actual
jumphost located in Pharos PODs.

Change-Id: Iff7631fa99816ad75316b62c5ac20714f67cd86a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Remove obsolete bifrost dib ELEMENTS_PATH

Change-Id: I7baa0db9c8193e4041883d5997529df98919c7af
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Enable VM provisioning using bifrost for daily runs

- create script to provision VMs (log upload is not enabled yet)
- remove leftover inventory files (baremetal.csv, baremetal.json)
- set BIFROST_INVENTORY_SOURCE as needed by stable/ocata
- rename playbook used during bifrost and adjust scripts using it
- remove puppet-infracloud stuff

Change-Id: I1c4412d0725c00ab9a1b3497e358d33998b4e7e6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

prototypes: bifrost: destroy-env: Delete nodes from vbmc

Upstream commit 12376b958e76 ("Use virtualbmc for virtual BM nodes")
moved the VM IPMI management from the ssh drivers to the vbmc one.
As a result, we need to clear all the nodes from vbmc during cleanup.

Change-Id: I2a4e7233874c4fad8df525c8f7b526df17a8211f
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: Create bifrost script for openstack-ansible

This change creates a separate script to provision 6 VMs for HA
to use for openstack-ansible.
- create 1 jumphost, 3 controller, 2 compute
- set the mumber of vCPU to 8
- use 16GB RAM per VM
- use xenial and add additional packages required by openstack-ansible

Change-Id: I858340c5bd13a1cd35cf4334ab2b8c362c5c5e7f
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Read OSA_BRANCH from an env var

Currently the OSA_BRANCH was sent in the deploy script,
but not being picked by ansible. Enable this OSA_BRANCH in
ansible, that will read from the populated env var in the
deploy script.

Change-Id: I77cffaee647a6f2a67baa49b1ddf022061398d86

prototypes: fix yamllint issues

Linting openstack-ansible files

Change-Id: Id9e3ffa7753f25cd57c4d706b26cbb76d0bd99c7
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

prototypes: fix yamllint issues

Linting puppet-infracloud files

Change-Id: I37ccf9537a8d56e8209c6dbf17a62901d1cc441c
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

prototypes: bifrost: Fix ELEMENTS_PATH for latest diskimage-builder release

Upcoming diskimage-builder version (2.0.0) changed the location on
where dib elements are installed from /usr/share/diskimage-builder to
/usr/lib/$python/diskimage_builder/. However, base elements are included
by default so fix the script to set ELEMENTS_PATH to the path of our
out-of-tree elements.

Change-Id: Ib5c4e1465a67a819c9d495b0e0a64addeb0294cb
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: bifrost: Switch to JSON for inventory

Upstream commit 3aaed64e88e3 ("Use JSON baremetal data in testing")
switched from CSV to JSON for the inventory file in order to support
the *_ipmitool drivers and virtualbmc. This commit mimics the upstream
one.

Depends-On: Ib5c4e1465a67a819c9d495b0e0a64addeb0294cb
Change-Id: If66810db445cf997c5eb61090815abe186e002fa
Signed-off-by: Markos Chandras <mchandras@suse.de>

Add scripts and playbook to deploy OSA

The script and playbooks defined on this repo will deploy an OpenStack cloud
based on OpenStack-Ansible.
You just need to run the osa_deploy.sh.
More information please refer to the README.md

Change-Id: I731c366ab7197aefd7726150477ba1cc4d2932d3
Signed-off-by: wutianwei <wutianwei1@huawei.com>

prototypes: bifrost: Collect logs even if deployment fails

Move the collect-test-info.sh script to the 'exit' trap so we can
collect whatever logs we can even if the bifrost deployment failed.

Upstream change: https://review.openstack.org/433532
Change-Id: Icfbec01d894ff33e83730a40a09dc5540008dbaa
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: Destroy all VMs from the slave nodes

New patchsets may introduce (or remove) testing VMs so make sure the
script destroys all of them

Change-Id: Ic96142823b9a8b044306327ce3454fbdc6fa5eb4
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: bifrost: Cleanup old VM console logs

The VM logs may not be rotated by logrotate so they are accumulated
over time. Make sure they are gone when we start a new job.

Change-Id: Iecf7e53015740db98c17a42612da7f44f3c4a676
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: bifrost: Drop the entire ironic database

There is no reason to only drop a few tables from it, so
just drop the entire database.

Change-Id: Iea9757fc5ccd85bc223d3c86d6a4c3ecf65fa130
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: Use 'unsafe' disk cache for test VMs

The VMs which are created by bifrost are not meant to be used in
production so improve the overall CI job performance by switching
to the 'unsafe' disk cache mode. Make it also the default mode when
using bifrost outside of the Jenkins job.

Change-Id: If88f6c9395617a4aa860f8d00e22abfdd18d2922
Signed-off-by: Markos Chandras <mchandras@suse.de>

jjb: infra: prototypes: bifrost: Ignore mysql and ironic failures

On brand new hosts ironic may not be installed yet so attemping to
restart ironic services will lead to failures. Similarly, mysql may
also not be installed so do not try to wipe the tables.

Change-Id: Ic77d9358aeecb11f5c076a47cfea18ee4f0dff9f
Signed-off-by: Markos Chandras <mchandras@suse.de>

Removing SELINUX class from server manifest

  Duplicated in controller.pp

Change-Id: I4817e23cfc1ff3862fc4fe9bc69b8e90c28073cc
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Co-authored-by: Yolanda Robla <yroblamo@redhat.com>

Add dependency on ::opnfv::server

Manifests give several failures on first run, if
::opnfv::server class is not applied first.

Change-Id: Iaddc9f5b81f134c15d051417a93c1d687ad035c4
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

prototypes: bifrost: Increase default provision timeout to 3600 seconds

Sometimes, the current '2400 seconds' timeout is not enough to all 3 VMs
to become reachable especially when the qcow2 images are becoming bigger
and bigger. This leads to spurious CI failures. Increase the timeout to
3600 seconds which should be enough for VMs boot properly

Change-Id: I06942952667df28341e5ce43d30619fe2e30326b
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: test-bifrost-deployment.sh: Use the new 'openssh-server' dib element

This is a follow-up for b0a9b75e7481a24676c9488f17583c13b8b8026e
("Make use of the new 'openssh-server' dib element"). Remove the
openssh-server package from the default packages and use the
'openssh-server' element instead.

Change-Id: Ie14cdf93769ebefcae00f35d9e1ac149a31e7711
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: Make use of the new 'openssh-server' dib element

Make use of the new 'openssh-server' dib element to achieve a consistent
behavior of ssh server across all distributions.

Change-Id: Ib10066a244fe44530969702cd465cdd79454b8fe
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: test-bifrost-deployment: Allow overriding VM hardware options

Make VM disk, cpu and memory settings configurable to allow less
powerful hosts to host the bifrost VMs.

Change-Id: If819451536dd518690f3808c55de940169b90346
Signed-off-by: Markos Chandras <mchandras@suse.de>

Fix typo in mac address

Change-Id: I3feb14a2c055563392bf70836b8e1ad46e3ae24e
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Fix bug in setting udp ports

There was a typo that prevented to configure udp ports
properly, causing dhcp boot to fail.

Change-Id: Ib853a9b9a21da113bda12b5cc1f33b3819442139
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Add missing step on the baremetal documentation

Change-Id: Ib9ef5d342f1efe624464df249c950eb7807322e1
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Start using centos7 instead of centos-minimal

Current builds with centos-minimal are failing on 7,
so start using centos7 element instead.

Change-Id: I80d986fd7613e1807a119447a01c62e6f8a93ddf
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Add step to customize create bridge template

Change-Id: I0f4e7353773291e810f70059e4a015ac641bd2c8
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

playbooks: Do not serialize ironic deployment

[This is similar to upstream https://review.openstack.org/389079]

This somewhat reverts 0a82e3d8d29f85229e1ed29d90de47346bc1d9b1
("Serialize localhost actions during final host deployment").
The only point where we want to serialize the steps is when accessing
common files on the host. In the bifrost-deploy-nodes-dynamic role,
all tasks are accessing files based on the 'inventory_hostname'
variable, which means there is no conflict there and tasks on these
role can run in parallel. This allows bifrost to provision machines
in parallel during pxe boot which speeds up the entire operation.

Change-Id: I64b1f2832c333c89e33e8f9d19f03e4d653d74b4
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: bifrost: Ignore dnsmasq service failures

If this is the first time we run bifrost on a host or if we haven't
run bifrost since the last reboot, restarting the dnsmasq service will
fail because of conflicts with the dnsmasq process running by libvirt.
This is later on 'fixed' by bifrost by killing the one from libvirt.
Make sure that this spurious failure will not prevent the rest of the
cleanup process to move on.

Change-Id: Iebf37881570c27cb07cea3cecdb0fa8ac3fc511b
Signed-off-by: Markos Chandras <mchandras@suse.de>