Increase libvirt/qemu.conf max_files and max_processes

When Nova and/or Cinder are using Ceph as backend, qemu will need
to open a connection and two threads for each and every Ceph OSD.

This change raises the max_files (set to 1024 by default) to 32768
and the max_processes (set to 4096 by default) to 131072. The max
number of FDs is per-process, while the max number of processes is
per-user. The values can be overridden via ExtraConfig, no params
are added to the templates.

A more detailed description of the values were chosen can be
found at: https://access.redhat.com/solutions/1602683

Change-Id: I1e79675f6aac1b0fe6cc7269550fa6bc8586e1fb
Depends-On: I258afd3ee6633e4b2ebc45aa8611be652476be0c

Merge "Deployed server: switch to apply-config hook"

Merge "Don't rely on lsb_release for hosts template write"

Merge "docker: don't use custom run-os-net-config"

Merge "Add FreeIPA enrollment template"

Merge "Add NIC config for compute role for DVR with multiple NICs"

Add FreeIPA enrollment template

This is based on previous work [1] and it's what I've been using to
test the TLS-everywhere work.

This introduces a template that will run on every node to enroll
them to FreeIPA and acquire a ticket (authenticate) in order to be
able to request certificates.

Enrollment is done via the ipa-client-install command and it does
the following:

* Get FreeIPA's CA certificate and trust it.
* Authenticate to FreeIPA using an OTP and get a kerberos keytab.
* Set up several configurations that are needed for FreeIPA (sssd,
  kerberos, certmonger)

The keytab is then used to authenticate and get an actual TGT
(Ticket-Granting-Ticket) from Kerberos

The previous implementation used a PreConfig hook, however, here it
was modified to use NodeTLSCAData. This has the advantage that it
runs on every node as opposed to the PreConfig hook where we had to
specify the role type so it's a usability improvement. And, on the
other hand, this does set up necessary things for the usage of
FreeIPA as a CA, such as getting the certificate and enrolling to the
CA.

[1] https://github.com/JAORMX/freeipa-tripleo-incubator

bp tls-via-certmonger

Change-Id: Iac94b3b047dca1bcabd464ea8eed6f1220c844f1

Don't rely on lsb_release for hosts template write

This is problematic for the containerised heat-agents, lsb_release has
to be bind-mounted in, and atomic host doesn't even have lsb_release
installed.

Instead just write to every /etc/cloud/templates/hosts.*.tmpl file.

Change-Id: If2aab7e9b1e03aa657baf1c33aa4392ef7044075

docker: don't use custom run-os-net-config

The script run-os-net-config[1] copies in ifcfg-* from the host before
running os-net-config. Apparently it was done this way because the
other scripts in /etc/sysconfig/network-scripts/ differed between host
and agent container. This should be less of an issue now that host and
heat-agents run centos-7 (even when the host is atomic)

tripleo-heat-templates recently changed to running os-net-config in a
deployment script instead of an os-refresh-config script [2]. This
means that our current run-os-net-config approach is currently
resulting in os-net-config being executed twice.

Another issue with run-os-net-config is that it copies ifcfg-* from
host to container, but not back again. This means that rebooting the
server will result in unconfigured interfaces until os-net-config is
somehow run again.

This change bind mounts /etc/sysconfig/network-scripts/ from the host
and uses the conventional approach to running os-refresh-config.

This may fix the issue where compute nodes are losing network
connectivity, so
Closes-Bug: #1646897

[1] http://git.openstack.org/cgit/openstack/tripleo-common/tree/heat_docker_agent/run-os-net-config
[2] I0ed08332cfc49a579de2e83960f0d8047690b97a

Change-Id: I763fc8d8e3eb10ac64d33e46c92888d211003e72

Merge "Enable haproxy internal TLS through enable-internal-tls.yaml"

Merge "Make get-occ-config.sh support custom roles"

Merge "neutron: don't set router_delete_namespaces"

Enable haproxy internal TLS through enable-internal-tls.yaml

For usability and to reduce the number of environments that need to be
given when enabling TLS in the internal network, it's convenient to add
the enabling of TLS in the internal front-ends for HAProxy, instead of
doing that in a separate environment file.

bp tls-via-certmonger

Change-Id: Icef0c70b4b166ce2108315d5cf0763d4e8585ae1

neutron: don't set router_delete_namespaces

It's no longer available in Neutron (removed in Mitaka). See:
I2a879213c3b095a007a4531f430a33cea9fdf1bd

Change-Id: I044c648eb8c4933667b8ea2c9159a30e5ebb7df3

Fix SwiftStorage role.

We now fetch the name argument from the correctly named SwiftStorage
object.

Change-Id: I885505eadfc778ab57793c97af4d1c6739ec9614
Closes-Bug: #1647716

Merge "Support multiple meter dispatchers in ceilometer config"

Merge "Move nodes' fqdns to a map to remove clutter"

Merge "Use transient hostname for deployed servers"

Merge "Fix bug when using multiple DeployArtifactURLs"

Merge "No longer hard coding to a specifc network interface name."

Add NIC config for compute role for DVR with multiple NICs

This change adds a NIC config to the multiple-nics sample NIC
config templates for a compute node running DVR. In order for
DVR to work on the compute nodes, they must share an external
bridge with the controllers. All of the other sample NIC
configs already have an external bridge (defaults to 'br-ex'),
but the multiple-nics compute role does not, so now the
compute-dvr.yaml NIC template will demonstrate DVR with
multiple NICs.

Change-Id: I80fe2e5842a67984e1d4d8aa295c7607c4f340ad

Merge "Revert "Use FQDN for rabbitmq's nodename env variable""

Merge "Add zaqar to the controller's list of services in roles_data.yaml"

Fix bug when using multiple DeployArtifactURLs

The script tries to download all artifact URLs with a single
request, instead of downloading each URL on its own if
multiple DeployArtifactURLs were given.

Change-Id: I6a8be699aff7023a67702bb1d3ddc2273984cd08

Revert "Use FQDN for rabbitmq's nodename env variable"

This seems to have broken the updates job, causing it to fail
with following error:

Can't set long node name!\nPlease check your configuration\n

Related-Bug: 1646873

This reverts commit 3e9fcfd09320ace07bc1bd4cb57feb98cd057332.

Change-Id: I72ba891cd9cd8c4f1bc204144f46aaabbdfd3647

Merge "scenario001: deploy Cinder with RBD backend"

Add zaqar to the controller's list of services in roles_data.yaml

Change-Id: Iecafa7878fec20c707e94bdaca55f1489f3e338a

Merge "Add Zaqar to scenario002"

Merge "Composable Zaqar services"

Move nodes' fqdns to a map to remove clutter

There were several instances where the short-names/FQDNs where being
gotten in the same way in the role's templates. So this introduces a
mapping to get these values in order to reduce clutter.

Change-Id: Ie7df360bb69d56655f3e0fcbbf4d297db39b7a26

Merge "Use FQDN for rabbitmq's nodename env variable"

Merge "Use network-based fqdn entry from hiera instead of the custom fact"

Merge "scenario001: deploy Ceph"

Merge "Implement scenario004 with Ceph Rados Gateway scenario"

Merge "scenario003: configure Keystone tokens with Fernet provider"

Make get-occ-config.sh support custom roles

Updates the get-occ-config.sh script used with the deployed-server
environment to support custom roles. Any custom role name, and a
corresponding set of hosts (ip addresses or hostnames) can now be passed
to the script and it will query for the proper nested stack uuid's and
configure os-collect-config appropriately on the respective nodes.

Change-Id: I8fc39e6d18cd70ff881e2a284234b26261018d67

scenario001: deploy Cinder with RBD backend

Improve scenario001 with Cinder + RBD coverage.
Also remove Barbican bits, we don't deploy Barbican in scenario001, but
002.

Change-Id: Ib9cadbefcb3ddcdb4812f47ff5496e74b2bd888d

Merge "ceph-rgw: add missing user parameter"

Merge "scenario001/pingtest: remove gnocchi_res_alarm"

scenario003: configure Keystone tokens with Fernet provider

Improve scenario003 to configure Keystone tokens with Fernet provider.
Scenario001 and scenario002 will still deploy uuid for now.

Change-Id: I8c671d0371b2c3590b58b9623bb0df0b0c625a5b

Implement scenario004 with Ceph Rados Gateway scenario

Like Puppet OpenStack CI, implement scenario004 with Ceph RGW scenario,
where Glance uses it as a image storage backend.

Change-Id: If055ca225c456a738c5726ef1e76a4a4f9c566a8

ceph-rgw: add missing user parameter

'user' is required or puppet-ceph will complain that the Keystone_user
has no title:
Evaluation Error: Missing title. The title expression resulted in undef
at /etc/puppet/modules/ceph/manifests/rgw/keystone/auth.pp

The value is set to Swift, as we use the same credentials as Swift
service.

Closes-Bug: #1642524
Change-Id: Ib4a7c07086b0b3354c8e589612f330ecdffdc637

Merge "Initial support for composable upgrades with Heat+Ansible"

Merge "Introduce network-based FQDNs via hiera"

Merge "Make pep8 task run template generation"

Merge "Add local template generation tox task"

scenario001: deploy Ceph

Add Ceph to scenario001 and use it as a backend for Nova, Glance and
Gnocchi.

Change-Id: I29065d4b2ac39db40984873fda550d7adbe904fe

scenario001/pingtest: remove gnocchi_res_alarm

The resource is failing and it prevents us to add more coverage. Until
we figure what's wrong with it, let's disable it.

Change-Id: If89775bf67d686327d0d27222e0c9179be74a668

Merge "Make scenario template paths relative"

Merge "Configure /etc/hosts via os-collect-config script"

Merge "Show team and repo badges on README"

Initial support for composable upgrades with Heat+Ansible

This shows how we could wire in the upgrade steps using Ansible
as was previously proposed e.g in https://review.openstack.org/#/c/321416/
but it's more closely integrated with the new composable services
architecture.

It's also very similar to the approach taken by SpinalStack where
ansible snippets per-service were combined then run in a series of
steps using Ansible tags.

This patch just enables upgrade of keystone - we'll add support for
other patches in subsequent patches.

Partially-Implements: blueprint overcloud-upgrades-per-service
Change-Id: I39f5426cb9da0b40bec4a7a3a4a353f69319bdf9

Merge "Hiera optimization: use a new hiera hook"

Merge "Fix puppet/services/README.rst step description"

Use FQDN for rabbitmq's nodename env variable

Change-Id: Iee1afeced0b210a46b273aafc0d40e99d6ee6d4e

Use network-based fqdn entry from hiera instead of the custom fact

This changes how we get the network-based FQDNs for the specific
services, from using the custom fact, to the new hiera entries.

Change-Id: Iae668a5d89fb7bee091db4a761aa6c91d369b276

Introduce network-based FQDNs via hiera

Currently, one can get the network-based FQDNs via a custom puppet
fact. This is currently unreliable, as it's based on the ::hostname
fact which we assume it's set correctly by nova. However, this is not
necessarily the case (for instance, if you use pre-deployed services
such as we do with the multinode-jobs). In these cases, the
::hostname fact will return something other than what we specified in
nova, and effectively breaks the configurations in we relly too much
on the network-based FQDN facts.

By using hiera instead, we avoid this issue as we set those values to
be exactly what we expect (as we set them in the OS::TripleO::Server
resource.

Change-Id: I6ce31237098f57bdc0adfd3c42feef0073c224fb

Hiera optimization: use a new hiera hook

This patch optimizes how we deploy hiera by using a new
heat hook specifically designed to help compose hiera
within heat templates. As part of this change:

 - we update all the 'hiera' software configurations to set the group to hiera
   instead of os-apply-config.

 - The new format uses JSON instead of YAML. The hook actually writes
   out the hiera JSON directly so no conversion takes place. Arrays,
   Strings, Booleans all stay in their native formats. As such we can avoid
   having to do many of the awkward string and list conversions in t-h-t to
   support the previous YAML formatting.

 - The new hook prefers JSON over YAML so upgrading users will have the
   new files prefered. (we will post a cleanup routine for the old files
   soon but this isn't a new behavior, JSON is now simply prefered.)

 - A lot of services required edits to account for default settings that
   worked in YAML that no longer work correctly in the native JSON
   format. In almost all these cases I think the resulting codes looks
   cleaner and is more explicit with regards to what is getting
   configured in hiera on the actual nodes.

Depends-On: I6a383b1ad4ec29458569763bd3f56fd3f2bd726b
Closes-bug: #1596373

Change-Id: Ibe7e2044e200e2c947223286fdf4fd5bcf98c2e1

Make pep8 task run template generation

This patch updates the pep8 task (which is executed in CI) so
that it generates templates locally. This will give us extra
CI coverage to ensure our generated templates produce valid
YAML.

Change-Id: I2287802d44c0ebe404d3fce30f04efcc3c6ab27f

Use transient hostname for deployed servers

The name output returned by this template is expected to be the short
name rather than a FQDN.  Generally 'hostnamectl --static' returns a
FQDN and --transient will be the short name.

This change switches to using --transient and also simplifies the
script by dropping the unused outputs.

Change-Id: I19eaf9f66668f7e68765bad4018c0c60314f3f8f

Deployed server: switch to apply-config hook

This patch switches the deployed-server.yaml template to use
apply-config instead of os-apply-config. The 'apply-config' hook
is now installed via a package (no longer requires elements for
installation) and supports more signalling options.

This is required to support the undercloud installer which doesn't work
with os-collect-config heat metadata.

Change-Id: I7963fe4f38e8f04c9871fe651d39efec1aa17c41

Add local template generation tox task

This patch adds a local version of our template processing
routine so that developers can more quickly view the templates
that are actually getting generated. I've noticed multiple developers
now do a full deployment with 'overcloud deploy' only to download
the swift container with the generated templates. This simple task
avoids that step by allowing developers to generate it locally.

It also aims to preserve the ability to use t-h-t templates directly
with Heat (instead of going through Mistral) should users wish to do that.
The new undercloud heat installer requires the ability to generate
templates without requiring Mistral and Swift to do so.

Ideally the Mistral API workflow would use this same code
so perhaps in the future we might modify that routine to:

 -download swift tarball containing the templates
 -run this local routine that lives in t-h-t
 -re-upload the tarball of templates to the swift container

Change-Id: Ie664c9c5f455b7320a58a26f35bc403355408d9b

Configure /etc/hosts via os-collect-config script

This patch moves the t-i-e element code for hosts configuration
into a t-h-t shell script that gets driven by a os-collect-config
script hook.

This helps accomplish several goals:

 - moves us away from t-i-e

 - gives us better signal handling in the error case (where the
   previous element relied on 99-refresh-completed

 - Allows the t-h-t undercloud installer to more easily consume this
   since it doesn't rely on the old os-apply-config metadata (which
   that installer doesn't support).

Change-Id: I73c3d4818ef531a3559fab272521f44519e2f486

Merge "Add Neutron network type and VLAN ranges to network-environment.yaml"

Support multiple meter dispatchers in ceilometer config

Currently we only support one dispatcher at a time. But ceilometer
config supports dispatching data to multiple destinations at the
same time. Update the param to support this.

Change-Id: Ie7d854928513239a5903862623df12af1d02b642

Add Zaqar to scenario002

Install Zaqar into the overcloud and create a queue with
OS::Zaqar::Queue in order to test the Zaqar composable service.

Change-Id: I9027d17fa3d75e6c3e23d6636642abadac8730ac
Depends-On: Ia5ca4fe317339dd05b0fa3d5abebca6ca5066bce

Merge "Add Mistral to scenario003"

Merge "get-occ-config.sh replace deprecated heat commands"

Merge "Test encrypted volumes in scenario002"

Merge "Apply os-net-config with a script instead of element"

Make scenario template paths relative

To make local testing of scenario patches easier, this changes the paths
to the templates under test to be relative to the scenarios.

Change-Id: I12a45ee917c214a071f5de1e28f632dbf7d1fe9d

Add Mistral to scenario003

Install Mistral into the test overcloud and create a workflow to
verify the Mistral installation. This does not currently actually
execute the workflow. It merely tests that it can be created.

Change-Id: Ia03a605bcfd92498bf299d3042dca7c9932f5b63
Depends-On: Id5ff9cb498b5a47af38413d211ff0ed6ccd0015b

Merge "Disable all repos during rhel registration"

Fix grammar

Fix English grammar error I did in a previous commit.

Change-Id: I06209ab782240f05844793e56270135d48792f3d

Merge "Revert "Set NeutronL3HA to false when deploying DVR""

Merge "Import TripleO CI environments from tripleo-ci"

Test encrypted volumes in scenario002

This effectively adds barbican-api to the deployment in scenario002
and uses it to provide encrypted volumes for cinder that a nova
instance boots from in the test.

Change-Id: I132e346755fb49c9563247b4404be06b97f77872

Merge "Stop using puppet to configure VIPs in /etc/hosts"

get-occ-config.sh replace deprecated heat commands

The modern openstack equivalent heat commands require no awk and will
be slightly more efficient.

The roles variable is optionally populated by OVERCLOUD_ROLES so that
a subset of roles can be specified.

Change-Id: I6b66cb3bd81825fba726dd45b0db25896908f6dd

Apply os-net-config with a script instead of element

Wire in os-net-config via a normal script heat deployment, which has the
following advantages:

1. Improved error path, currently o-a-c deployments don't report any
errors, thus hang and eventually the deployment times out

2. It's far more hackable from a deployer perspective, e.g it's
much easier to change the os-net-config options or include a
mapping file

3. Reduces our dependencies on o-a-c (it's only os-net-config and hiera
which requires it), although the script does currently still use oac to
get the metadata IP.

4. May enable passing os-net-config yaml via a json parameter in future,
reducing the need for resource_registry mappings (although we'll have to
support that for backwards compatibility)

The script used is based directly on 20-os-net-config (from t-i-e
at cf94c5e, we can probably improve this now that we have an error path,
but for this initial commit it's a straight copy other than the changes to
replace o-a-c for rendering the json config file.

Co-Authored-By: Steven Hardy <shardy@redhat.com>
Change-Id: I0ed08332cfc49a579de2e83960f0d8047690b97a

Use correct type for SensuRedactVariables parameter

The parameter type is invalid making it impossible to enable monitoring-environment.

Change-Id: I835d1e82480edb0b6d082a7496d7ceebb1781728
Closes-Bug: #1641080
Closes-Bug: rhbz#1392473

Merge "Enable TLS in the internal networkf or Mysql"

Merge "adding swift middleware that is typically enabled by default"

Revert "Set NeutronL3HA to false when deploying DVR"

DVR+HA routers are officially supported, so this patch can be reverted.

This reverts commit ce39dbac56123354576d2c31674e1b18535b0111.

Conflicts:
    environments/neutron-ovs-dvr.yaml

Change-Id: Ifeceb0c3ba01e81403903401ebfe69b9e9d7d2f2

Merge "Cleanup some inline comments in network/config"

Stop using puppet to configure VIPs in /etc/hosts

This patch drops use of the vip-hosts.yaml service which can
cause issues during deployment because puppet 'hosts' resources
overwrite the data in /etc/hosts. The only reason things seem to work
at all at the moment is because our hosts element in t-i-e runs
on each os-refresh-config iteration and re-adds the dropped hosts
entries.

To work around the issue we add a conditional which selectively
adds the extra hosts entries only if the AddVipsToEtcHosts is set
to true.

Closes-bug: 1645123

Change-Id: Ic6aaeb249a127df83894f32a704219683a6382b2

Fix puppet/services/README.rst step description

We removed Step 6 in Iae33149e4a03cd64c5831e689be8189ad0cf034b
but forgot to update the README.  Similarly we made all roles
use the same steps in Ia2ea559e8eeb64763908f75705e3728ee90b5744
so the comment is no longer true.

Change-Id: If5482ebd22a2547ed2165199992840a0dcacb04c

Show team and repo badges on README

This patch adds the team's and repository's badges to the README file.
The motivation behind this is to communicate the project status and
features at first glance.

For more information about this effort, please read this email thread:

http://lists.openstack.org/pipermail/openstack-dev/2016-October/105562.html

To see an example of how this would look like check:

b'https://gist.github.com/8e6d63aff05dc9e2a946f9012a34b334\n'

Change-Id: I0090c60b91624f6cc446bc020b1445b3919e0d40

Import TripleO CI environments from tripleo-ci

Import TripleO CI environments from tripleo-ci into THT for some
reasons:

1) THT is branched while tripleo-ci is not. Having them here would allow
   to make scenarios able to evolve over the releases without adding
   more scenarios.
2) Help our developers to run TripleO CI scenarios themselves from THT
   by exposing the templates here.

The whole discussion is here:
http://lists.openstack.org/pipermail/openstack-dev/2016-November/107816.html

Change-Id: I3527a64c0c8f56ca77115d32849fa23fe710112d

Provide full list of services for Compute role in HCI scenario

Until bug #1635409 is fixed, we can provide the full list of
services needed on the Compute role, plus CephOSD, in the
hyperconverged-ceph environment file, preserving the user
experience.

Change-Id: I42409bc098c740759b378969526e13efaf002d3c
Related-Bug: #1635409

Enable TLS in the internal networkf or Mysql

This adds the necessary hieradata for enabling TLS for MySQL (which
happens to run on the internal network). It also adds a template so
this can be done via certmonger. As with other services, this will
fill the necessary specs for the certificate to be requested in a
hash that will be consumed in puppet-tripleo.

Note that this only enables that we can now use TLS, however, we still
need to configure the services (or limit the users the services use)
to only connect via SSL. But that will be done in another patch, as
there is some things that need to land before we can do this (changes
in puppetlabs-mysql and puppet-openstacklib).

Change-Id: I71e1d4e54f2be845f131bad7b8db83498e21c118
Depends-On: I7275e5afb3a6550cf2abbb9a8007dedb62ada4b4

Merge "Increase reserved memory for computes when enabling DVR"

Merge "Disable Neutron agents with OVN."

Merge "Make Ceilometer notifications non-blocking"

Merge "Remove conditional for neutron l3_ha"

Merge "Run os-net-config before restarting cluster on update"

Disable Neutron agents with OVN.

OVN natively implements services that are provided by Neutron agents.
This patch disables the Neutron DHCP agent as well as the OVS agent
for compute nodes.

Closes-bug: 1634580

Change-Id: I70631c2facbbf08257868e26e14af942ad7f2893

Merge "Explicitly set rabbit hosts so its not overridden during upgrade"

Merge "Add panko api support to service templates"

Merge "Add necessary parameters for encrypted volumes support"