Add tests for tripleo::certmonger::rabbitmq class

Change-Id: I1668b749779bf812d8f55b695dd138cde7eb09d6

Enable TLS in the internal network for RabbitMQ

This optionally enables TLS for RabbitMQ  in the internal network. Note
that this leaves enable_internal_tls as undef instead of using the
regular default. This is because we don't want to enable this just now,
since we first want to pass the necessary hieradata via t-h-t. This will
be cleaned in further commits.

bp tls-via-certmonger
Depends-On: I4f37e77ae12e9582fab7d326ebd4c70127c5445f
Depends-On: Ic32b2cb253fa0dc43aad7226b24919b7e588faa9
Change-Id: Ic2a7f877745a0a490ddc9315123bd1180b03c514

sahara: include authtoken class

authtoken class configures the keystone_authtoken parameters, required
to move to Keystone V3 auth.

Change-Id: Ibfd761fef813faa7bf13881c52c34e20d3eac9e5

Update version for Pike

The current version information is behind that of stable/ocata. In order
to address some version generation issues in packaging, we need to bump
the version numbers for in preparation for the next version.

Change-Id: I586811d9623c4bb03b1b234eaed2b3b365ba6e3e
Releated-Bug: #1669462

Merge "Stop the chronyd service"

Merge "fix typo in release note"

Merge "Throw warnings for norpm actions"

fix typo in release note

Change-Id: I89e544474b3f73a9e00d37dcddb605d5fe979ca8

Stop the chronyd service

Since the norpm provider can prevent the chronyd package from actually
getting purged, we need to make sure the chronyd service is stopped and
disabled so that it does not conflict with ntpd.

Change-Id: I7a697aba7aa5a27ba4ab6e46018057f7f01dfab2
Closes-Bug: #1665426

Add docker profile

This configures the docker service on the host, as an alternative
to the firstboot script in docker/firstboot/setup_docker_host.sh

Doing this via puppet will enable easier integration with e.g
the multinode jobs where no firstboot scripts run, and also
enables a better error path in the event the service fails to start

Co-Authored-By: Alex Schultz <aschultz@redhat.com>
Change-Id: Id8add1e8a0ecaedb7d8a7dc9ba3747c1ac3b8eea

Merge "mariadb: Move generation of systemd drop-in to puppet-tripleo"

Throw warnings for norpm actions

If the norpm provider attempts to do any install/update/remove actions,
we should throw a warning in the logs so people are aware that the
action did not actually take place.

Change-Id: Ieee5cac3412c709ba6b39316e455d7708cc9d22e
Closes-Bug: #1669666

Merge "mysqlclient: Drop hiera calls in favor of getting these via t-h-t"

Merge "Configure MySQL client SSL connections via the config file"

Merge "Revert "Add httpchk for http services""

mysqlclient: Drop hiera calls in favor of getting these via t-h-t

This also updates a leftover comment.

Change-Id: I870caf20103b044655e699aac09f6621414f5326
Depends-On: I5af5ccb88e644f4dd25503d8e7a93796695d3039

Configure MySQL client SSL connections via the config file

This does the actual configuration for the mysql client to use SSL if
the parameter is set via t-h-t.

Change-Id: I24e4c195a31109835739e78a6b53d36f661f9fd0
Depends-On: Ifd1a06e0749a05a65f6314255843f572d2209067

Merge "Default neutron dhcp_agents_per_network to number of agents"

Merge "Ironic inspector support"

Revert "Add httpchk for http services"

https://bugs.launchpad.net/tripleo/+bug/1668493
I thought about a fix for ceph_rgw, but I realized
we might have missed other services too, specially
the ones we're not testing in CI.
We need to revisit this work and probably
make the code more robust for the services where
no CI coverage is done.

Related-Bug: #1668493
This reverts commit ebcc470ea8a632e6d5c13561a97e817d5f290aac.

Change-Id: I3f79c881d8aeda361a59f9952948355986a7c835

Merge "Add ceilometer polling agent profile"

mariadb: Move generation of systemd drop-in to puppet-tripleo

Systemd starts mariadb as user mysql, so in order to allow a large
number of connections (e.g. max_connections=4096) it is necessary to
raise the file descriptor limit via a system drop-in file.

When installing an undercloud, such drop-in file is currently
generated by instack-undercloud (in file puppet-stack-config.pp). But
non-HA overcloud also need such drop-in to be generated.

In order to avoid duplicating code, the drop-in creation code should
be provided by puppet-tripleo. By default, no drop-in is generated;
it has to be enabled by instack-undercloud or tripleo-heat-template
once they will use it (resp. to create undercloud or non-HA overcloud).

This patch does not aim at generating a dynamic file limit based on
the number of connections, this should land in another dedicated
patch.  Instead, it just reuses the limit currently set for undercloud
and HA-overclouds.

Also, the generation of the drop-in does not force a mysql restart
like it currently does in instack-undercloud, to avoid unexpected
service disruption on a non-HA overcloud after a minor update.

Co-Authored-By: Tim Rozet <trozet@redhat.com>
Depends-On: I7ca7b5f7614971455cae2bf7c4bf8264b642b0dc

Change-Id: Ia0907b2ab6062a93fb9363e39c86535a490fbaf6
Partial-Bug: #1648181
Related-Bug: #1524809

Add release note for httpchk

Adding release note for Ie72b96c76d7513f84003bc15b6527c97df7ba92f

Change-Id: Ie3dd31519a4a2cc7aa94a5fc7cd7e906482668f3
Related-Bug: #1629052

Default neutron dhcp_agents_per_network to number of agents

This patch will set neutron's dhcp_agents_per_network equal to the
number of deployed neutron DHCP agents unless otherwise explicitly set.

Partial-bug: #1632721
Change-Id: I5533e42c5ba9f72cc70d80489a07e30ee2341198

Merge "Remove todo comment"

Merge "Add httpchk for http services"

Remove todo comment

We can remove the sprintf todo comment (Already fixed).

Change-Id: I407cbf015ccd23a28ee01a669d397479277b4fd3

Add ceilometer polling agent profile

Ceilometer central, compute and ipmi agent classes are
deprecated. Instead we should be using polling agent
with relevant namespace.

Closes-bug: #1662685

Change-Id: I1ee50124bf8936e12414f984e1bcd4545d92e953

Merge "Remove the string cast for using transport_url"

Merge "Replace default to be more robust"

Add httpchk for http services

The httpchk health check option should help reduce the situtations
where haproxy thinks the service is up but the service is only
listening and not actively serving http requests.

Change-Id: Ie72b96c76d7513f84003bc15b6527c97df7ba92f
Closes-Bug: #1629052

Remove the string cast for using transport_url

os_transport_url was updated to allow receiving
a string or an integer as parameter.

Fixes the workarounds in puppet-tripleo

Change-Id: I50993514048bf96b5a42b3425a7d6f98778fe694
Depends-On: I9e56f8e2de542b20fe9e6995506cff5bb435e220

Configure authtoken in Nova Placement

The Nova Placement API's configuration currently relies
on the nova-api profile for its keystone authtoken
configuration. This means that Nova Placement would
fail if it got installed on an isolated node or
docker container (this currently breaks TripleO's
deployment of placement via docker).

This patch creates a new authtoken profile and
calls it via the api and placement roles.

Change-Id: I7b38ab6ba5cae41689ac500d97dec4d09c73d387
Co-Authored-By: Alex Schultz <aschultz@redhat.com>

Merge "Add VPP service"

Stop accidentally removing docker-distribution

By default Puppet does virtual package matching if precise name matching
fails. Docker-distribution RPM "provides" docker-registry:

bash-4.2# rpm -q --whatprovides docker-registry
docker-distribution-2.5.1-1.el7.x86_64

This means that when we wanted to make docker-registry package absent,
we were actually removing docker-distribution instead. This is now fixed
by allow_virtual => false. Only name matching is performed.

Change-Id: I1f93b404085f0bc2b6c063f573c801db6409c0bb
Closes-Bug: #1666459

Ironic inspector support

This includes a new ironic-inspector profile, and updates
to the mysql and keystone profiles so that a database
and endpoints are also created when the inspector
is enabled.

Change-Id: I4a71a95efb87a10528df0600277768969a32117b

Replace default to be more robust

Specifying undef as the fallback only works because the merge
function specifically checks for this:
next if arg.is_a? String and arg.empty? # empty string is synonym for puppet's undef

But the empty Hash would be a much more robust default.

Change-Id: I7e302c00ef030d75998e352d88b3ccc60b194ab7

Merge "Allow neutron_options customization for dashboard"

Merge "Use rpc and notify transport_url for oslo_messaging backends"

Merge "Create /etc/my.cnf.d/tripleo.cnf with proper bind-address"

Merge "Enable languages in UI config"

Merge "Add virtual_packages support to norpm provider"

Create /etc/my.cnf.d/tripleo.cnf with proper bind-address

When fixing LP#1643487 we added ?bind_address to all DB URIs.
Since this clashes with Cellsv2 due to the URIs becoming host
dependent, we need a new approach to pass bind_address to pymysql
that leaves the DB URIs host-independent.

We first create a /etc/my.cnf.d/tripleo.cnf file with a [tripleo]
section and in this section we add the correct bind-address option.
Note that we use the puppet augeas lens and not the mysql one
because the mysql one does not support custom sections *and* there
are older versions around which do not like the /etc/my.cnf.d/* path.

The reason for not reusing an existing mariadb file (my.cnf or
galera.cnf) is that pymysql's ini file support is not robust
enough at the moment: https://github.com/PyMySQL/PyMySQL/issues/548

The reason for putting this file creation code only on the controller
nodes the following: The slow VIP failover only happens if a
service runs where the VIPs exist. The VIPs get created in the
haproxy profile and that is why in order to have fast VIP failovers
the MySQLClient profile must live where the Haproxy service is running.

Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Partial-Bug: #1663181
Change-Id: Iff8bd2d9ee85f7bb1445aa2e1b3cfbff1f397b18

Use rpc and notify transport_url for oslo_messaging backends

This commit adds the transport_url for specifying the oslo.messaging
rpc and notify transport schemes. The rpc or notification backend
can be one of rabbit, amqp, zmq, etc. Oslo.messaging is deprecating
the host, port and auth configuration options. All drivers will
get the options via the transport_url.

This patch:
* Adds transport_url to base services
* Updates the corresponding specs
* Adds to default hierdata

Depends-On: I1cf93d2caebfa1f7373c16754a2ad9bd15eb1a40

Change-Id: Iea5607dbb3ee6b1dd50acc1395de52dc920aa915

Add VPP service

Vector Packet Processing (VPP) is a high performance packet processing
stack that runs in user space in Linux. VPP is used as an alternative to
kernel networking stack for accelerated network data path.

Implements: blueprint fdio-integration-tripleo

Change-Id: I70a68a204a8b9d533fc2fa4fc33c39c3b1c366bf
Signed-off-by: Feng Pan <fpan@redhat.com>

Enable languages in UI config

Which language options to offer to the UI users is determined in the
configuration file. Let's show all possible languages by default,
unless specified otherwise.

Change-Id: I513303bf82dca53e2291ab66f2385a2985a1846e
Related-Bug: #1663279

Merge "xinetd: bind only on mysql network"

Add virtual_packages support to norpm provider

The norpm provider is supposed to noop package installs/updates but if a
package name in puppet does not match the installed package, it is being
reported as not installed.  The provider then 'installs' it every time
which can trigger unwanted service restarts.

Change-Id: Icdfa6567168f9ecc555489ed67405f98544bd910
Closes-Bug: #1665405

Update reno for stable/ocata

Change-Id: I2e67879bb790d4e2d11ed39cdde0fb402453ecda

Merge "Fix a typo in mysql.pp"

Merge "tuning: manage keystone resources only at step3"

Add missing release notes for Ocata RC1

Change-Id: I95f7b57a6cb0811af324996bd00580732503ed28

Merge "Make quotes consistent to match the sample config"

tuning: manage keystone resources only at step3

1. Manage Keystone resources only at step 3. Don't verify them
   at step 4 and 5, it's a huge loss of time.
2. Don't require Keystone resources for Gnocchi services, they are
   already ready at Step 5.

Related-Bug: #1664418
Change-Id: I9879718a1a86b862e5eb97e6f938533c96c9f5c8

Make quotes consistent to match the sample config

Per project conventions, should use single quotes.
Also, update comments and defaults to match sample.

Change-Id: I82ddcec230e7a03965d753db60968912b8d7da5c
Closes-Bug: #1663624

Merge "Add ::ironic::config to Ironic base profile"

Merge "nova: move placement credentials config at step 3"

nova: move placement credentials config at step 3

nova placement credentials in nova.conf need to be configured at step 3
so Nova services can use them as soon as they start.

Change-Id: I0abdd305b7e6c8d83f23e25b3872e98eb56dd299

Uncomment internal TLS options for placement API

Placement API is still running over wsgi which can run with TLS on the
internal network; These options were commented from haproxy and doing
this breaks the TLS-everywhere setup.

Change-Id: I1194f1f487cdcf45541c0d139806aa3dc4456d6e

Merge "Add support to changing the Rabbitmq password on update"

Merge "nova/api: more cleanup"

Merge "Add module to support ScaleIO backend in Cinder"

Merge "Rebranding of Eqlx to Dell EMC PS Series"

Merge "Run nova-cell_v2-discover_hosts at step 5"

nova/api: more cleanup

- transform nova_api_wsgi_enabled in a parameter
- update rspec tests
- fix TLS to run at step 1

Change-Id: I4d3f9c92f0717ae8c3bc8d71065fab281de82008

Run nova-cell_v2-discover_hosts at step 5

We need to run nova-cell_v2-discover_hosts at the very end of the
deployment because nova database needs to be aware of all registred
compute hosts.

1. Move keystone resources management at step 3.
2. Move nova-compute service at step 4.
3. Move nova-placement-api at step 3.
5. Run nova-cell_v2-discover_hosts at step 5 on one nova-api node.
6. Run neutron-ovs-agent at step 5 to avoid racy deployments where
   it starts before neutron-server when doing HA deployments.

With that change, we expect Nova aware of all compute services deployed
in TripleO during an initial deployment.

Depends-On: If943157b2b4afeb640919e77ef0214518e13ee15
Change-Id: I6f2df2a83a248fb5dc21c2bd56029eb45b66ceae
Related-Bug: #1663273
Related-Bug: #1663458

Merge "nova: disable API in WSGI by default"

Add module to support ScaleIO backend in Cinder

Also adds an initial spec file for basic testing of the module.

Change-Id: I5534aab53b70de215336a076d25263c73b8d7b5b
Partial-Bug: #1661316

Rebranding of Eqlx to Dell EMC PS Series

This changes rebrands Dell Eqlx to Dell PS series
and matches the tripleo-heat-templates.

Change-Id: I3536147a06b426ace18cf415e99361c47b4cf5d9

start nova-compute when keystone resources are created

1. Move keystone resources management at step 4.
2. Move nova-compute startup at step 5.

That way, we make sure nova-compute will start when all Keystone
resources are ready.

Change-Id: I6e153e11b8519254d2a67b9142bf774a25bce69d
Closes-Bug: #1663273

nova: disable API in WSGI by default

Cleanup patch once the THT patch is merged.

Change-Id: Iba439a4758a4728197d7620b764a4f0f2648ee0f
Depends-On: I09b73476762593642a0e011f83f0233de68f2c33

Disable midonet unit tests

'https://github.com/midonet/puppet-midonet' doesn't exist anymore, we
need to migrate to 'https://github.com/openstack/puppet-midonet' but
tests will fail.

We need to work with Midokura to get them fixed. In the meantime, let's
disable it.

Change-Id: Id39bc5a8cd229df3e9b597a0a0f3eada838f4953

Merge "Proxy API endpoints that UI uses"

Merge "nova/libvirt: switch vnc server binding"

nova/libvirt: switch vnc server binding

On compute nodes, instead of binding vnc server on 0.0.0.0, use the IP
address provided by libvirt's t-h-t profile (hiera).

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Depends-On: Ie377c09734e9f6170daa519aed69c53fc67c366b
Change-Id: If6b116b238a52144aad5e76c9edc7df6aa15313c
Closes-Bug: #1660099

Stop deploying Nova API in WSGI with Apache

It was suggested by Nova team to not deploying Nova API in WSGI with
Apache in production.
It's causing some issues that we didn't catch until now (see in the bug
report). Until we figure out what was wrong, let's disable it so we can
move forward in the upgrade process.

Related-Bug: 1661360

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Change-Id: Ia87b5bdea79e500ed41c30beb9aa9d6be302e3ac

Merge "Revert "Revert "set innodb_file_per_table to ON for MySQL / Galera"""

Add ::ironic::config to Ironic base profile

I have ExtraConfig settings that need to be set in
ironic.conf. Adding the ::ironic::config module
to our base Ironic profile should allow users to
customize Ironic if needed.

Change-Id: I93e9b3b5d4def1d8fa42b77b611b7d9d6cb7963b

Proxy API endpoints that UI uses

Add support to enable the UI to use paths via mod_proxy to access API
endpoints instead of connecting to each endpoint directly on a port
other than where the UI is served from.  This is necessary to prevent
certificate acceptance errors from non-Chrome browsers which take
exception to connections made to other ports on the same hostname, using
one SSL certificate.

This change extends the UI's Apache configuration to create one
mod_proxy location for each of the API endpoints that UI calls upon.
These mod_proxy (using ProxyPass, ProxyPassReverse) endpoints are
configured using new heira variables provided in the dependent commit.

Additionally, this change modifies the default UI configuration file to
include endpoint URLs formatted to use the new endpoint paths that are
created.

Removed puppet variables which were previously used to generate the
contents of the tripleo_ui_config.js template, since they are no longer
used to generate this file, replaced with the new endpoint URLs
formatted to use the new endpoint paths that are created.

Change-Id: I55e375ad462fa98e181277ec0bd88658e620e8ad
Implements: blueprint proxy-undercloud-api-services
Depends-On: Ib20f4b0891563ae90ec80675635a64c39bd2fdb7

Revert "Revert "set innodb_file_per_table to ON for MySQL / Galera""

This reverts commit 3f7e74ab24bb43f9ad7e24e0efd4206ac6a3dd4e.

After identifying how to workaround the performance issues on the
undercloud, let's put this back in. Enabling innodb_file_per_table is
important for operators to be able to better manage their databases.

Change-Id: I435de381a0f0e3ef221e498f442335cdce3fb818
Depends-On: I77507c638237072e38d9888aff3da884aeff0b59
Closes-Bug: #1660722

Add support to changing the Rabbitmq password on update

Rabbitmq Password is set on the fresh deployment, but during
update, if the password is changed, it is modified in all config
files including rabbitmq config. But the rabbitmq connection fails
because the new password is not successful applied to rabbitmq.
Setting the rabbitmq_user will invoke 'rabbitmqctl change_password'.

Scenario: The password change is applied on Step1 when configuring
Rabbitmq. Other services may be updated on different Steps. Till
other services config is updated with new rabbitmq password, and
restarted, the connections will get Access Denied response. It has
cyclic dependency. So the passwords will be changes at Step1 and
once all services are updated, the connections will work as is.

Partial-Bug: #1611704
Change-Id: I44865af3d5eb2d37eb648ac7227277e86c8fbc54

Merge "Use transport_url for rabbitmq connection parameters in heat"

Merge "Add initial profiles for rest of Octavia services"

Merge "add cache to object-expirer pipeline"

Merge "Delete the unnecessary word in numvfs_persistence.pp"

Merge "Fix style nits in contrail manifests"

Revert "set innodb_file_per_table to ON for MySQL / Galera"

This reverts commit 621ea892a299d2029348db2b56fea1338bd41c48.

We're getting performance problems on SATA disks.

Change-Id: I30312fd5ca3405694d57e6a4ff98b490de388b92
Closes-Bug: #1661396
Related-Bug: #1660722

Prepare 6.2.0 release

6.2.0 will be Ocata RC1.

Change-Id: Ie26ab89ea9c90f6c5d01697459855fd8c32b075f

Merge "set innodb_file_per_table to ON for MySQL / Galera"

set innodb_file_per_table to ON for MySQL / Galera

InnoDB uses a single file by default which can grow to be
tens/hundreds of gigabytes, and is not shrinkable even
if data is deleted from the database.

Best practices are that innodb_file_per_table is set to ON
which instead stores each database table in its own file, each of
which is also shrinkable by the InnoDB engine.

Closes-Bug: #1660722
Change-Id: I59ee53f6462a2eeddad72b1d75c77a69322d5de4

Fix style nits in contrail manifests

There are some style nits in the recently merged contrail puppet manifests.

Change-Id: Ice5935105e0323cb55e0d018190e6471ade7324a

Use transport_url for swift-proxy instead of rabbitmq params

These parameters are being deprecated, so we should be using the
transport_url format instead.

Change-Id: I8b7457b6233c4f88af2d7bc1b9304fcccb6edf61

Merge "Re-organizes Contrail services to the correct roles"

Fix test failure caused by change to puppet-octavia

Fixes a test failure caused by Ic38d4f9f9a8e69ffcee6ccc4bba9a9ab0f161d0e
which pulls in a class with a required parameter.

Change-Id: I0740290bff0ea7c4af6e3420775ac3e72871d372

Merge "Fix MySQL service name parameter"

Merge "Add a default rule for dhcpv6 traffic"

Merge "Clean TLS proxy-related setup for neutron-server profile"

Fix MySQL service name parameter

This was wrongly set to service_name while it should have been
server_service_name.

Change-Id: Ia802857cc585bb9b057a02f6a13c16981baa5b76

Merge "Rename controller_admin_vip to controller_admin_host"

Merge "Add AuditD Profile"