Set puppet-redis managed_by_cluster_manager to true

Via https://github.com/arioch/puppet-redis/pull/192 puppet-redis grew
ulimit support also for pacemaker managed redis instances. To be able to
use that we need to set redis::managed_by_cluster_manager to true.

We also allow redis::ulimit to be configurable and we set a default of
10420 which was the default value before the above change.

Change-Id: I06129870665d7d3bfa09057fd9f0a33a99f98397
Depends-On: I4ffccfe3e3ba862d445476c14c8f2cb267fa108d
Closes-Bug: #1688464

Merge "Fix up pacemaker_status test in yum_update.sh"

Merge "Mount hostpath logs on /var/log"

Mount hostpath logs on /var/log

Some containers are using the logs named volume for collecting logs
written to `/var/log`. We should make this consistent for all the
containers.

This patch also cleans up some mounts that weren't needed for some
services. For example, glance-api doesn't need `/run` to be mounted.

Other changes:
* Rework log volumes to hostpath mounts to omit slow COW writes.
* Add kolla_config's permission and host_prep_tasks create and
  manage hostpath mounted log dirs permissions.
* Rework data owning init containers to kolla_config permissions
* When a step wants KOLLA_BOOTSTRAP or DB sync, use logs data owning
  init containers to set permissions for logs. This is required
  because kolla bootsrap and DB sync runs before the kolla config
  stage and there is yet permissions set for logs.
* In order to address hybrid cases for host services vs containerized
  ones to access logs having different UIDs, persist containerized
  services' logs into separate directories (an upgrade impact)
* Ensure host prep tasks to create /var/log/containers/ and /var/lib/
  sub-directories for services
* Fix missing /etc/httpd, /var/www config-data mounts for zaqar/ironic
* Fix YAML indentation and drop strings quotation.

Co-authored-by: Bogdan Dobrelya <bdobreli@redhat.com>
Partial blueprint containerized-services-logs

Change-Id: I53e737120bf0121bd28667f355b6f29f1b2a6b82

Merge "Add StackUpdateType to set hiera on upgrade"

Merge "[N->O] Add openstack-nova-migration to compute nodes."

Merge "Restrict nova migration ssh tunnel"

Merge "Disable Telemetry services on undercloud containers"

Merge "Configure snmpd auth params in ceilometer profile"

Merge "Use httpd in Heat docker services"

Add StackUpdateType to set hiera on upgrade

This will enable those consuming the stack_update_type hieradata
set by this parameter to differentiate an update from a major upgrade

Change-Id: I38469f4b7d04165ea5371aeb0cbd2e9349d70c79

Merge "Internal TLS: Use specific CA file for mysql-client"

Fix up pacemaker_status test in yum_update.sh

In change I2aae4e2fdfec526c835f8967b54e1db3757bca17 we did the
following:
-pacemaker_status=$(systemctl is-active pacemaker || :)
+pacemaker_status=""
+if hiera -c /etc/puppet/hiera.yaml service_names | grep -q pacemaker;
then
+ pacemaker_status=$(systemctl is-active pacemaker)
+fi

we did that so due to LP#1668266: we did not want systemctl is-active to
fail on non pacemaker nodes. The problem with the above hiera check is
that it will match on pacemaker_remote nodes as well.

We cannot piggyback the pacemaker_enabled hiera key because that is true
on all nodes. So let's make the test check only for pacemaker service
without matching pacemaker remote. Tested with:
1) Test on a controller node with pacemaker service enabled
[root@overcloud-controller-0 ~]# hiera -c /etc/puppet/hiera.yaml -a service_names |grep '\bpacemaker\b'
"pacemaker",
[root@overcloud-controller-0 ~]# echo $?
0

2) Test on a compute node without pacemaker:
[root@overcloud-novacompute-0 puppet]# hiera -c /etc/puppet/hiera.yaml service_names |grep '\bpacemaker\b'
[root@overcloud-novacompute-0 puppet]# echo $?
1

3) Test on a node with pacemaker_remote in the service_names key:
[root@overcloud-novacompute-0 puppet]# hiera -c /etc/puppet/hiera.yaml service_names |grep '\bpacemaker\b'
[root@overcloud-novacompute-0 puppet]# echo $?
1

[root@overcloud-novacompute-0 puppet]# hiera -c /etc/puppet/hiera.yaml service_names |grep '\bpacemaker_remote\b'
 "pacemaker_remote"]
[root@overcloud-novacompute-0 puppet]# echo $?
0

Change-Id: I54c5756ba6dea791aef89a79bc0b538ba02ae48a
Closes-Bug: #1688214

Merge "Initial VIP ipv6 minor update code"

Merge "Internal TLS: use common CA file parameter for libvirt CA cert"

Merge "Add back Heat conditions in upgrade workflow"

Merge "snmp: add SnmpdBindHost parameter"

Merge "Set reasonable TTL defaults for Ceilometer DB"

Merge "Expose metric delay processing metric"

[N->O] Add openstack-nova-migration to compute nodes.

This add openstack-nova-migration on the compute during the upgrade.

Closes-Bug: #1687081

Depends-on: Iab022bdfb655e3c52fecebf416e75c9e981072ab
Depends-on: I02dc8934521340f42ac44a7d16889f6d79620c33

Change-Id: I3db2a3188e538eeaef61769d38f0166545444cfe

Restrict nova migration ssh tunnel

Specify the allowed networks for migration ssh tunneling.

bp tripleo-cold-migration

Change-Id: Iab022bdfb655e3c52fecebf416e75c9e981072ab
Depends-on: Idb56acd1e1ecb5a5fd4d942969be428cc9cbe293

Merge "Add parameter Ec2ApiExternalNetwork for VPCs"

Add back Heat conditions in upgrade workflow

By adding back the conditions we avoid the deployment of unneded
software configs on nodes where we don't have any upgrade task to
run, speeding up the upgrade process.

Related-Bug: #1679486
Related-Bug: #1678101
Change-Id: I5c8b0c4abfc0607f42fd3f2da9f5ef2702b1bbe1

Configure snmpd auth params in ceilometer profile

Depends-On: I55ac06e1a561d29d7e1c928a1684989c9654b95d

Change-Id: Id29e96979b937593efe244f46ce2dd74df3aaa7f

Set reasonable TTL defaults for Ceilometer DB

By deafult, we let the data live for ever. Which isnt very efficient.
Lets expose params to tweak this and use a reasonable default.

Change-Id: I145fa73a7af9cb4135ba910d3659853b3baa893d

Expose metric delay processing metric

For performance reasons we might want to tweak this param
lets expose this via tripleo. The puppet changes were
added in this patch I5de5283d1b14e0bba63d6d9a440611914ba86ca4

Change-Id: I72f1fe3a47060fe37602a70b8a74fba72209127c

Merge "Internal TLS: Use specific CA file for haproxy"

Internal TLS: Use specific CA file for mysql-client

Instead of using the CA bundle, this sets the mysql client configuration
file to use a specific file for validating the certificate of the
database server. This helps in two ways:

* Improves performance since validation will check only one certificate.
* Improves security since we're only the certificates signed by one CA
  are valid, instead of any certificate that the system trusts (which
  could include potentially compromised public certs).

Change-Id: I46f7cb6da73715f8f331337e0161418450d5afd7
Depends-On: I75bdaf71d88d169e64687a180cb13c1f63418a0f

Use httpd in Heat docker services

This switches heat-api and heat-api-cfn to use httpd in containerized
overcloud.

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I2fe6e25474279c7c91a69d9df7b28e12b1d8ac00

Merge "Move containers common volumes from yaql to list_concat"

Internal TLS: use common CA file parameter for libvirt CA cert

libvirt has its own parameter for setting the CA, however, if we have a
common CA for all services in the internal network (which we do), it's
more consistent to use the common parameter for configuring that CA
file.

The previous parameter was left in case the deployer wants to use a
specific CA file for the compute nodes.

Change-Id: I3d132d3d257d7ea9f43e49593f8509c3cd205ca5

Internal TLS: Use specific CA file for haproxy

Instead of using the CA bundle, this sets HAProxy to use a specific file
for validating the certificates of the services it's proxying. This
helps in two ways:

* Improves performance since validation will check only one certificate.
* Improves security since we're only the certificates signed by one CA
  are valid, instead of any certificate that the system trusts (which
  could include potentially compromised public certs).

Change-Id: Id6de045b3c93c82d37e0b0657c17a3108516016a

Add deprecation notes for panko service

Change-Id: Ic218a753e0cede2ba3951bcaec843f487dce0c71

Merge "Ensure AllNodesExtraConfig runs before AllNodesDeploySteps"

Merge "Fix for the resource ControllerPostPuppetMaintenanceModeDeployment"

Merge "Deprecate ceilometer collector"

Initial VIP ipv6 minor update code

To test this change we deployed a stock master with ipv6 which created a bunch
of ipv6 with /64 netmask:
[root@overcloud-controller-0 ~]# pcs resource show ip-fd00.fd00.fd00.2000..18
 Resource: ip-fd00.fd00.fd00.2000..18 (class=ocf provider=heartbeat type=IPaddr2)
  Attributes: ip=fd00:fd00:fd00:2000::18 cidr_netmask=64
  Operations: start interval=0s timeout=20s (ip-fd00.fd00.fd00.2000..18-start-interval-0s)
              stop interval=0s timeout=20s (ip-fd00.fd00.fd00.2000..18-stop-interval-0s)
              monitor interval=10s timeout=20s (ip-fd00.fd00.fd00.2000..18-monitor-interval-10s)

Then we update the THT folder with this patch and upload the new scripts on the undercloud via:
openstack overcloud deploy --update-plan-only ....

Then we kick off the minor update workflow:
openstack overcloud update stack -i overcloud

Once the controller-0 node (bootstrap node for pacemaker) is completed we have the
correct VIP configuration:
[root@overcloud-controller-0 heat-config-script]# pcs resource show ip-fd00.fd00.fd00.2000..18
 Resource: ip-fd00.fd00.fd00.2000..18 (class=ocf provider=heartbeat type=IPaddr2)
  Attributes: ip=fd00:fd00:fd00:2000::18 cidr_netmask=128 nic=vlan20 lvs_ipv6_addrlabel=true lvs_ipv6_addrlabel_value=99
  Operations: start interval=0s timeout=20s (ip-fd00.fd00.fd00.2000..18-start-interval-0s)
              stop interval=0s timeout=20s (ip-fd00.fd00.fd00.2000..18-stop-interval-0s)
              monitor interval=10s timeout=20s (ip-fd00.fd00.fd00.2000..18-monitor-interval-10s)

Also verified that running the script a second time does not alter the
(already fixed) VIPs.

Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Change-Id: I765cd5c9b57134dff61f67ce726bf88af90f8090

Merge "Use list_concat for metadata_settings for haproxy"

snmp: add SnmpdBindHost parameter

SnmpdBindHost will be useful for users who want to change the binding
options for SNMP daemon.
It has to be an array, and by the default the value is
['udp:161','udp6:[::1]:161'] like it was in puppet-tripleo profile.

Change-Id: Iccf0a8d35cc05d34272c078c97a5dddfb8e7d614
Closes-Bug: #1687628

Ensure AllNodesExtraConfig runs before AllNodesDeploySteps

When implementing custom roles, we lost an implicit dependency that
ensured AllNodesExtraConfig is applied before AllNodesDeploySteps,
which causes problems if you need to write hieradata via the
AllNodesExtraConfig hook (some cisco integrations we have in tree
do this, and are now broken because the ordering is no longer ensured.

Change-Id: Ie78ecbb4e135ab7f196867ef9d8d271049a9cd10
Closes-Bug: #1687597

Merge "Allow to deploy Octavia API & Neutron Server on 2 different nodes"

Fix for the resource ControllerPostPuppetMaintenanceModeDeployment

Closes-Bug:1686619

Change-Id: I7c32ca39a456de9833d30c31d41fcb727d2b0a34

Merge "Remove deprecated minor update pcs code"

Add parameter Ec2ApiExternalNetwork for VPCs

Change-Id: I26652afe0f513ec354c05570e7fa0e5b4b0ab669

Move containers common volumes from yaql to list_concat

list_concat was introduced recently and is able to replace the yaql
calls for concatenating lists.

Change-Id: Id3a80a0e1e4c25b6d838898757c69ec99d0cd826

Use list_concat for metadata_settings for haproxy

Change-Id: Ia0e0a12e1863dce657d4e1c7f9894ea5bfd008be

Improve logging for docker-puppet.py

Log prepared docker command
Use logger stdout instead of print command
Log stderr as debug as well

Change-Id: I3d48fbf4fa3381d325e3be3788b041e06d4bb294
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Disable Telemetry services on undercloud containers

We dont deploy telemetry by default on undercloud anymore.
Lets disable by default and provide an env file to enable
on demand.

Change-Id: I03807b3b75bb038c2d2bb342f3327e6eca2f3976

Merge "Validate NTP servers"

Allow to deploy Octavia API & Neutron Server on 2 different nodes

Exporting the neutron::server parameter into the neutron_api service, so
Octavia API and Neutron Server can be separated.

Change-Id: Iee28b0e84a00bd589d6f14a73f0c3f32d310b393
Closes-Bug: #1687026

Merge "Enables support for configuring Cinder with Pure Storage FlashArray storage backend"

Merge "Unset the UpgradeInitCommand on converge"

Merge "Add $STACK_NAME input var"

Unset the UpgradeInitCommand on converge

In the converge envs we unset the UpgradeInitCommon since we used
that for the N..O upgrades workflow. However an operator may have
also overridden the UpgradeInitCommand so we should unset that
too.

Closes-Bug: 1686918
Change-Id: I3b316d04b78a4ab1e3f9f69948e42e6fb0ad6632

Merge "Fix redis container"

Merge "Add missing tag to nova-placement docker image"

Merge "aodh-base.yaml uses a hard coded keystone region name"

Merge "Disable default vhost for apache"

Merge "upgrades: deploy mod_ssl when upgrading apache"

Remove deprecated minor update pcs code

We fixed pcs resources start/stop timeouts via
I587136d8d045d213875c657ea5a405074f80c8ad in Nov 2015.for mitaka.

And there we stated:
  This can be removed once updates from deployments made prior to
  I6fc18f1ad876c5a25723710a3b20d8ec9519dcba are no longer supported.

We can now safely remove these updates as they are useless and cost time
anyway.

Change-Id: Ibad2b3eed0d08560d52d5ebe700746b61e5b8f51

Merge "Change the default for rabbitmq back to ha-mode: all"

Add $STACK_NAME input var

The stack name can now be overridden in the get-occ-config.sh script for
deployed-server's by setting the $STACK_NAME variable in the
environment.

Change-Id: Iecba21499b80e463b4c629be53c309996d39472d
Closes-Bug: #1686719

Merge "TLS-everywhere: Add missing profiles to docker compute services"

Merge "Pass httpd service_name to Zaqar"

Merge "[ironic] expose default boot_option in configuration and change it to local"

Fix redis container

The puppet-redis module makes use of the exec puppet tag to copy the
/etc/redis.conf.puppet file to /etc/redis.conf. We need to explicitly
enable it otherwise our redis container will pick up the default redis
configuration and not the one that was generated with puppet.

Also creates the /var/run/redis directory on the host since we bind
mount /run, and ensure the container sets the correct ownership on the
directory.

Finally, configure redis to not daemonize otherwise the container ends
up in a restart loop.

Change-Id: Ia1dce2120ca7479eef8bc77dedf9431adbe210cc
Closes-Bug: #1686707

Merge "Upgrade failure when service parameter is changed for PankoApi"

Merge "Fix etcd_init_task volume"

Disable default vhost for apache

It is required for a hybrid deployments
when WSGI based services running both at host and in containers, without conflicting default ports.

Partial-bug: #1686637
Co-authored-by: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Change-Id: I9d0a5bb32337a6a8f1a4036f9560df79dfe1d90a
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

TLS-everywhere: Add missing profiles to docker compute services

the CA and certmonger user profiles were needed in the compute services
list from the tls-everywhere in containers environment.

bp tls-via-certmonger-containers

Change-Id: Ib584ac0745d68828467bcfad7f6472ab66adbac3

upgrades: deploy mod_ssl when upgrading apache

1) When Apache is upgraded, install mod_ssl rpm.
   See https://bugs.launchpad.net/tripleo/+bug/1682448
   to understand why we need mod_ssl.

2) All services that run Apache for API will use the snippet from
   Apache service to deploy mod_ssl, so we don't duplicate the code
   in all services. It's using the same mechanism as ovs upgrade to
   compile upgrade_tasks between both services.

Change-Id: Ia2f6fea45c2c09790c49baab19b1efcab25e9a84
Closes-Bug: #1686503

Merge "Containerize Redis service"

Change the default for rabbitmq back to ha-mode: all

In change Ib62001c03e1e08f58cf0c6e0ba07a8879a584084 we switched the
rabbitmq queues HA mode from ha-all to ha-exactly. While this gives us a
nice performance boost with rabbitmq, it makes rabbit less resilient to
network glitches as we painfully found out via
https://bugzilla.redhat.com/show_bug.cgi?id=1441635.

This is the THT part of the change that changes the default to
ha-mode: all.

Closes-Bug: #1686337
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Co-Authored-By: John Eckersberg <jeckersb@redhat.com>
Change-Id: I7afcf2b3c8deb13fc2134e4cae9c06a44e775384
Depends-On: I9a90e71094b8d8d58b5be0a45a2979701b0ac21c

Fix etcd_init_task volume

Docker puppet hook writes to /etc of
containers. Mount /etc as rw for etcd container.

Change-Id: I8e45de18a91022690c19888cbfaa68d2fdfe46ce
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Upgrade failure when service parameter is changed for PankoApi

scenario001 env in ocata has mapped PankoApi locally and it
has been removed master scenario001 env file. In tripleo.sh
upgrade command, both old (ocata) and new (master) env files
are included, because of which new service file is not used,
as it has been removed. This change is to add the PankoApi
mapping back to scenario001 env file for now. Actual fix
will be remove old env file from upgrade command of tripleo.sh.

Partial-Bug: #1685759
Change-Id: I4a8ee38d990a1980eea6ec63f2780357d040ded4

Merge "Fix dependencies for PreConfig/PostConfig resources"

Merge "Enable internal network TLS for etcd"

Deprecate ceilometer collector

Ceilometer collector is deprecated in Pike release.
Do not deploy by default. Instead use the pipeline
yaml to configure the publisher directly.

Closes-bug: #1676961

Change-Id: Ic71360c6307086d5393cd37d38ab921de186a2e0

Merge "Updated from global requirements"

Merge "Containerize etcd service"

Fix dependencies for PreConfig/PostConfig resources

We have a circular dependency errror since

https://review.openstack.org/#/c/452734/ landed.

This adjusts the dependencies to ensure we run pre-config before
the first puppet deploy step, and removes the duplicate declaration
of the ControllerPostConfig resource.  Also we ensure the first
container step always depends on the same step puppet deploy.

Change-Id: I70c5a39fb36b951bdeb04c15bddac7d00eebf08a
Closes-Bug: #1686098

Deploy ceilometer_auth_enabled to node containing keystone

This hiera key is used by keystone to create the ceilometer service
user. It works in CI cause keystone and the ceilometer services are in
the same node. However, this fails if keystone is deployed on a separate
note.

We should only deploy it in the nodes containing the keystone service
since it's only relevant to create the service user.

Change-Id: Ic0f02fe9a78a1fe14ac2b87197692fbd80c003b8
Closes-Bug: #1685828

Pass httpd service_name to Zaqar

This removes the need to do it in puppet-tripleo

Change-Id: I6f44a6a02041c0fbbafb770a087a0032c3a53a76

Merge "Disable Manila CephFS snapshots by default"

Merge "Add initial support for NSX plugin"

Updated from global requirements

Change-Id: I8dabf83907b2e50f6611f1ef93702b6bd5ac5e19

Merge "Merge pre|post puppet resources into pre|post config."

Merge "Fix containerized RabbitMQ service deployment"

Containerize etcd service

Depends-On: I3ad463217ed3f2d6374627248236b274cfed72fb
Depends-On: If4b01934a9a5cb6ca2ff6c1831e4fe073f1b04ea
Closes-bug: #1668938

Change-Id: I6cb902d712849bf11f331ed776cd0ed6e200dcd9
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Don't attempt to configure live migration"

Merge "Run Zaqar with httpd in puppet service"

Merge "Remove no longer used environment files - older upgrade workflows"

Merge pre|post puppet resources into pre|post config.

The [Pre|Post]Puppet resources were renamed in
https://review.openstack.org/#/c/365763.
This was intended for having a pre/post deployment
steps using an agnostic name instead of
being attached to a technology.

The renaming was unintentionally reverted in
https://review.openstack.org/#/c/393644/ and
https://review.openstack.org/#/c/434451.

This submission merge both resources into one,
and remove the old pre|post hooks.

Closes-bug: #1669756
Change-Id: Ic9d97f172efd2db74255363679b60f1d2dc4e064

Fix containerized RabbitMQ service deployment

* Use default puppet tags instead of the 'file' tag only
* Noop user/policy providers for puppet_config docker step
  and move them into docker_puppet_tasks (init container)

Change-Id: I98a54808aae6fca060b23f074b71178f2d4c815e
Closes-bug: #1684138
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Allow configuring enabled hardware types for Ironic"

Merge "Containers: disable downloading rabbitmqadmin"

Merge "Replace six.iteritems() with .items()"

Merge "Increase documentation about parameters"

Containerize Redis service

Closes-bug: #1668919

Change-Id: Ie750caa34c6fa22ca6eae6834b9ca20e15d97f7f

Merge "Add service config settings to agent services"