Do not set cluster in maintenance mode during split stack upgrade

This change noops ControllerDeployedServer{Pre,Post}Config to avoid
getting the upgrade of a split stack deployment getting stuck due
to the cluster being in maintenance mode. For reference a similar
change has been done for the regular Controller role in:
https://review.openstack.org/#/c/487313/

Change-Id: Idd393011b3c4d0d236780e11a04a59d426750de1
Closes-bug: 1725175
(cherry picked from commit 8e92d7c6db6fcae863a250f63b01a98f7a3f3340)

Merge "Add all services to container scenarios" into stable/pike

Merge "Switch scenario004-containers to use ceph-ansible" into stable/pike

Merge "nova-placement: switch auth_uri to keystone versionless endpoint" into stable/pike

Merge "Fix /etc/openstack-dashboard/ permissions for access to *policy.json" into stable/pike

Merge "Enable Cinder as a backend for Glance" into stable/pike

Merge "Add tags to baremetal cron removal tasks" into stable/pike

Merge "mysql: Only set certificate specs if TLS everywhere is enabled" into stable/pike

Merge "cinder: switch CinderCronDbPurgeUser to 'cinder'" into stable/pike

Merge "Fix iptables rules override bug in clustercheck docker service" into stable/pike

Merge "RHSM: when using proxy, test its connectivity first" into stable/pike

cinder: switch CinderCronDbPurgeUser to 'cinder'

... and not 'keystone' or it fails.

Change-Id: Iee4161ec9d8c7a84997ab24ddd234353f3a81dfb
Closes-Bug: #1729352
(cherry picked from commit b99a240ccc4f262ee7626518087784eb92b0152f)

Merge "mysql: expose IPv6 configuration to mysql puppet modules" into stable/pike

Fix iptables rules override bug in clustercheck docker service

When deploying a composable HA overcloud with a database role split off
to separate nodes we could observe a deployment failure due to galera
never starting up properly.

The reason for this was that instead of having the firewall rules for
the galera bundle applied (i.e. those with the extra control-port for
the bundle), we would see the firewall rules for the BM galera service.
E.g. we would see the following on the host:

tripleo.mysql.firewall_rules: {
  104 mysql galera: {
    dport: [ 873, 3306, 4444, 4567, 4568, 9200 ]

Instead of the correct mysq bundle firewall rules:
tripleo.mysql.firewall_rules:
  104 mysql galera-bundle:
    dport: [ 873, 3123, 3306, 4444, 4567, 4568, 9200 ]

The reason for this is the following piece of code in
https://github.com/openstack/tripleo-heat-templates/blob/master/docker/services/pacemaker/clustercheck.yaml#L62:
...
  MysqlPuppetBase:
    type: ../../../puppet/services/pacemaker/database/mysql.yaml
    properties:
      EndpointMap: {get_param: EndpointMap}
      ServiceData: {get_param: ServiceData}
      ServiceNetMap: {get_param: ServiceNetMap}
      DefaultPasswords: {get_param: DefaultPasswords}
      RoleName: {get_param: RoleName}
      RoleParameters: {get_param: RoleParameters}

outputs:
  role_data:
    description: Containerized service clustercheck using composable services.
    value:
      service_name: clustercheck
      config_settings: {get_attr: [MysqlPuppetBase, role_data, config_settings]}
logging_source: {get_attr: [MysqlPuppetBase, role_data, logging_source]}
...

Depending on the ordering of the clustercheck service within the role
(before or after the mysql service), the above code will override the
tripleo.mysql.firewall_rules with the wrong rules because we derive from
puppet/services/... which contain the BM firewall rules.

Let's just switch to derive from the docker service so we do not risk
getting the wrong firewall rules during the map_merge.

Tested this change successfully on a composable HA with split-off DB
nodes.

Change-Id: Ie87b327fe7981d905f8762d3944a0e950dbd0bfa
Closes-Bug: #1728918
(cherry picked from commit 3df6a4204a85b119cd67ccf176d5b72f9e550da6)

mysql: Only set certificate specs if TLS everywhere is enabled

The conditional was missing.

Change-Id: Ie2617dd9dba1c49f37e82448b6bf229d127ed46a
Closes-Bug: #1729384
(cherry picked from commit 410e062aa0d91b99c4493fac6940499cc02e4288)

Merge "Fix nova-cpu/collectd hieradata" into stable/pike

Merge "Upgrade rhel_reg_sat_repo to 6.2" into stable/pike

Merge "Run containerized mistral-api eventlet" into stable/pike

Merge "added level of indirection causes incorrect hiera config" into stable/pike

Merge "Add NetIpMap to hieradata for *ExtraConfig overrides" into stable/pike

Merge "Providing required priviledges to the mounted NFS volume" into stable/pike

Merge "Update CephPools format in the docker templates to fit ceph-ansible" into stable/pike

RHSM: when using proxy, test its connectivity first

When using RHSM with a proxy, we want to make sure the proxy can be
reached. This patch verify that a tcp socket can be open from the client
to the proxy.

This patch also does a bit of refactoring:
- --retry-delay 10 --max-time 30 is now used in a parameter everytime we
  use curl.
- proxy options are now used everytime curl is used, even for detecting
  which version of Satellite is running, now we use proxy options.

Co-Authored-By: Vincent S. Cojot <vincent@cojot.name>
Change-Id: I4dcac1528c10f698338383445e27c8a613f9bcd9
Closes-Bug: #1724970
(cherry picked from commit f4e46f4b3ddac3f536a3a1955c91447e8b26ffca)

Merge "RHSM: do not use retry to deploy katello-agent" into stable/pike

Upgrade rhel_reg_sat_repo to 6.2

When deploying with RHSM, sat-tools 6.2 will be installed instead of 6.1.
The new version is supported by RHEL 7.4 and provides katello-agent package.

Change-Id: I04a9feab02bf606ad6ca923a17947dcca30258da
Closes-Bug: #1728638
(cherry picked from commit b248ae1447940f81513be9904a24197bd4af1126)

Add all services to container scenarios

This commit brings the multinode containers scenario files closer to
their BM variants to add missing services and turning pacemaker on.
These require refactorings in OOOQ in order to support non-containerized
to containerized upgrade jobs across releases. Ceph-ansible is also
going to be switched separately.

Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Depends-On: Ie0e8de54794a9259c0aeb8c67ae0f6a908844093
Change-Id: Icb659509b38575534be27a1881dbe671c40a5436
Related-Bug: #1714905
Related-Bug: #1712070
(cherry picked from commit c504f83c28b986ceb2b92cc0077959158bd11df7)

Fix nova-cpu/collectd hieradata

Probably a typo, never caught or even tested.

Change-Id: Iaf75edb421a19cb69bf3ead59c83bf812c653f0b
Closes-Bug: #1729479
(cherry picked from commit 24f859c01826eb12256cf1a5cd63b8bb1c0e234c)

Merge "Disable MongoDB in scenario002" into stable/pike

Merge "Fix standalone ControllerOpenstack vars" into stable/pike

Add NetIpMap to hieradata for *ExtraConfig overrides

To enable per-node override of bind IPs via the per-role
ExtraConfig paramaters, we need to enable hiera interpolation
that references the keys defined in NetIpMap, so we add them
to the hieradata.  To minimise the risk of any conflicts in
keynames it's added near the bottom of the hierarchy, but
I'm not aware of any conflicting names in our templates/modules.

This will allow per-node hieradata override of bind IPs e.g:

  parameter_defaults:
    ComputeRack1ExtraConfig:
      nova::vncproxy::host: "%{hiera('rack1_internal_api')}"
    ComputeRack2ExtraConfig:
      nova::vncproxy::host: "%{hiera('rack2_internal_api')}"

Closes-Bug: #1726884
Change-Id: Icf7da1d78176c2ee0197ff2459d69d995cbb16ad
(cherry picked from commit 65a8b65754d2ea77ec2396658d4e73eb837d34bd)

Merge "Switch RabbitFDLimit to a Puppet integer" into stable/pike

Merge "Force memcached container log to file" into stable/pike

Merge "Enable neutron-lbaasv2 UI in Horizon" into stable/pike

RHSM: do not use retry to deploy katello-agent

katello-agent is an optional package, we don't want to use retry.
The package is available or not.

Fixing a regression from https://review.openstack.org/#/c/386529
Since we use "| true", we can't really use "retry" here.

Change-Id: Id8cd9ac54e158ee1743b2f72b169b3a066f69168
Closes-Bug: #1728614
(cherry picked from commit d9f7b01c6c21b306005bad12fcab103b0a9e7591)

added level of indirection causes incorrect hiera config

 - until Newton this worked fine, however starting with Ocata, we
   do not need the key 'mapped_data'
 - having it results in extra indirection in the dictionary in
   neutron_bigswitch_data.json

Closes-Bug: #1729453

Change-Id: I3bc9940aeff4e290d83de95a7df294c11f061954
(cherry picked from commit 485339129cee8f5d3223cf47858a5c9f79b0a8de)

Add tags to baremetal cron removal tasks

In 59e29b17f4a9f5f65b6f8a7b8e82ef6426d8a51 we forgot to
add tags to the Ansible tasks to remove the baremetal
cron jobs at step 2.

(cherry picked from commit 1128271b460b120a2a59eac3df95082c55e554d0)

Change-Id: I23fb134b88336ebc4eb1a97a69a2d73d4ef0edb2
Related-bug: #1708466

Force memcached container log to file

We were relying on the sysconfig options to set the memcached log file,
however, this is not happening, as the redirection is being taken as an
option and ends up being ignored by the memcached command. So instead,
we set the redirection in the container template.

Change-Id: Ic94e3fd7884d518eb9558c53acdc6b294823cd0a
Closes-Bug: #1720183
(cherry picked from commit ca1fc5848661aacbf14b52e33879190c133c8e48)

Merge "Fix permissions for dockerized horizon" into stable/pike

Fix standalone ControllerOpenstack vars

As we've moved to more dynamic generation of variables, the correct
variable names are *ControllerOpenstack* not *Controller* for the
example standalone environment.

Change-Id: Iaa39de9d8794a856e76cc9995d046484632cf604
Closes-Bug: #1721877
(cherry picked from commit 536d1c4af59dc22164666be5cb1826115fdfdeb9)

Merge "Set verbosity by default for memcached" into stable/pike

persist memcached logs in /var/log/containers/memcached/memcached.log

We used to bind-mount /var/log/memcached.log, but this resulted in the
file being createdin the memcached container as a directory, since this
file didn't exist.

This commit takes the approach of other containers and gets the logs to
a memcached directory in /var/log/containers.

Change-Id: I926b65fa557ad56b4faa2be34452b58f7b01247a
Closes-Bug: #1720183
(cherry picked from commit 5020f38301a9a0a70f34878196250e24fc639dec)

Set verbosity by default for memcached

This sets of one level of verbosity for memcached by default. This
allows us to see any errors or warnings in the logs.

Change-Id: Icc6f56c9e0ee6100286d07c8b6660a08baabb241
Related-Bug: #1720183
(cherry picked from commit 15ad21ba08e92b302318bdc34112601ce666ff35)

Update CephPools format in the docker templates to fit ceph-ansible

The format which ceph-ansible uses to describe the list of pools
to be created in the cluster is different from the one which
puppet-ceph uses; this commit updates the description and the
the docker templates accordingly.

Change-Id: I1e5b2c3cbf6ae02c19a2275ca119fed6e173319d
Closes-Bug: #1720373
(cherry picked from commit c10aa7a0439fb7d8e8e964e75d73f3cbb54aa9ec)

Switch scenario004-containers to use ceph-ansible

Use ceph-ansible to match the non-containerized variant of
scenario004.

Depends-On: I137ca9a005df6e95a59a4d629eb94bda6ef00d3a
Depends-On: I6acac1826271efcd4d1acf6633bde6eb8a653f44
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I1b3c57a2cfda9e74457f17504f51d5b30c5d381d
(cherry picked from commit 4e85813d368b94f588471d9bdc4a04d04d3be541)

Enable Cinder as a backend for Glance

Enable Cinder as a backend for Glance by adding 'cinder' to the list of
allowed choices for the GlanceBackend heat parameter.

Update the glance-api docker configuration to allow the feature to work.
This is necessary because the feature uses iSCSI, which requires additional
privileges.

Closes-Bug: #1728409
Depends-On: I850047e32f3608b3ce490e52e2e540695cb1a4ff
Change-Id: I42241747de931103a04aa5ee2ed18fd46197d183
(cherry picked from commit e828e8c7bb2e890b243faa767992226dc270bb6f)

Disable MongoDB in scenario002

We have disabled mongo by default in containers via:

Id2e6550fb7c319fc52469644ea022cf35757e0ce Disable mongodb by default
Ie09ce2a52128eef157e4d768c1c4776fc49f2324 Containerized mongodb, disable by default, fix upgrade

Let's not use it in scenario002 either.

NB: Not entirely clean cherry-pick due to scenario002-multinode-containers.yaml
    having many more services in master than in pike.

Change-Id: I0d2df25ed797ffb8425ba81736526d3688e5de5c
Closes-Bug: #1724679
(cherry picked from commit 900416d9809bf4446c0c037128edb033ab9b3bcc)

Enable neutron-lbaasv2 UI in Horizon

Change-Id: I4a09343c59da86daf4e6f00a59f7734c8adb209f
Depends-On: I66839e2c42e654a02e5409c6137e479cfb7b385f
Partial-Bug: 1724471
(cherry picked from commit 97879c3ce6dcf06908180a06147bd386580ed5ae)

Run containerized mistral-api eventlet

The mistral-api container image we use doesn't have the necessary
packages to run via wsgi and this cause puppet to error with:

  "Notice: /Stage[main]/Mistral::Wsgi::Apache/Openstacklib::Wsgi::Apache[mistral_wsgi]/File[mistral_wsgi]: Dependency File[/var/www/cgi-bin/mistral] has failures: true",

Fallback to eventlet mistral-api for the time being until we get
a usable mistral-api image.

Change-Id: Ic10c579aa3b6d0d6a01f120669be3b5dcc5efcda
Depends-On: I54627f1c5a8867738a55bee42075bb6087830c61
Related-Bug: #1724607
(cherry picked from commit e158acb14c4ed92be1a5b961ff1e8ff99b1a5ae3)

Fix /etc/openstack-dashboard/ permissions for access to *policy.json

The Kolla Dockerfile sets the permissions for /etc/openstack-dashboard/
to horizon:horizon. We need this to be readable by the apache user
as the horizon user is not the user in which httpd runs with. We may
want to consider fixing this in the upstream Dockerfile instead, e.g.
checking if we're using centos/rhel and changing the permissions that
way. I'm not sure why it's set to horizon:horizon upstream, and I'm keen
not to break any existing functionality that relies on the horizon based
permissions.

Closes-Bug: #1723125
Change-Id: If5feebae38f7fdfffa60bfaedc4521f676006484
(cherry picked from commit fd657aa4e68de7ad239a88525b5ae343acd3bf80)

Merge "ci-ovn: Disable Swift services in scenario 007 container job" into stable/pike

Merge "Create short lived ssh key for enable-ssh-admin.sh" into stable/pike

nova-placement: switch auth_uri to keystone versionless endpoint

Appears this was missed in I8046f2eed0b9a7da76d6d7c3507a92bf5054b000

Change-Id: I901533f7ab2de2ec0fd1c2bfef8aa8f767c45963
Partial-Implement: blueprint keystone-v3
(cherry picked from commit 4add59c5413e9b36675f07f0c3d0fedbf156b04c)

Merge "Disable SwiftDispersion when using docker" into stable/pike

Merge "Support for Satellite Capsule in rhel-registration" into stable/pike

Disable SwiftDispersion when using docker

We currently have the following in the registry:
OS::TripleO::Services::SwiftDispersion: puppet/services/swift-dispersion.yaml

Since this service is included by default in the Controller role
it will be installed on the host even on a containerized deployment.

Let's noop this in docker.yaml until a containerized version of it
gets merged.

Change-Id: Ic2793d0cfb7b20f4661cb1a45793cae67a4868b4
Closes-Bug: #1723788
(cherry picked from commit 0c8ba9651734a0e6180ca443c87c8c8ca5169d6c)

ci-ovn: Disable Swift services in scenario 007 container job

Closes-bug: #1722758
Change-Id: I0161c534807ca45e2d2b6fcace5fc3e26eb450a2
(cherry picked from commit 7e398bf18910e062415ce4e70236ce98577aed13)

Create short lived ssh key for enable-ssh-admin.sh

Instead of using the key provided by user on the command line, create
a new short-lived key, give it to Mistral to create a tripleo-admin
user with it, and remove the short-lived key.

Co-Authored-By: John Fulton <fulton@redhat.com>
Change-Id: I6e6ed83fa62319d59d7289b16a1412a340ea6b26
Closes-Bug: #1724578
(cherry picked from commit b0e72c1413c9441aa592b56583e87715e7096152)

Remove deprecation handling from custom roles

For deployed-server custom roles, the deprecation handlings are removed.
As these have always been custom roles with definitions generated from
role.role.j2.yaml, these original (now deprecated) param names were
never present for anyone using this deployed-server roles data file.

Specifically, deprecated_server_resource_name is quite troublesome as it
will cause the server resources to get replaced on upgrade as the
resource name changes.

These were all introduced in If4a8388634fb1dcbb47beeabbd3db005abc80d4e,
and this commit removes them.

Change-Id: I1c1267f19db972b55466f4649eda62dd7814b94a
Closes-Bug: #1723177
(cherry picked from commit 6e7a431df0b7790512eb1920500b8878701c691a)

Merge "Also match config volumes for /var/lib/config-data/puppet-generated/" into stable/pike

Merge "Disable xinetd class when creating swift-storage puppet configuration" into stable/pike

Merge "Remove Heat Cloudwatch API during upgrade and disable by default" into stable/pike

Merge "Fix some missed hard-coded network references" into stable/pike

Merge "Remove monitor_interface from ceph-ansible parameters" into stable/pike

Disable xinetd class when creating swift-storage puppet configuration

Due to missing puppet invocation with --detailed-exitcodes we ignored
a large amount of puppet errors during deploy. Swift storage fails
during the puppet_config step with the following error:

Debug: /Stage[main]/Swift::Storage::Object/Swift::Storage::Generic[object]/Package[swift-object]: Not tagged with file, file_line, concat, augeas, cron, swif t_proxy_config, swift_config, swift_container_config, swift_container_sync_realms_config, swift_account_config, swift_object_config, swift_object_expirer_con fig, rsync::server
Debug: /Stage[main]/Swift::Storage::Object/Swift::Storage::Generic[object]/Package[swift-object]: Resource is being skipped, unscheduling all events
Debug: Executing: '/usr/bin/systemctl is-active xinetd'
Debug: Executing: '/usr/bin/systemctl is-enabled xinetd'
Debug: Executing: '/usr/bin/systemctl unmask xinetd'
Debug: Executing: '/usr/bin/systemctl start xinetd'
Debug: Runing journalctl command to get logs for systemd start failure: journalctl -n 50 --since '5 minutes ago' -u xinetd --no-pager
Debug: Executing: 'journalctl -n 50 --since '5 minutes ago' -u xinetd --no-pager'
Error: Systemd start for xinetd failed!

The problem is that by using the rsync::server tag we end up including
the xinetd class automatically which will try to start a service inside
a container. By nooping the xinetd class, we're able avoid systemctl
calls and have a successfuly deployment. The resulting swift_rsync
container seems to work correctly:

[root@overcloud-controller-0 ~]# docker exec -it swift_rsync /bin/bash -c "ps -axuwf"
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root        10  0.0  0.0  47444  1624 pts/1    Rs+  18:16   0:00 ps -axuwf
root         1  0.0  0.0    188     4 ?        Ss   17:27   0:00 /usr/local/bin/dumb-init /bin/bash /usr/local/bin/kolla_start
root         6  0.0  0.0  11036   924 ?        Ss   17:27   0:00 /usr/bin/rsync --daemon --no-detach --config=/etc/rsyncd.conf

[root@overcloud-controller-0 ~]# docker logs swift_rsync 2>&1|tail -n4
INFO:__main__:Deleting /etc/rsyncd.conf
INFO:__main__:Copying /var/lib/kolla/config_files/src/etc/rsyncd.conf to /etc/rsyncd.conf
INFO:__main__:Writing out command to execute
Running command: '/usr/bin/rsync --daemon --no-detach --config=/etc/rsyncd.conf'

Change-Id: I5e43e8fd61e002d2acc56a7de52e6aae64ab60be
Closes-Bug: #1723463
(cherry picked from commit b5eeeab73e12efecc86ea7deebc105eee0739510)

Support for Satellite Capsule in rhel-registration

For deployments running on RHEL with Satellite 6 (or beyond) with
Capsule (Katello API enabled), the Katello API is available
on 8443 port, so the previous API ping didn't work for this case.

Capsule is now supported since we just check if katello-ca-consumer-latest
rpm is available to tell that Satellite version is 6 or beyond.

Closes-Bug: #1716777
Change-Id: If76763b367917fc15f609ad144679750602826eb
(cherry picked from commit ad3ea5bb7a2ee2cb1ae6b1d21b2f0b5a177c9fc6)

Sync deployed-server-roles-data and roles-data

deployed-server-roles-data was out of sync and missing some parameters
introduced in Pike cycle:
This patch syncs the roles_data between 2 files.

Change-Id: If4a8388634fb1dcbb47beeabbd3db005abc80d4e
Closes-Bug: #1723177
(cherry picked from commit 0e6c86dc123e9f558c4d3d594ff50e85dd00171f)

Also match config volumes for /var/lib/config-data/puppet-generated/

Some services only mount this directory, not /var/lib/config-data/$service
so handle this case in the docker-puppet code that maps the mounted
volumes to the services when adding the config hash to the container
environment.

Change-Id: I3bdb7609f322458584ac9597ffbfefb057b84646
Closes-Bug: #1720208
(cherry picked from commit 3a932b056914d148fa460b8890fc0e631c817a40)

Remove Heat Cloudwatch API during upgrade and disable by default

This adds a heat-api-cloudwatch-disabled.yaml and wires it up in
the resource registry. During the Ocata to Pike upgrade this service
will thus be stopped and disabled by default.

If you wish to keep the Heat Cloudwatch API then you should instead
use the provided heat-api-cloudwatch.yaml environment file.

Change-Id: I3f90a9799b90ca365f675f593371c1d3701fede6
Related-Bug: 1713531
(cherry picked from commit 4d21451666f2dd7a8935da3a7166a9afc2ccd6bd)

Merge "Fix ConfigDebug for puppet host runs" into stable/pike

Merge "Fixes dynamic networks falling back to ctlplane" into stable/pike

Fix ConfigDebug for puppet host runs

Before pike we used to be able to add -e environments/config-debug.yaml
and that would give us debug logs for puppet. With the move to ansible
running puppet we lost this feature.

Let's make sure that the old ConfigDebug variable still works with
the ansible playbook-based deploy steps. With this patch and ConfigDebug
set to true, we correctly get the puppet debug logs:

TASK [debug] *******************************************************************
ok: [localhost] => {
    "(outputs.stderr|default('')).split('\n')|union(outputs.stdout_lines|default([]))": [
        "Warning: Undefined variable 'deploy_config_name'; ",
        "   (file & line not available)",
        "Warning: This method is deprecated, please use the stdlib validate_legacy function, with Stdlib::Compat::Bool. There is further documentation for validate_legacy function in the README. at [\"/etc/puppet/modules/ntp/manifests/init.pp\", 54]:[\"/etc/puppet/modules/tripleo/manifests/profile/base/time/ntp.pp\", 29]",
        "   (at /etc/puppet/modules/stdlib/lib/puppet/functions/deprecation.rb:25:in `deprecation')",
        "Debug: Runtime environment: puppet_version=4.8.2, ruby_version=2.0.0, run_mode=user, default_encoding=UTF-8",
        "Debug: Loading external facts from /etc/puppet/modules/openstacklib/facts.d",
        "Debug: Loading external facts from /var/lib/puppet/facts.d",
....

Change-Id: Ia726fb8ca4a6f7bbbd7a1284d76ff42df6825d01
Closes-Bug: #1722752
(cherry picked from commit ecc6ce340aea59faaee4c2a49cd6d6fb90d8ed35)

Switch RabbitFDLimit to a Puppet integer

Type changed in:
https://github.com/voxpupuli/puppet-rabbitmq/commit/20d159dc6f08357bca4b01fdbe3521e4dc56f634

We need to update it otherwise we get a Puppet error.

Change-Id: If03b7363295f1f529b7acf4a008ff63da8fef173
Closes-Bug: #1723665
(cherry picked from commit 24c756616c7a489e9bf43b6c5974e400815462ea)

mysql: expose IPv6 configuration to mysql puppet modules

When deploying on IPv6 networks, set a hiera key that can be consumed
by puppet modules to configure MySQL or Galera appropriately.

Currently, this is required for configuring SST encryption in Galera
when Internal TLS is enabled [1].

[1] I1d6ee8febb596b3ab9dcde3a85a028ee99b2798c

Change-Id: Ia857350ac451fc1bda6659d85019962d3a9d5617
Partial-Bug: #1719885
(cherry picked from commit ff0a0dd987f4bcb997b271572ff0c901ed71d99b)

Merge "Hardcode tag-stable-3.0-jewel-centos-7 in scenario001-containers" into stable/pike

Remove monitor_interface from ceph-ansible parameters

We should not pass any hardcoded value for monitor_interface and
rely on monitor_address_block only instead.

Also removes journal_collocation which is not consumed by
newer (and stable) builds of ceph-ansible.

Change-Id: Idf213a1f43a66506f76d07102f122839b5096948
Closes-Bug: #1715246
(cherry picked from commit 3e90ae3df5a7c5491672254733ceac163b34a395)

Merge "Revert "Fixes heat resource name for Internal API Network"" into stable/pike

Revert "Fixes heat resource name for Internal API Network"

This reverts commit 520be6bb4056ead8e6fad08ad96e99f7da5b341e.

This introduced a bug:
https://bugzilla.redhat.com/show_bug.cgi?id=1501515

where during upgrade, the previous heat resource would for the
InternalApi network would have the incorrect name "Internal" and the
upgrade would try to delete the resource in order to create
"InternalApi".  This needs to be reverted and a proper fix will be
submitted that accounts for this upgrade scenario.

Related-Bug: #1718764

Change-Id: Id906fac421db317ce48d5cecfcd43397a0f4ab3d

Fix permissions for dockerized horizon

Horizon needs write access to its log file and read permissions for all
of its configuration files.

The code that was supposed to set the permissions did it in the wrong
directory.

Closes-Bug: #1719590
Co-Authored-By: Martin Andre <m.andre@redhat.com>
Change-Id: I0c125fac38cd186f98b9bc69bcc570f669eb6de1
(cherry picked from commit 960d7ff1025a568343aa5ae5ef95386306de8cab)

Hardcode tag-stable-3.0-jewel-centos-7 in scenario001-containers

Change-Id: I88f622c0b7a92ab75c2523fdc0d4d9ac1a2a2560
Closes-Bug: #1722908
(cherry picked from commit 06331a830e8923a9dc2ef8c15f2f1bf9d1d58ba1)

Fix some missed hard-coded network references

These got missed in the refactoring to support composable networks.

Change-Id: I5c97df08ae84e9c383175687428fb00143d171ff
Closes-Bug: #1720849
(cherry picked from commit ef1768e40c3a6c58a22381a4546772f571bee5cc)

Fixes dynamic networks falling back to ctlplane

Currently when a network in network_data is disabled it no port
definitions for that network will be created per role.  This results in
no fallback to the ctlplane IP because overriding a type in
network-isolation to noop.yaml does nothing when the port does not exist
for the role.

This patch changes the IPs when a network is disabled to be the same IPs
as ctlplane and fixes the issue, along with removing the need to use
noop.yaml override for ports (non-vip).

Closes-Bug: 1721542

Change-Id: I301370fbf47a71291614dd60e4c64adc7b5ebb42
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 9285cb5fc99331ca63ff09df59f26b6018bc781b)

Merge "Add IronicPxe to the default controller" into stable/pike

Providing required priviledges to the mounted NFS volume

Since, user ID on host and container differs, image-create
with NFS backend was failing with permission error. But even after
resolving permission error[1] the image was not getting created
on the nfs share as the NFS endpoint is not mounted successfully on
the container via puppet. This will be fixed by [2].

Now, adding two below changes in this patch,
[1]. chown glance:glance /var/lib/glance.
[2]. Proposing this solution to mount NFS endpoint on the host instead
     of mounting it on glance container, because mounting in container
     does not work as explained in LP Bug.

Closes-Bug: 1708629
Change-Id: Ib60cb0d179e7c117dc26440746154136aa9d163e
(cherry picked from commit
ed11f8ebcfbaf1fbbebb4c83e3201e462fee14ee)

Merge "Remove package if service stopped and disabled" into stable/pike

Merge "Adds pacemaker update_tasks for Pike minor update workflow" into stable/pike

Add IronicPxe to the default controller

It doesn't exist in the non containerized openstack so leave it
stubbed out by default.

Closes-Bug: #1721212

Change-Id: I5fcb1f0b9958ac90f034a12f1ee733dae6571f9c
(cherry picked from commit a850d8059fbc1c36efb18773e40bb600e5da5005)

Merge "Make containerized galera use mysql_network everywhere" into stable/pike

Merge "Fix cold/live migration network config" into stable/pike

Merge "Create mysql user for non-ha deployments" into stable/pike

Merge "List all unhealthy containers" into stable/pike

Merge "Special treatment for os-net-config upgrade." into stable/pike

Remove package if service stopped and disabled

Adds a UpgradeRemoveUnusedPackages param to use
in the ansible when conditional for the removal

Adds package removal to step2 right after a service
is stopped and disabled on step2. Package updates
happen in step3 so ideally remove before that.

The package removal task has ignore_errors true
so dependencies or other issue removing packages will
not fail the upgrade workflow.

Also adds this to the upgrade environment files
for visibility and defaulting false

Change-Id: Ie4e4a2d41f7752c5a13507a7c15c6f68e203cfca
Related-Bug: 1701501
(cherry picked from commit ce0ef2fa207698c1ae61c1620fe3c5e8d1c7bfca)

Adds pacemaker update_tasks for Pike minor update workflow

Adds update_tasks for the minor update workflow. These will be
collected into playbooks during an initial 'update init' heat
stack update and then invoked later by the operator as ansible
playbooks.

Current understanding/workflow:
 Step=1: stop the cluster on the updated node
 Step=2: Pull the latest image and retag the it pcmklatest
 Step=3: yum upgrade happens on the host
 Step=4: Restart the cluster on the node
 Step=5: Verification: test pacemaker services are running.

https://etherpad.openstack.org/p/tripleo-pike-updates-upgrades

Related-Bug: 1715557
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Co-Authored-By: Sofer Athlan-Guyot <sathlang@redhat.com>
Change-Id: I101e0f5d221045fbf94fb9dc11a2f30706843806
(cherry picked from commit a953bda0ae615dc44d3e8a70aa7ab0160e26f3af)

Merge "docker: add logging(source & groups)" into stable/pike

Special treatment for os-net-config upgrade.

We make sure to run upgrade and run os-net-config on its own.  Running
os-net-config with the no-activate option will
 - prevent the restart of the interface
 - adjust the network files to the expected configuration so that next
 run won't restart the network.

Eventually at next reboot the change will be taken into account.
Currently we have no change that are required to be taken live during
the upgrade so it safe to ignore the new parameters.

Closes-Bug: #1721073
Change-Id: I51464274d5dff8a267992ae303ac3517b78d08fb
(cherry picked from commit 5aab25bb68f62b0d7e4ffdc20d4f4da1d82a76db)

List all unhealthy containers

Currently the default Sensu check defined in docker/services/sensu-client.yaml
reports only first unhealthy container. This patch changes the check output
to contain list of all unhealthy containers.

Change-Id: I0a934367ef22984d9091d160ec7105092edc8149
Closes-Bug: #1720972
(cherry picked from commit 9b016c9f3fbe9552497737974b9928d1dff4d299)

Create mysql user for non-ha deployments

Currently health check for mysql container reports unhealthy container
because there is no 'mysql' user created. This patch creates the user
during mysql_bootstrap without any permission, just to allow health
check to connect to DB and run 'select 1'.

Change-Id: Iab26da0d30939b219189d4e7beb2a61d456ab7c3
Closes-Bug: #1718944
(cherry picked from commit 3a9cfaa992e92423461d64f84d701336322bdd10)

Fix cold/live migration network config

Cold migration network is determined by the value of my_ip in nova.conf.
If this isn't set then the network with the default gateway will be used.

This patch sets my_ip and the whitelisted IP for cold migation over SSH to the
NovaApiNetwork.

Until https://bugs.launchpad.net/nova/+bug/1671288 is fixed we cannot control
the network used for live migration over SSH. It is determined by hostname
resolution.
This patch sets the whitelisted IP for live migration over SSH to the hostname
resolution network for the role - which is typically the same as NovaApiNetwork.
(NB The puppet manifest will remove duplicates).

Live migration over TLS is not affected. It can control the network used so it
configurable via NovaLibvirtNetwork.

Change-Id: Ica3f79d6d0cfae446e276172146f3a9407f2971f
Depends-On: Id22a6c990f424b9f3ca6159088540ea207460ffd
(cherry picked from commit 23331889a577b82b625610a80ecd44e164fe6cf1)

docker: add logging(source & groups)

The services that docker depends on, have logging_sources and logging_groups;
but those are not set on the docker outputs so they are not used when dockers
are deployed.

Added logging_source & logging_groups as docker optional parameters in
tools/yaml-validate.py

Closes-Bug: #1718110
Change-Id: I8795eaf4bd06051e9b94aa50450dee0d8761e526
(cherry picked from commit 5dbe1121e98a794ec6a6387ff56ee34314177567)

Containerized Fluentd client

Change-Id: Ia350e4899aa499cf27efffd9d2243e7e95fa1d65
Depends-On: I60796063fa9ebe0d98030fb982d22dabe2593ea0
Depends-On: I585b6877074353b5de62e5efaabfbe62432c473d
(cherry picked from commit f37fe4f903f429b43d22b485c29547f576ec7269)