Remove deprecation handling from custom roles

For deployed-server custom roles, the deprecation handlings are removed.
As these have always been custom roles with definitions generated from
role.role.j2.yaml, these original (now deprecated) param names were
never present for anyone using this deployed-server roles data file.

Specifically, deprecated_server_resource_name is quite troublesome as it
will cause the server resources to get replaced on upgrade as the
resource name changes.

These were all introduced in If4a8388634fb1dcbb47beeabbd3db005abc80d4e,
and this commit removes them.

Change-Id: I1c1267f19db972b55466f4649eda62dd7814b94a
Closes-Bug: #1723177
(cherry picked from commit 6e7a431df0b7790512eb1920500b8878701c691a)

Merge "Also match config volumes for /var/lib/config-data/puppet-generated/" into stable/pike

Merge "Disable xinetd class when creating swift-storage puppet configuration" into stable/pike

Merge "Remove Heat Cloudwatch API during upgrade and disable by default" into stable/pike

Merge "Fix some missed hard-coded network references" into stable/pike

Merge "Remove monitor_interface from ceph-ansible parameters" into stable/pike

Disable xinetd class when creating swift-storage puppet configuration

Due to missing puppet invocation with --detailed-exitcodes we ignored
a large amount of puppet errors during deploy. Swift storage fails
during the puppet_config step with the following error:

Debug: /Stage[main]/Swift::Storage::Object/Swift::Storage::Generic[object]/Package[swift-object]: Not tagged with file, file_line, concat, augeas, cron, swif t_proxy_config, swift_config, swift_container_config, swift_container_sync_realms_config, swift_account_config, swift_object_config, swift_object_expirer_con fig, rsync::server
Debug: /Stage[main]/Swift::Storage::Object/Swift::Storage::Generic[object]/Package[swift-object]: Resource is being skipped, unscheduling all events
Debug: Executing: '/usr/bin/systemctl is-active xinetd'
Debug: Executing: '/usr/bin/systemctl is-enabled xinetd'
Debug: Executing: '/usr/bin/systemctl unmask xinetd'
Debug: Executing: '/usr/bin/systemctl start xinetd'
Debug: Runing journalctl command to get logs for systemd start failure: journalctl -n 50 --since '5 minutes ago' -u xinetd --no-pager
Debug: Executing: 'journalctl -n 50 --since '5 minutes ago' -u xinetd --no-pager'
Error: Systemd start for xinetd failed!

The problem is that by using the rsync::server tag we end up including
the xinetd class automatically which will try to start a service inside
a container. By nooping the xinetd class, we're able avoid systemctl
calls and have a successfuly deployment. The resulting swift_rsync
container seems to work correctly:

[root@overcloud-controller-0 ~]# docker exec -it swift_rsync /bin/bash -c "ps -axuwf"
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root        10  0.0  0.0  47444  1624 pts/1    Rs+  18:16   0:00 ps -axuwf
root         1  0.0  0.0    188     4 ?        Ss   17:27   0:00 /usr/local/bin/dumb-init /bin/bash /usr/local/bin/kolla_start
root         6  0.0  0.0  11036   924 ?        Ss   17:27   0:00 /usr/bin/rsync --daemon --no-detach --config=/etc/rsyncd.conf

[root@overcloud-controller-0 ~]# docker logs swift_rsync 2>&1|tail -n4
INFO:__main__:Deleting /etc/rsyncd.conf
INFO:__main__:Copying /var/lib/kolla/config_files/src/etc/rsyncd.conf to /etc/rsyncd.conf
INFO:__main__:Writing out command to execute
Running command: '/usr/bin/rsync --daemon --no-detach --config=/etc/rsyncd.conf'

Change-Id: I5e43e8fd61e002d2acc56a7de52e6aae64ab60be
Closes-Bug: #1723463
(cherry picked from commit b5eeeab73e12efecc86ea7deebc105eee0739510)

Support for Satellite Capsule in rhel-registration

For deployments running on RHEL with Satellite 6 (or beyond) with
Capsule (Katello API enabled), the Katello API is available
on 8443 port, so the previous API ping didn't work for this case.

Capsule is now supported since we just check if katello-ca-consumer-latest
rpm is available to tell that Satellite version is 6 or beyond.

Closes-Bug: #1716777
Change-Id: If76763b367917fc15f609ad144679750602826eb
(cherry picked from commit ad3ea5bb7a2ee2cb1ae6b1d21b2f0b5a177c9fc6)

Sync deployed-server-roles-data and roles-data

deployed-server-roles-data was out of sync and missing some parameters
introduced in Pike cycle:
This patch syncs the roles_data between 2 files.

Change-Id: If4a8388634fb1dcbb47beeabbd3db005abc80d4e
Closes-Bug: #1723177
(cherry picked from commit 0e6c86dc123e9f558c4d3d594ff50e85dd00171f)

Also match config volumes for /var/lib/config-data/puppet-generated/

Some services only mount this directory, not /var/lib/config-data/$service
so handle this case in the docker-puppet code that maps the mounted
volumes to the services when adding the config hash to the container
environment.

Change-Id: I3bdb7609f322458584ac9597ffbfefb057b84646
Closes-Bug: #1720208
(cherry picked from commit 3a932b056914d148fa460b8890fc0e631c817a40)

Remove Heat Cloudwatch API during upgrade and disable by default

This adds a heat-api-cloudwatch-disabled.yaml and wires it up in
the resource registry. During the Ocata to Pike upgrade this service
will thus be stopped and disabled by default.

If you wish to keep the Heat Cloudwatch API then you should instead
use the provided heat-api-cloudwatch.yaml environment file.

Change-Id: I3f90a9799b90ca365f675f593371c1d3701fede6
Related-Bug: 1713531
(cherry picked from commit 4d21451666f2dd7a8935da3a7166a9afc2ccd6bd)

Merge "Fix ConfigDebug for puppet host runs" into stable/pike

Merge "Fixes dynamic networks falling back to ctlplane" into stable/pike

Fix ConfigDebug for puppet host runs

Before pike we used to be able to add -e environments/config-debug.yaml
and that would give us debug logs for puppet. With the move to ansible
running puppet we lost this feature.

Let's make sure that the old ConfigDebug variable still works with
the ansible playbook-based deploy steps. With this patch and ConfigDebug
set to true, we correctly get the puppet debug logs:

TASK [debug] *******************************************************************
ok: [localhost] => {
    "(outputs.stderr|default('')).split('\n')|union(outputs.stdout_lines|default([]))": [
        "Warning: Undefined variable 'deploy_config_name'; ",
        "   (file & line not available)",
        "Warning: This method is deprecated, please use the stdlib validate_legacy function, with Stdlib::Compat::Bool. There is further documentation for validate_legacy function in the README. at [\"/etc/puppet/modules/ntp/manifests/init.pp\", 54]:[\"/etc/puppet/modules/tripleo/manifests/profile/base/time/ntp.pp\", 29]",
        "   (at /etc/puppet/modules/stdlib/lib/puppet/functions/deprecation.rb:25:in `deprecation')",
        "Debug: Runtime environment: puppet_version=4.8.2, ruby_version=2.0.0, run_mode=user, default_encoding=UTF-8",
        "Debug: Loading external facts from /etc/puppet/modules/openstacklib/facts.d",
        "Debug: Loading external facts from /var/lib/puppet/facts.d",
....

Change-Id: Ia726fb8ca4a6f7bbbd7a1284d76ff42df6825d01
Closes-Bug: #1722752
(cherry picked from commit ecc6ce340aea59faaee4c2a49cd6d6fb90d8ed35)

Switch RabbitFDLimit to a Puppet integer

Type changed in:
https://github.com/voxpupuli/puppet-rabbitmq/commit/20d159dc6f08357bca4b01fdbe3521e4dc56f634

We need to update it otherwise we get a Puppet error.

Change-Id: If03b7363295f1f529b7acf4a008ff63da8fef173
Closes-Bug: #1723665
(cherry picked from commit 24c756616c7a489e9bf43b6c5974e400815462ea)

mysql: expose IPv6 configuration to mysql puppet modules

When deploying on IPv6 networks, set a hiera key that can be consumed
by puppet modules to configure MySQL or Galera appropriately.

Currently, this is required for configuring SST encryption in Galera
when Internal TLS is enabled [1].

[1] I1d6ee8febb596b3ab9dcde3a85a028ee99b2798c

Change-Id: Ia857350ac451fc1bda6659d85019962d3a9d5617
Partial-Bug: #1719885
(cherry picked from commit ff0a0dd987f4bcb997b271572ff0c901ed71d99b)

Merge "Hardcode tag-stable-3.0-jewel-centos-7 in scenario001-containers" into stable/pike

Remove monitor_interface from ceph-ansible parameters

We should not pass any hardcoded value for monitor_interface and
rely on monitor_address_block only instead.

Also removes journal_collocation which is not consumed by
newer (and stable) builds of ceph-ansible.

Change-Id: Idf213a1f43a66506f76d07102f122839b5096948
Closes-Bug: #1715246
(cherry picked from commit 3e90ae3df5a7c5491672254733ceac163b34a395)

Merge "Revert "Fixes heat resource name for Internal API Network"" into stable/pike

Revert "Fixes heat resource name for Internal API Network"

This reverts commit 520be6bb4056ead8e6fad08ad96e99f7da5b341e.

This introduced a bug:
https://bugzilla.redhat.com/show_bug.cgi?id=1501515

where during upgrade, the previous heat resource would for the
InternalApi network would have the incorrect name "Internal" and the
upgrade would try to delete the resource in order to create
"InternalApi".  This needs to be reverted and a proper fix will be
submitted that accounts for this upgrade scenario.

Related-Bug: #1718764

Change-Id: Id906fac421db317ce48d5cecfcd43397a0f4ab3d

Fix permissions for dockerized horizon

Horizon needs write access to its log file and read permissions for all
of its configuration files.

The code that was supposed to set the permissions did it in the wrong
directory.

Closes-Bug: #1719590
Co-Authored-By: Martin Andre <m.andre@redhat.com>
Change-Id: I0c125fac38cd186f98b9bc69bcc570f669eb6de1
(cherry picked from commit 960d7ff1025a568343aa5ae5ef95386306de8cab)

Hardcode tag-stable-3.0-jewel-centos-7 in scenario001-containers

Change-Id: I88f622c0b7a92ab75c2523fdc0d4d9ac1a2a2560
Closes-Bug: #1722908
(cherry picked from commit 06331a830e8923a9dc2ef8c15f2f1bf9d1d58ba1)

Fix some missed hard-coded network references

These got missed in the refactoring to support composable networks.

Change-Id: I5c97df08ae84e9c383175687428fb00143d171ff
Closes-Bug: #1720849
(cherry picked from commit ef1768e40c3a6c58a22381a4546772f571bee5cc)

Fixes dynamic networks falling back to ctlplane

Currently when a network in network_data is disabled it no port
definitions for that network will be created per role.  This results in
no fallback to the ctlplane IP because overriding a type in
network-isolation to noop.yaml does nothing when the port does not exist
for the role.

This patch changes the IPs when a network is disabled to be the same IPs
as ctlplane and fixes the issue, along with removing the need to use
noop.yaml override for ports (non-vip).

Closes-Bug: 1721542

Change-Id: I301370fbf47a71291614dd60e4c64adc7b5ebb42
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 9285cb5fc99331ca63ff09df59f26b6018bc781b)

Merge "Add IronicPxe to the default controller" into stable/pike

Providing required priviledges to the mounted NFS volume

Since, user ID on host and container differs, image-create
with NFS backend was failing with permission error. But even after
resolving permission error[1] the image was not getting created
on the nfs share as the NFS endpoint is not mounted successfully on
the container via puppet. This will be fixed by [2].

Now, adding two below changes in this patch,
[1]. chown glance:glance /var/lib/glance.
[2]. Proposing this solution to mount NFS endpoint on the host instead
     of mounting it on glance container, because mounting in container
     does not work as explained in LP Bug.

Closes-Bug: 1708629
Change-Id: Ib60cb0d179e7c117dc26440746154136aa9d163e
(cherry picked from commit
ed11f8ebcfbaf1fbbebb4c83e3201e462fee14ee)

Merge "Remove package if service stopped and disabled" into stable/pike

Merge "Adds pacemaker update_tasks for Pike minor update workflow" into stable/pike

Add IronicPxe to the default controller

It doesn't exist in the non containerized openstack so leave it
stubbed out by default.

Closes-Bug: #1721212

Change-Id: I5fcb1f0b9958ac90f034a12f1ee733dae6571f9c
(cherry picked from commit a850d8059fbc1c36efb18773e40bb600e5da5005)

Merge "Make containerized galera use mysql_network everywhere" into stable/pike

Merge "Fix cold/live migration network config" into stable/pike

Merge "Create mysql user for non-ha deployments" into stable/pike

Merge "List all unhealthy containers" into stable/pike

Merge "Special treatment for os-net-config upgrade." into stable/pike

Remove package if service stopped and disabled

Adds a UpgradeRemoveUnusedPackages param to use
in the ansible when conditional for the removal

Adds package removal to step2 right after a service
is stopped and disabled on step2. Package updates
happen in step3 so ideally remove before that.

The package removal task has ignore_errors true
so dependencies or other issue removing packages will
not fail the upgrade workflow.

Also adds this to the upgrade environment files
for visibility and defaulting false

Change-Id: Ie4e4a2d41f7752c5a13507a7c15c6f68e203cfca
Related-Bug: 1701501
(cherry picked from commit ce0ef2fa207698c1ae61c1620fe3c5e8d1c7bfca)

Adds pacemaker update_tasks for Pike minor update workflow

Adds update_tasks for the minor update workflow. These will be
collected into playbooks during an initial 'update init' heat
stack update and then invoked later by the operator as ansible
playbooks.

Current understanding/workflow:
 Step=1: stop the cluster on the updated node
 Step=2: Pull the latest image and retag the it pcmklatest
 Step=3: yum upgrade happens on the host
 Step=4: Restart the cluster on the node
 Step=5: Verification: test pacemaker services are running.

https://etherpad.openstack.org/p/tripleo-pike-updates-upgrades

Related-Bug: 1715557
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Co-Authored-By: Sofer Athlan-Guyot <sathlang@redhat.com>
Change-Id: I101e0f5d221045fbf94fb9dc11a2f30706843806
(cherry picked from commit a953bda0ae615dc44d3e8a70aa7ab0160e26f3af)

Merge "docker: add logging(source & groups)" into stable/pike

Special treatment for os-net-config upgrade.

We make sure to run upgrade and run os-net-config on its own.  Running
os-net-config with the no-activate option will
 - prevent the restart of the interface
 - adjust the network files to the expected configuration so that next
 run won't restart the network.

Eventually at next reboot the change will be taken into account.
Currently we have no change that are required to be taken live during
the upgrade so it safe to ignore the new parameters.

Closes-Bug: #1721073
Change-Id: I51464274d5dff8a267992ae303ac3517b78d08fb
(cherry picked from commit 5aab25bb68f62b0d7e4ffdc20d4f4da1d82a76db)

List all unhealthy containers

Currently the default Sensu check defined in docker/services/sensu-client.yaml
reports only first unhealthy container. This patch changes the check output
to contain list of all unhealthy containers.

Change-Id: I0a934367ef22984d9091d160ec7105092edc8149
Closes-Bug: #1720972
(cherry picked from commit 9b016c9f3fbe9552497737974b9928d1dff4d299)

Create mysql user for non-ha deployments

Currently health check for mysql container reports unhealthy container
because there is no 'mysql' user created. This patch creates the user
during mysql_bootstrap without any permission, just to allow health
check to connect to DB and run 'select 1'.

Change-Id: Iab26da0d30939b219189d4e7beb2a61d456ab7c3
Closes-Bug: #1718944
(cherry picked from commit 3a9cfaa992e92423461d64f84d701336322bdd10)

Fix cold/live migration network config

Cold migration network is determined by the value of my_ip in nova.conf.
If this isn't set then the network with the default gateway will be used.

This patch sets my_ip and the whitelisted IP for cold migation over SSH to the
NovaApiNetwork.

Until https://bugs.launchpad.net/nova/+bug/1671288 is fixed we cannot control
the network used for live migration over SSH. It is determined by hostname
resolution.
This patch sets the whitelisted IP for live migration over SSH to the hostname
resolution network for the role - which is typically the same as NovaApiNetwork.
(NB The puppet manifest will remove duplicates).

Live migration over TLS is not affected. It can control the network used so it
configurable via NovaLibvirtNetwork.

Change-Id: Ica3f79d6d0cfae446e276172146f3a9407f2971f
Depends-On: Id22a6c990f424b9f3ca6159088540ea207460ffd
(cherry picked from commit 23331889a577b82b625610a80ecd44e164fe6cf1)

docker: add logging(source & groups)

The services that docker depends on, have logging_sources and logging_groups;
but those are not set on the docker outputs so they are not used when dockers
are deployed.

Added logging_source & logging_groups as docker optional parameters in
tools/yaml-validate.py

Closes-Bug: #1718110
Change-Id: I8795eaf4bd06051e9b94aa50450dee0d8761e526
(cherry picked from commit 5dbe1121e98a794ec6a6387ff56ee34314177567)

Containerized Fluentd client

Change-Id: Ia350e4899aa499cf27efffd9d2243e7e95fa1d65
Depends-On: I60796063fa9ebe0d98030fb982d22dabe2593ea0
Depends-On: I585b6877074353b5de62e5efaabfbe62432c473d
(cherry picked from commit f37fe4f903f429b43d22b485c29547f576ec7269)

Make containerized galera use mysql_network everywhere

The containerized galera service generates a galera.cnf which uses
short hostname to identify itself rather than the fqdn from the
mysql_network (e.g. overcloud-x.internalapi.cloudname).

This breaks when internal TLS is in use, because the mysql certificate
does not reference this short hostname.

Fix the appropriate hiera parameter to make it behave like the
non-containerized galera service.

Change-Id: I904cde38f2baeddab5178e8ad48d34a0c73629af
Closes-Bug: #1719599
(cherry picked from commit e10aa591dc9155a2746df01279c4ba4f2133fd17)

Merge "Remove extra noop.yaml ports from network-isolation files." into stable/pike

Merge "Default Ceph pg_num and pgp_num to 128" into stable/pike

Merge "Support for Ocata-Pike live-migration over ssh" into stable/pike

Merge "Fixes missing type for heat param TenantNetName" into stable/pike

Merge "Use sub_nodes_private instead of node_private" into stable/pike

Merge "Update panko port in env ssl yaml files to correct one" into stable/pike

Merge "Bump fs.inotify.max_user_instances for scale" into stable/pike

Merge "Drop extraconfig for nova-nuage" into stable/pike

Merge "Fixes heat resource name for Internal API Network" into stable/pike

Remove extra noop.yaml ports from network-isolation files.

The environments/network-isolation[-v6].yaml files have an
unneeded reference to network/ports/noop.yaml for unused
networks.

This introduces a regression where environment files that
define the networks and ports on a per-role basis can
cancel out other environment files. See bug # 1717322.

The overcloud-resource-registry.j2.yaml already uses noop.yaml
for every network on every role (whether or not the networks
are enabled, or whether the particular network is supposed
to be on a role. So having noop.yaml specified for every
role in network-isolation[-v6].yaml is not needed and can
cause issues with upgrades if the environments are not
included in a specific order.

Change-Id: If06407e5235587af090ede44674bf9c7e08e340e
Closes-bug: 1717322
(cherry picked from commit 9b08df3733257ac0fbc150a4071aec051e073ef7)

Support for Ocata-Pike live-migration over ssh

In Ocata all live-migration over ssh is performed on the default ssh port (22).
In Pike the containerized live-migration over ssh is on port 2022 as the
docker host's sshd is using port 22.

To allow live migration during upgrade we need to temporarily pin the Pike
computes to port 22 and in the final converge we can switch over to port 2022.

This also changes the default port to 2022 for baremetal computes in Pike to
enable live-migration between baremetal and containerized computes.

Change-Id: Icb9bfdd9a99dc1dce28eb95c50a9a36bffa621b1
Depends-On: I0b80b81711f683be539939e7d084365ff63546d3
Closes-Bug: 1714171
(cherry picked from commit 17fd16b9f266e1aa67bf03ebdf309e89d668ada2)

Default Ceph pg_num and pgp_num to 128

As per Ceph docs [1] we should default pg_num and pgp_num to 128 when
using less than 5 OSDs.

This same change was applied to the ceph-ansible profiles with [2].

Also updates the CI environment files to continue using 32 where we
deploy a single OSD.

1. http://docs.ceph.com/docs/master/rados/operations/placement-groups/
2. Ibd9fb23e04576e95e24af58f856663397886a947

Change-Id: I1920bc8f5251f362af38ad3bd6f46dda42c6ee93
Closes-Bug: #1718756
(cherry picked from commit e17ae7620e03790da0d29092ab42e8089b2e8d11)

Use sub_nodes_private instead of node_private

node_private file doesn't exist anymore, use sub_nodes_private
instead

Change-Id: Ifb3af18733c0e1fd6895c270bb39199acaa98968

Fixes missing type for heat param TenantNetName

Closes-Bug: 1720823

Change-Id: I239cc9f827fe99a553f9c18b80336bc6ce0b1d14
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit ba5436099d37898e418406f8b4376923e14f4c89)

Merge "Pin scenario001-multinode-containers to earlier ceph docker container" into stable/pike

Pin scenario001-multinode-containers to earlier ceph docker container

Change-Id: I122a246a559e07ed74c69e3eb172a4bbb801aeb7
Closes-Bug: #1721239
(cherry picked from commit 3e8de70bd5a8c43389432d484189d4de5fc0ae2f)

Fixes heat resource name for Internal API Network

With the dynamic Jinja2 rendering for networks, the heat resource for
Internal API network was accidentally being renamed to:
OS::TripleO::Network::Internal

when it should be the same as previous versions:
OS::TripleO::Network::InternalApi

This patch removes the 'compat_name' which was overriding the network
name for rendering the resource. This patch also removes the
compat_name functionality from the network/networks.j2.yaml file
since it is no longer needed.

Closes-Bug: 1718764

Change-Id: If756cddd91933edb303cc056515d98b941a3eb14
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 97244b942d29d2b5acd7a3eb07acdba0d9b99677)

Bump fs.inotify.max_user_instances for scale

Since each dnsmasq process consumes one inotify socket, the default
value of fs.inotify.max_user_instances which is 128 lets us scale to
only around a 116 neutron subnets (a few other sockets are used by other
processes on the system). Since, we need to provide better defaults,
this patch proposes to bump this value to 1024 by default, while giving
the user a way to cahnge it. Based on
https://unix.stackexchange.com/a/13757 each inotify watch takes 1KB of
memory and we have fs.inotify.max_user_watches set to 8192 by default.
This means that even in the worst case we won't be using more than 8MB
of memory. Bumping the fs.inotify.max_user_instances value to 1024 is
safe because there is fs.inotify.max_user_watches which caps the total
number of files that can be watched by all the inotify instances a user
has.

Related Bugs:
https://bugzilla.redhat.com/show_bug.cgi?id=1474515
https://bugzilla.redhat.com/show_bug.cgi?id=1491505

Change-Id: I39664312bf6cf06f1e1ca2e86ffd86fb9a4582ad
Closes-Bug: 1718266
(cherry picked from commit d2d0c3ff00de9b62382193d942239d543aa9499f)

Disable role host_prep_tasks on controlplane upgrade

During the controlplane upgrade the host_prep_tasks are being
executed on the disable_upgrade_deployment roles too.

This sets the role specific host_prep_tasks to an empty list for
those roles during an upgrade, as executing them during the
controlplane upgrade (during -e
major-upgrade-composable-steps-docker.yaml) causes problems.

They will be executed as part of the non controller upgrade as they
are written to the stack outputs to be used as ansible playbooks
(see bug 1708115 for more info on this)

Change-Id: I42c963440b9b1e8222097c3d4e83ffcbe820886c
Closes-Bug: 1719604
(cherry picked from commit 684267a7a4fbff489f6324020289afbdcaaca8f5)

Make CephConfigOverrides append to ceph.conf[global]

Previously it was mistakenly replacing the contents because we
do not do deep merge.

Change-Id: I145feb0208f135da7c71694ebcecd937244d66b1
Closes-Bug: #1719919
(cherry picked from commit 17416dcfc56c5148ccc9ab40297f99adfdcd085b)

Merge "Stop mapping docker to OS::Heat::None in scenarios" into stable/pike

Merge "Add all services to scenario004-containers" into stable/pike

Merge "Add a lightweight UC template/role data for deployed-servers" into stable/pike

Merge "Fix upgrades that use Management network" into stable/pike

Stop mapping docker to OS::Heat::None in scenarios

This was needed to make the upgrade job on Ocata->Pike passing, and we
now need to remove this to improve the argument order in OOOQ for
deployments with scenarios.

This shouldn't be backported to Ocata (at least not before we make the
split between deploy scenario and upgrade scenario).

Change-Id: Ie08bbe08530bd48a0ca58667f0704f360e0a4dd7
Co-Authored-By: Martin André <m.andre@redhat.com>
Related-Bug: #1714905
Related-Bug: #1712070
(cherry picked from commit 31550b42027588d82f01db6956c1efaf02d58558)

Add all services to scenario004-containers

This commit brings the scenario004 file closer to its BM pendant.  We
need to start with this one to address a chicken-and-egg issue with
featureset files.

Change-Id: Ia5c0cefb7051ca42b4d470f5a000eb446d18be30
Co-Authored-By: Martin André <m.andre@redhat.com>
Related-Bug: #1714905
Related-Bug: #1712070
(cherry picked from commit b4d0a81e55ad51ecdaf2e923f794418ac77cfc57)

Fixes missing keystone authtoken pw for Tacker

Closes-Bug: 1718997

Change-Id: I2b347cbc4595e6651b0d4be032cb862fde72e15f
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 253d9b9107aa158af5bcdafe510ecd96658ef137)

Merge "Move neutron api services to ControllerOpenstack" into stable/pike

Merge "Fix issue where 2 Redis VIPs are assigned, but only one used." into stable/pike

Merge "Fixed resource registry path in neutron-lbaasv2.yaml" into stable/pike

Merge "Rename service_workflow_tasks into workflow_tasks" into stable/pike

Merge "Remove deploy_steps_tasks.yaml from upgrade_steps_playbook" into stable/pike

Fix upgrades that use Management network

Upgrades from older versions using Management network fail.
This patch enables the management network even though it is not
enabled in any of the role definitions. This will allow upgrades
to complete using existing network environment files, without
requiring operators to switch to the new method for defining
which networks are attached to roles. Eventually these older
environment files will be removed.

Change-Id: Iadd12a559f0ad6918958a1355f189187fd327363
Closes-bug: 1717123
(cherry picked from commit 5b9fbc2b2bfa00de2fe0f437f21e05e3fc09a53d)

Fix issue where 2 Redis VIPs are assigned, but only one used.

There is an extra RedisVipPort defined in network-isolation.j2.yaml
which is unused. This will waste an IP address, and can lead to
confusion if there are multiple ports named RedisVipPort.

This patch removes the extra (unneeded) instance of the VIP.

Change-Id: I222873859af1b4ed1050cfffe55687b2f8d4c528
Closes-bug: 1717017
(cherry picked from commit f543752da6e1df3537ffa68d86806e11ac380375)

Fixed resource registry path in neutron-lbaasv2.yaml

Change-Id: Icb58d47a3911e83e2650b2c74b33eae522c84651
Closes-Bug: #1718451
(cherry picked from commit edc02b3352d53bdf460a495f689db55944eab432)

Merge "Create network-isolation-no-tunneling.yaml using jinja2" into stable/pike

Move neutron api services to ControllerOpenstack

The Networker role should not have the api services run on it. Instead
these services should run as part of the ControllerOpenstack role that
should be used with this role.

Change-Id: Iabfe276fe700843f3a8da0b9e9220b2f82e20ec9
Closes-Bug: #1718299
(cherry picked from commit 964a5d738b8dbb6beb077d76448c6f3a84be2500)

Set Ceph pgp_num after pg_num

We missed to set the pgp_num default in ceph.conf, causing WARNING
messages like:

  pool default.rgw.buckets.data pg_num 32 > pgp_num 8

Also increases the default pg_num to 128 which is the recommended
value for less than 5 OSDs [1].

1. http://docs.ceph.com/docs/master/rados/operations/placement-groups/

Change-Id: Ibd9fb23e04576e95e24af58f856663397886a947
Closes-Bug: #1718173
(cherry picked from commit 58e6f6533a04eddd2dc897d890737bbccde4ea7b)

Create network-isolation-no-tunneling.yaml using jinja2

The existing network-isolation-no-tunneling.yaml contains
references to missing files. This patch generates the file
with jinja to include custom networks and make it work
with composable networks.

Closes-Bug: #1718797
Change-Id: Ibcab2f6b5ac880a6b3d7dd5126bd24facfa17322
Signed-off-by: Antoni Segura Puimedon <antonisp@celebdor.com>
Co-authored-by: Dan Sneddon <dsneddon@redhat.com>
(cherry picked from commit 47185342bdd247a2e2735ef96c777ecec663086d)

Merge "Adds post_upgrade_tasks for any service post-upgrade ansible tasks" into stable/pike

Remove deploy_steps_tasks.yaml from upgrade_steps_playbook

After landing https://review.openstack.org/#/c/503484/ we run the
puppet host configuration steps twice. This change removes the
deploy_steps_tasks.yaml playbook in order to run the puppet steps
only once.

Closes-bug: 1717244
Change-Id: I09461094618124915841c8390c8bce8daf64d029
(cherry picked from commit e471c67aab6a8f91011aa2330b3cf80f4427f443)

Merge "Make nova patching parameters configurable in Nuage" into stable/pike

Merge "Use haproxy-systemd-wrapper as pid1 in containerized Haproxy" into stable/pike

Merge "Disable all uses of wsrep-provider in mysql_bootstrap container" into stable/pike

Update panko port in env ssl yaml files to correct one

Change-Id: Iafe17a91c4695e442881e6fe813a6499f812f4b4
(cherry picked from commit 96667edee266bf2a64f7c8e2488c0eba105eaa8f)

Use haproxy-systemd-wrapper as pid1 in containerized Haproxy

This wrapper binary spawns the HAproxy daemon and implements a
coordinated HAproxy restart on SIGHUP.

From a service's perspective, this allows reloading the HAProxy
configuration with minimal service disruption, i.e. without stopping
and restarting the HAProxy container.

Closes-Bug: #1717521

Change-Id: Ib3ef0c0bcf1a8151e179ff4d7509cf0d6b3ac5a1
(cherry picked from commit 91cd44cd7266c15ce07fafbee9d2e33f226096ba)

Disable all uses of wsrep-provider in mysql_bootstrap container

During the bootstrap of the mariadb database, galera replication
must be disabled while the users credentials are being set up. This
is done by setting wsrep-provider=none when starting mysqld_safe.

Icf67fd2fbf520e8a62405b4d49e8d5169ff3925b already disabled it
when the clustercheck credentials are being set up, but Kolla also
start a temporary server for setting up the root password.

Disable the setting directly at the end of the mysql.cnf in the
running container. That way, the default setting from galera.cnf will
be overriden, all mysqld_safe calls will disable WSREP and the setting
will stay ephemeral.

Change-Id: If14e22992b46a35a05a16a9db5ecb360ea13df8f
Closes-Bug: #1717250
(cherry picked from commit b0f50db80b10e9cd6263c4d6b3ca8dd818b658ba)

Adds post_upgrade_tasks for any service post-upgrade ansible tasks

This adds a new config/deployment per role that will come after any
post deploy steps. It drives the same ansible config as the
upgrade_tasks but instead collects the post_upgrade_tasks for any
service in the given role.

The workflow is upgrade_tasks, then post deploy steps (either
puppet/ or docker/ depending on the env) and then the
post_upgrade_tasks added here.

This is added to the pacemaker/cinder-volume.yaml service for now
see the bug below for more info

Change-Id: Iced34fecf02ebddc91df9302de54d2f4c2cab680
Closes-Bug: 1706951
(cherry picked from commit 2e182bffeeb099cb5e0b1747086fb0e0f57b7b5d)

Run gnocchi statsd and metrcd at step 5

Running these daemons at step 5 should avoid seeing error messages in
the gnocchi-statsd log files on startup which starts at step4.

Change-Id: Idb82f864a2e1c623dab7a2a87054443036670453
Closes-bug: #1713182
(cherry picked from commit 9d8e496f3e8a825d48d9eba9aab540001bb780ea)

Change to boolean for boolean type params

Some boolean params are set to string type. Although it works, but
it is better to use boolean type for better validation. This patch
changes them to boolean type.

Change-Id: I9f1d223619ea14fbab26033b24eb1144796e5ef2
Closes-Bug: #1715209
(cherry picked from commit cab8ab1d342c6ffada3f2adea5834b4549240af5)

One time delete pacemaker resources during upgrade to containers

This change allows running the major upgrade composable docker
steps multiple times by not trying to delete the pacemaker resources
if they're not reported as started or in master state.

Closes-bug: 1716031
Depends-On: I8da03f5c4a6d442617b81be5793a9724cc8842bf
Change-Id: Ifcf9de8c82550a90a9fb118052d43fdbcdc6ca7e
(cherry picked from commit 64d7be1e3d4552e06cbc53f788572e530cc5c3bb)

Make nova patching parameters configurable in Nuage

Nova patching parameters are available in nova.conf but are not
configurable from tripleo-heat-templates. Exposing these parameters
from Nuage composable services to make them configurable. It enables
setting the patching parameters in environment files. This change
depends on the addition of nova patching configuration parameters.

Change-Id: Iacad25da044f2bac83ee5f577ddcd70650eb61e5
Depends-On: I51ef3e19daff1d98cfe5c2c16475c16e6a3e3e0f
(cherry picked from commit f0041153eca8d82bb7f72dc68676cab8448ef037)

Rename service_workflow_tasks into workflow_tasks

Using the service_ prefix seems incoherent with its use in
service_config_settings (vs config_settings).

Change-Id: Ia39f181415bee0071409dabddfa0c5c312915e1f
(cherry picked from commit 09137304b98a02ed024c0288da907cfe35ca5fe1)

Retry if the pacemaker_resource commands failed

Add a retry when the pacemaker_resource command
wasn't apply correctly, more info here:
https://bugzilla.redhat.com/show_bug.cgi?id=1482116

This is the same approach puppet-pacemaker uses
and provides eventual consistency when multiple
nodes change the cluster CIB concurrently.

This change depends-on :
https://review.gerrithub.io/375982

The return code is not available in the current
ansible-pacemaker package.

Change-Id: I8da03f5c4a6d442617b81be5793a9724cc8842bf
(cherry picked from commit e92430d8d03fc2ce2d0ce192b96209f2c5c04169)

Merge "Enable redis TLS proxy in HA deployments" into stable/pike

Merge "Add CephConfigOverrides to allow arbitrary configs in ceph.conf" into stable/pike