Add EndpointMap as output

The endpoint map contains, not only the hosts and protocols that
the resulting services will use, but also the ports. This
information is useful, and the aim of this patch is to make it
available for the tripleoclient to use it.

Change-Id: I4cc5bbf2e7200f78cd90b93659c326a9200278d7

Centos gives /dev/pts/ptmx the wrong perms

In order to use cinder, we need to be able to use
/dev/pts/ptmx.  Centos sets this to 000 when on Fedora
it's 666.

Change-Id: I76dc5adc64d2da0d27204ea31175244bc1b94428

Merge "compute: restart OVS agent on neutron.conf changes"

Merge "change the default satellite tools rpm repo."

compute: restart OVS agent on neutron.conf changes

Some options in neutron.conf are used bu OVS agent, like logging &
messaging.
During the upgrade process, you need to restart the agent if these
options change.

We could patch puppet-neutron to add a notify, but the community won't
like it because Neutron OVS agent is not able to restart gracefully
until [1] got merged. Until that, we can fix it in TripleO, where we
suppose Puppet runs happenning during bootstraps and upgrades.

Later, we'll drop this code from here and move it in puppet-neutron.

[1] https://review.openstack.org/#/c/297211

Change-Id: I02b17b66e93331ddfb1a7abd8adff672bc7a32d6
Closes-Bug: #1563437

Merge "PLUMgrid Neutron integration"

change the default satellite tools rpm repo.

Change-Id: I60ab36b04b8932e4dbee58e21998dc984178b41c
Bugzilla:  https://bugzilla.redhat.com/1275281

Merge "Increment step count to include ringbuilder"

Merge "Don't restart Pacemaker-managed services from Puppet"

Merge "Add quotes around the cinder_iscsi_ip_address value"

Don't restart Pacemaker-managed services from Puppet

We need to reload/restart services on updates/upgrades to apply any
config changes, but restarting services managed from Pacemaker from
Puppet causes problems.

For now we no-op the restart and rely on the catch-all restart after
Puppet phase.

In the future we should have a service provider for pacemaker resources
that will be using pcs. We still might have to restart services outside
Puppet due to cluster-wide orchestration issues, but we might be able to
do the restarts selectively rather than restart everything.

We also no-op the start/stop commands to be safe, as it also doesn't
make sense for Puppet to try start and stop those services when it
doesn't have knowledge about Pacemaker.

Change-Id: I95e21e10471cd7575f28c095c48150325f1414b3
Closes-Bug: #1562922

Merge "Set UpdateIdentifier for upgrade converge, to prevent services down"

Merge "Remove password default for AodhPassword"

Increment step count to include ringbuilder

This patch wires in ringbuilder.pp so that it is always
asserted like the other manifests and it fixes the misaligned
step sequencing in calling our overcloud controller manifests.

Previously it was called as a separate software deployment outside of
the hiera step sequence. This made things confusing in
controller-post.yaml since the deployment names didn't align
with the step hiera variables after step 3. Now that we call it
just like the other modules it should make gradually moving this
code to puppet-tripleo more straightforward as well.

Change-Id: Ibd4f51f65da475bb20a6b08d7bda673f330a5464

Set UpdateIdentifier for upgrade converge, to prevent services down

We'd like to let the post puppet pacemaker controller services
restart to happen for the convergence step so set the
UpdateIdentifier. However also set the PackageUpdate to noop so the
yum_update.sh doesn't happen.

Since a full haproxy restart is expected, we no longer need the
systemctl reload added at Iae3bad745ecdf952a7a0314fe1375d07eb47c454
so remove that too.

Some more context at
https://bugzilla.redhat.com/show_bug.cgi?id=1321036

Co-Authored-By: marios <marios@redhat.com>
Change-Id: I31c2d97d68c97b435f63863fae2c89f18f99681d

Remove password default for AodhPassword

Change-Id: Ibf37bfd6150d212fadcc4d2e2e2d0a89cdd76c91

Merge "Fix satellite registration for http or https"

Merge "Add systemctl reload haproxy to the pacemaker_resource_restart.sh"

Merge "Deploy Aodh services, replacing Ceilometer Alarm"

Add quotes around the cinder_iscsi_ip_address value

In I783e939ae304385674909bfd9f1cac95e04cef22 we add brackets around
the cinder_iscsi_ip_address if IPv6 but that causes hiera to try
mapping the value into an array, while it isn't. This change adds
quotes around the brackets.

Change-Id: Id9bb4b12542f1943e9df702486d68424539c7a59
Closes-Bug: 1560934

Merge "Remove unused user resource."

Wire redis_password to the tripleo module

Without this the HAProxy monitoring for Redis would fail to poll
the backends.

Change-Id: Id0826c6b04e471844c7bef69480af263cf2b3bd4

Merge "Pass iSCSI bind address in brackets to Cinder when IPv6"

Merge "Remove the glance/rbd user name from static hieradata"

Merge "configure horizon with memcached ipv6 when needed"

Merge "nonha: fix memcached servers string in nova.conf for ipv6"

configure horizon with memcached ipv6 when needed

* Add MemcachedIPv6 parameter
* If MemcachedIPv6 is set at True, configure Horizon with Memcached IPv6
  addresses.

This patch is required to make Horizon working when running IPv6
networks.

Change-Id: I752e727bfb9040b29f5d755f565fa6b54b9511c8

Add simple parameter test to yaml-validate.py

Output a warning for parameters which look unused, this should help
developers clean up the template a bit, and eventually could maybe
be developed further into something we can use for gating.

Change-Id: Ide4fbe3c85854cbddee44801d39ae73003d63bb8

Pass iSCSI bind address in brackets to Cinder when IPv6

Configure the Cinder iscsi_ip_address key using brackets when
the IP address is of v6 class.

Closes-Bug: 1560934
Change-Id: I783e939ae304385674909bfd9f1cac95e04cef22

Add systemctl reload haproxy to the pacemaker_resource_restart.sh

As discussed in the related bug below, after upgrading your
environment to latest liberty the haproxy config isn't picked
up. This adds a systemctl reload haproxy in the pacemaker
resource restart we run as part of the post-puppet-pacemaker.

Related-Bug: 1561012
Change-Id: Iae3bad745ecdf952a7a0314fe1375d07eb47c454

nonha: fix memcached servers string in nova.conf for ipv6

Full context is described here:
https://review.openstack.org/#/c/270110/

The patch that was supposed to fix [1] was not fixing non-ha scenario.
[1] https://launchpad.net/bugs/1536103

This patch aims to fix it.

Change-Id: Iaf4608de1894ce03f35925939e83230abb9f5207
Closes-Bug: #1560063

Fix satellite registration for http or https

If the satellite registration url was specified with https, the curl
command to detect the satellite version would not work as expected since
-L was not passed and you get redirected to https when testing the ping
api.

To additionally handle the case where https is specified, also use curl
directly with -k to download the configuration rpm instead of using rpm
with a url.

Fixes another bug with a missing $ in the reference to the
$satellite_version variable.

Change-Id: I984fdfc415eeeed4ef29cc8d0812e1b67545d6b1

Remove the glance/rbd user name from static hieradata

The static setting for the glance/rbd user name was overriding
any customization provided via template param because it was
up in the hierarchy for the controller nodes.

More at: https://bugzilla.redhat.com/show_bug.cgi?id=1308889

Change-Id: I3d112de7eeffd524fb1308d5976a28f04aa5ff23

Merge "Comment out the ManagementPort in external-loadbalancer-vip.yaml"

Merge "Fix redis coordination url"

Fix redis coordination url

The coordination url connection string to redis
is incorrectly formatted with password.

More details: https://bugzilla.redhat.com/show_bug.cgi?id=1320036

Change-Id: I93f5e93dfce4ba2629aa57534e8d33d5d1e6d77b

Merge "Add BondInterfaceOvsOptions parameter to net-config-bond.yaml"

Merge "Remove GlanceRegistry from EndpointMap"

Merge "Remove CephStorageCount"

Merge "Allow option to disable Swift ring management"

Merge "Wire in HAProxy stats user and password"

Allow option to disable Swift ring management

There are quite a few cases where it is useful to disable ring building on the
nodes. For example:

- using different weights, regions, and zones
- replacing a node in an existing Swift cluster
- adding a new node to an existing cluster
- using storage policies and therefore multiple rings
- using different nodes and disks for account, container and object servers

This patch allows it to disable ring building. Rings need to be maintained
manually then, and copied to all storage and proxy nodes within a cluster.

This patch is similar to I01311ec3ca265b151f8740bf7dc57cdf0cf0df6f, except that
it uses the current templates.

Change-Id: I56978b15823dd6eaf4b6fd3440df2f895e89611a

Remove CephStorageCount

This is set by tripleoclient, remove it from here so it doesn't
override the user provided value.

Change-Id: I6110b71e484af749838f91dc5c6c4982b0c83074

Remove unused user resource.

The user is created by installation of of the pacemaker package, so it's
not required to add it to the resource catalog.

This paves the way to merge the refeactoring of the puppet-pacemaker
module[1].  It brings a lot of changes, one of them is an idempotent
handling of the hacluster user's password.  Removing it here prevents
duplicate resource error durring puppet run.

[1] https://review.openstack.org/#/c/294182/

Change-Id: I56849d9fc00bd3ce342d5c440cfe7c5b6d26b5bf

Deploy Aodh services, replacing Ceilometer Alarm

Ceilometer Alarm is deprecated in Liberty by Aodh.

This patch:
* manage Aodh Keystone resources
* deploy Aodh API under WSGI, Notifier, Listener and Evaluator
* manage new parameters to customize Aodh deployment
* uses ceilometer DB for the upgrade path
* pacemaker config
* Add migration logic to remove pcs resources

Depends-On: I5333faa72e52d2aa2a622ac2d4b60825aadc52b5
Depends-On: Ib6c9c4c35da3fb55e0ca8e2d5a58ebaf4204d792

Co-Authored-By: Emilien Macchi <emilien@redhat.com>
Change-Id: Ib47a22884afb032ebc1655e1a4a06bfe70249134

Comment out the ManagementPort in external-loadbalancer-vip.yaml

The Management network is optional and disabled by default.
This change preserves backward compatibility and fixes
https://bugzilla.redhat.com/show_bug.cgi?id=1317594

Change-Id: I73cf51154c9ee7c05938e2cadf0c5ac107840bad

PLUMgrid Neutron integration

Enable PLUMgrid neutron liberty plugin in a TripleO overcloud environment.

Change-Id: I07025f67ec3f3399aac4dcd10cc37e857772548b
Signed-off-by: Qasim Sarfraz <qasims@plumgrid.com>

Remove GlanceRegistry from EndpointMap

We don't need an endpoint for the glance-registry service, that is
used by glance-api when needed and is not meant to be user-facing.

Change-Id: Ia6c9dd6164d3b91adbc937d70fa74d5fbbfb28a3

Merge "Remove default for the RabbitMQ password"

Remove default for the RabbitMQ password

Since the password is now autogenerated from the tripleoclient,
there is no need to keep the default value here.

Change-Id: If41cb56134966456f8590da04f392faffe5c62a1
Closes-Bug: #1557688

Merge "Remove forced rabbitmq::file_limit conversion to string"

Merge "compute: use live_migration_tunnelled"

Merge "Install mongodb client package"

Merge "Fix typos"

Merge "Ensure access to Redis is password protected"

compute: use live_migration_tunnelled

In a previous patch [1], we added support for VIR_MIGRATE_TUNNELLED when
doing VM shared storage.

In Nova Mitaka [2] [3], we have now a parameter called
'live_migration_tunnelled' to whether or not use tunnelled migration.
It replaces 'block_migration_flag' and 'live_migration_flag' that are
both deprecated.

[1] https://review.openstack.org/#/c/286584/
[2] https://review.openstack.org/#/c/263436/
[3] https://review.openstack.org/#/c/263434/

Change-Id: I8b199b6e72c80b2df7b679e0a20e39f8400d0478

Merge "compute: include VIR_MIGRATE_TUNNELLED when doing VM shared storage"

Merge "Keystone domain for Heat"

Merge "Pass public_addr to ceph::profile::params instead of ceph::mon"

Merge "Remove unused Neutron Agents container"

Merge "Parameterize the heat-docker-agents image"

Merge "Allow the containerized compute node to spawn larger VMs"

Merge "Upgrades: quiet yum upgrade on cinder nodes"

compute: include VIR_MIGRATE_TUNNELLED when doing VM shared storage

This patch makes sure:

* When doing shared storage
Nova is configured with block_migration_flag and live_migration_flag = '(...),VIR_MIGRATE_TUNNELLED'
flag for security improvements.

* When not doing shared storage
Nova is not configured with VIR_MIGRATE_TUNNELLED flag because it's not
supported by Qemu yet. We need to make sure the value is unset otherwise
live migration will fail when not running shared storage for VMs.

Note: this patch will be backport to stable branches. In a further
iteration, we'll probably use live_migration_tunnelled new Nova
parameter which is a simplier way to manage this feature.

Co-Authored-By: Kashyap Chamarthy <kchamart@redhat.com>
Change-Id: I557c1624ee944a32b1831d504f7b189308cd1961

Merge "Enable predictable IPs on non-controllers"

Merge "Support the deployment of Ceph over IPv6"

Merge "Fix vncproxy_host for IPv6"

Merge "Allow the vnc server to bind on IPv6 address on computes"

Merge "Surround MongoDB IPs with braces in the connection string if IPv6"

Merge "Upgrades: initialization command/snippet"

Merge "Add a ceph-storage node upgrade script for the upgrade workflow"

Support the deployment of Ceph over IPv6

To deploy Ceph on IPv6, we need to enable ms_bind_ipv6 in addition
to passing the list of MON IPs in brackets.

Change-Id: I3644b8fc06458e68574afa5573f07442f0a09190

Fix vncproxy_host for IPv6

https://review.openstack.org/268356 can cause issues in IPv6
environments. It generates the following Hiera data:

nova::vncproxy::common::vncproxy_host: [2001:db8:fd00:1000::10]

which fails due to the brackets. Making sure there are no brackets
in nova_vncproxy_host makes it work for both the IP case and when
using DNS names.

Change-Id: Iafe18f042725eb9419d97cd674c4b9a1a895b187

Allow the vnc server to bind on IPv6 address on computes

Currently the vnc server on the compute nodes binds on 0.0.0.0.
which only works with IPv4 addresses, it breaks connectivity with
IPv6 addressing.

This fixes https://bugzilla.redhat.com/show_bug.cgi?id=1300678.

Change-Id: Id642d224fb3c62f786453dc684634adca1c2c09d
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>

Surround MongoDB IPs with braces in the connection string if IPv6

Change-Id: I9ed917f32b3de95beb234ade4819a8b96affe3e9

Merge "Upgrades: object storage node upgrade fix"

Upgrades: quiet yum upgrade on cinder nodes

Yum update on cinder nodes should be quiet, as it is on controllers,
because results of these updates are sent to Heat. I mistakenly left
this out in the first patch because i used one of the standalone node
upgrade scripts as a copy/paste base for the cinder node upgrade script.

Change-Id: Id13190dc4d242317829c7994088183f52d21461d

Keystone domain for Heat

This patch adds support for configuring Keystone domain for Heat
via heat-keystone-setup-domain script. It should be reverted
as soon as Keystone v3 is fully functional.

This patch won't be fully functional without either python-keystoneclient
fix [1] or workaround [2].

[1] https://bugs.launchpad.net/python-keystoneclient/+bug/1452298
[2] https://review.openstack.org/180563

Change-Id: Ie9cdd518b299c141f0fdbb3441a7761c27321a88
Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Depends-On: Ic541f11978908f9344e5590f3961f0d31c04bb0c

Merge "Upgrade of Cinder block storage nodes"

Merge "Updated the heat_template_version"

Merge "Fixup systemctl_swift stop/start  during the controller upgrade"

Wire in HAProxy stats user and password

Change-Id: I26b7a1cd1b7b6520db1df49c60a86c2bb5bce1b0
Depends-On: I12e835964a0370de73e45ef0a8603656ecb02d0c
Depends-On: I8a5844e89bd81a99d5101ab6bce7a8d79e069565

Enable predictable IPs on non-controllers

For the external loadbalancer work, we added the ability to specify
fixed ips for controller nodes on all network isolation networks.
In order to allow users full control over the placement and ip
addresses of deployed nodes, we need to be able to do the same thing
for the other node types.

Change-Id: I3ea91768b2ea3a40287f2f3cdb823c23533cf290

Remove unused Neutron Agents container

The Neutron Agents is currently not used. Refactor the heat templates
to accommodate for this change.

Change-Id: Ice3c5ce723fa16cfb66c2b0afbe51d7b282c3210

Allow the containerized compute node to spawn larger VMs

Atomic's root partition & logical volume defaults to 3G.
In order to launch larger VMs, we need to enlarge the root
logical volume and scale down the docker_pool logical volume.
We are allocating 80% of the disk space for vm data and the
remaining 20% for docker images.

Change-Id: If3fff78f476de23c7c51741a49bae227f2cdfe3e
Co-authored-by: Ian Main <imain@redhat.com>
Co-authored-by: Jeff Peeler <jpeeler@redhat.com>

Ensure access to Redis is password protected

Depends-On: I1a8741b9e00775763911222cbe0af677b59e03a1
Change-Id: I373f97ada4e4101700a12b42dfb8ee4b2ff701f2

Remove forced rabbitmq::file_limit conversion to string

Combined with a fix in puppetlabs-rabbitmq, we can lift the forced
conversion of rabbitmq::file_limit into a string in Hiera. See the
referenced puppetlabs-rabbitmq pull request for explanation of the
issue.

Change-Id: I0ec720b5e06763e86ea93f59cfe05842b3d13269
Depends-On: https://github.com/puppetlabs/puppetlabs-rabbitmq/pull/401

Merge "Add Rabbit IPv6 only support"

Upgrades: object storage node upgrade fix

The variables in the heredoc should be escaped because they should
evaluate only when the inner script runs, not when the outer "writer"
script runs.

Python-zaqarclient is installed for os-collect-config to work, as we do
on the other node types.

Swift-proxy is removed from list of services to stop/start, as
swift-proxy isn't supposed to run on the swift storage nodes.

Change-Id: I8426b859d11378ebdc3da94dcc090133dab0c628

Fixup systemctl_swift stop/start  during the controller upgrade

During the controller upgrade in
major_upgrade_controller_pacemaker_1.sh we use systemctl to stop
all swift services and then start them again in _pacemaker_2.sh

In the case of stand-alone swift nodes the deployer may have
used the ControllerEnableSwiftStorage: false so that only the
swift-proxy service is left on controllers (wrt swift). The
systemctl_swift function used during upgrades is changed to factor
this in.

Change-Id: Ib22005123429f250324df389855d0dccd2343feb

Upgrades: initialization command/snippet

This allows to run a command or a script snippet on all overcloud nodes
at the beginning of the upgrade. The intended use is to switch to a new
set of repositories on the overcloud. This is done differently in
different contexts (e.g. upstream vs. downstream), but generally it
should be simple enough to not warrant creation of switchable
"UpgradeInit" resource in the resource registry, and a string
command/snippet parameter should suffice.

Change-Id: I72271170d3f53a5179b3212ec9bae9a6204e29e6

Merge "Add missing createUser line to /etc/snmp/snmpd.conf"

Merge "Change the CinderISCSIHelper to lioadm"

Make External Load Balancer templates work with IPv6

This change modifies the network isolation templates that allow for
fixed IP addresses on the controllers' IPs and VIPs, and makes them
compatible with IPv6 addresses.

The latest version of the patchset creates an from_service_v6.yaml
in order to properly handle service VIPs on IPv6 networks.

Note that since OVS is not currently compatible with IPv6 tunnel
endpoints, this patch does not yet enable IPv6 for the Tenant
network by default.

Change-Id: If881b000c6000ec13b54c0ee39f1c8940f079ae3
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>

Merge "Update enable-tls.yaml with new endpoints"

Add Rabbit IPv6 only support

Adds Rabbit environment variable required for IPv6 only support

Change-Id: Iec209ca83a5b0708ac828c4afaf9d2222e597f24

Merge "Store events in Ceilometer"

Merge "Set host in nova.conf for compute nodes"

Change the CinderISCSIHelper to lioadm

Previously we used to always set CinderISCSIHelper to lioadm from
the client. With [1] we aim at cleaning up the client from any
default so this change move the actual default into the templates.

1. Iabc94ad1cce6f1744429aca9f866a59a698f5680

Change-Id: I662e4b0e3cf909ec2583d087ca1d246715caf0f7
Related-Bug: 1554564

Update enable-tls.yaml with new endpoints

A couple of new endpoints have been added, and if they're not in
the configured value for EndpointMap it will cause problems.

Sahara is not added as ssl-enabled because I don't believe it has
been added to the loadbalancer yet.

Note that there is work underway to CI overcloud SSL, which should
catch problems like this in the future.

Change-Id: Ia8a106fd94da7be8675ea84f5fbb9ac959771d10