Merge "Don't have separate protocols/ports for Keystone v3"

Merge "Change /etc/hosts format and add domain"

Don't have separate protocols/ports for Keystone v3

The change in ab068a824ed51e78bf111387223e58e885ec5c84 is described as
temporary, so it would be better if it did not affect the EndpointMap
parameter (which is effectively a public interface, since it may be
overridden in an environment file). No configuration should end up with
different ports/protocols/hosts for Keystone v2 and v3, and somebody
customising them should not have to account for them separately. Nor
should things break when the need to distinguish between v2 and v3
endpoints goes away.

This change removes the KeystoneV3* keys from the EndpointMap input and
uses the Keystone* keys instead, so that any change to the internal
organisation becomes transparent to the user.

Change-Id: If4cdd9232f4dbc9f2af651bbdfe68f09dc26ed2e

Merge "Replace extraconfig/tasks/noop.yaml w/ Heat::None"

Merge "Add EndpointMap as output"

Merge "ha/glance-fs: avoid a race condition"

Replace extraconfig/tasks/noop.yaml w/ Heat::None

Removes the old noop nested stack template for extraconfig
tasks and instead uses OS::Heat::None. This should avoid a few
extra resource checks on create and update.

Change-Id: I5a42fc78ece2553e86385236e214aa1e3c91cd85

Remove network/noop.yaml, use OS::Heat::None

Removes the old noop nested stack template for networks and
instead uses OS::Heat::None instead. This should avoid a few
extra resource checks on create and update.

Change-Id: Ia3d7f62dbda2705ffc3d9edcddebcd3ece3cc9d2

ha/glance-fs: avoid a race condition

Create the glance-fs Pacemaker resource on one node (pacemaker master)
instead of all nodes, and set verify_on_create to True.

* It will avoid a race condition if Puppet is applied on 2 nodes on the
  same time, so the filesystem is attempted to be created once.
* Verify with psc that the resource has been correctly created.

The full context of the bug is decribed here:
https://bugzilla.redhat.com/show_bug.cgi?id=1319384

Change-Id: I625f0879ae56e814664d1433ae47e27148779f12

Add removal of the /etc/resolv.conf.save file for +bug/1567004

The change at https://review.openstack.org/#/c/302352/ should stop
the if up/down scripts from making changes to resolv.conf as
discussed in that review and the related bug below. However during
upgrades, as we are moving from a version of the ifcfg-vlanXX files
that don't have the PEERDNS=no added by /#/c/302352 the if up
script will restore the /etc/resolv.conf.save to /etc/resolv.conf
and overwrite it. This removes the .save file during the upgrade
init command which gets delivered to all nodes as the first stage
of a major upgrade.

Change-Id: I91dd139f43be4912c20d8661691bee2b662964d4
Related-Bug: 1567004

Revert "Ping retry"

This reverts commit 570c690bfb118e0cf130b7dbed7992676519ed9b.

This patch broke the ping_gateway_function when using IPv6
network isolation.

Change-Id: I57850a527804f2e753270fd9063d119d41a83b17
Closes-bug: #1567011

Increase corosync token timeout

This might prevent dropping members from corosync cluster on high load
environments. Symptoms of this problem happening can sometimes be found
in corosync log:

dub 05 17:23:45 overcloud-controller-0 corosync[14152]: [MAIN ] Corosync
main process was not scheduled for 3691.8391 ms (threshold is 1320.0000
ms). Consider token timeout increase.

The default in the Puppet manifest is 1 second, which matches the
corosync default, and we override it with hiera to 10 seconds.

Change-Id: I5ea850ada657e5eecafa3e8b28613a0ac48e78f3

Merge "Filter for local nodes in check_resource function"

Merge "Ping retry"

Merge "Nova needs the proper volumes to use Cinder"

Merge "Enable galera replication for Mariadb 10.1"

Change /etc/hosts format and add domain

Right now, the service-related IPs assosiated with the machine are
registered in the /etc/hosts with different hostnames. This is fine,
except if you need to register that hostname in a third party service
(such as FreeIPA), since the current configuration is not assigning a
domain to those IP addresses. So the current implementation requires
DNS to be properly working, which is not ideal for testing purposes.

Since the current hostnames are not currently being used; it's still
trivial to change this mapping and the format of them. instead of
having entries such as:

    <INTERNAL IP>  <node>-internalapi
    <STORAGE IP>   <node>-storage
    ...

in /etc/hosts; This changes the format to:

    <INTERNAL IP>  <node>.internalapi.<domain>  <node>.internalapi
    <STORAGE IP>   <node>.storage.<domain>  <node>.storage
    ...

So the network (external, internal, storage, etc...) is now
represented as a subdomain. For simplicity, the format without the
domain is still available through an alias.

Change-Id: I6502959a974546e5de757935acea15df6326acda

Nova needs the proper volumes to use Cinder

Kolla has been using ceph.  For a while, cinder had
iscsi build into it, but it was removed.  In order to
get this to work with containers again, nova-compute and
libvirt containers need /dev and /lib/udev mounted into their
containers.

We also need to copy nova's rootwrap.conf into the nova.
It was missing this config file.

Change-Id: Ie77f56b4576d5393ad3756b0f5ecc3eeff844d1f

Filter for local nodes in check_resource function

While having extra customizations inside a TripleO deployed
Pacemaker environment, say you have instance HA with
pacemaker_remoted or you need to configure an external arbitrator
for something, then the status of the resources for remote nodes
is "Stopped".
This leads to failures while, for example, scaling up.
This fixes the way status is checked, filtering just local nodes.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I8dc25f5d7031c265858afd5a266fda5315ae37a0

Merge "Restart haproxy after configuring SSL certs"

Merge "Configure ControllerServices via resource chains"

Restart haproxy after configuring SSL certs

If a certificate expires, the user will need to update it.  However,
because we only restart services at the end of a stack-update the
new certificate doesn't take effect until after puppet has run.
This is a problem because puppet makes OpenStack calls, which will
fail if the certificate is expired.  In that case we never get to
the service restart so the stack is wedged until the user manually
restart haproxy.

This patch addresses the problem by reloading haproxy before puppet
runs.  This is done in a pre-puppet script for pacemaker after pacemaker
is maintenance mode because we need to make sure it happens after all of
the certs have been installed on the controllers, but before puppet
runs.

For non-pacemaker, haproxy is simply reloaded.

Change-Id: Id5ed05b3a20d06af8ae7a3d6f859b03399b0d77d

Merge "Disable Nova v3 API"

Disable Nova v3 API

Microversions since Nova API v2.1 are aimed to replace the v3 work. The
/v2.1 is backwards compatible with the legacy /v2 endpoint. What we
called in the past /v3 is now something defunct in-tree. The /v2.1 API
is based on the v3 work, but there are many things that differ, in
particular with the backwards-compat thing. We keep the /v2 path in
api-paste.ini for making sure an upgrade doesn't trample operators and
users but if you look in tree, that's redirecting to the v2.1
codepath (just not asking for microversions). In summary, we only need
one endpoint, ie. /v2.1.

Additional information at https://bugzilla.redhat.com/show_bug.cgi?id=1291291

Related-Bug: #1564372
Change-Id: I1654665663bc5a19c201f7d25407910654ac1308
Depends-On: I6d64b8bcd0f79f1f298ddc809e6d92fbc2985c45

Configure ControllerServices via resource chains

This patch wires in a new for Mitaka Heat feature
that allows us to dynamically include a set of nested
stacks representing individual services via a Heat resource chain.
Follow on patches will use this interface to decompose the controller
role into isolated services.

Co-Authored-By: Steve Hardy <shardy@redhat.com>
Depends-On: If510abe260ea7852dfe2d1f7f92b529979483068
Change-Id: I84c97a76159704c2d6c963bc4b26e365764b1366

Add EndpointMap as output

The endpoint map contains, not only the hosts and protocols that
the resulting services will use, but also the ports. This
information is useful, and the aim of this patch is to make it
available for the tripleoclient to use it.

Change-Id: I4cc5bbf2e7200f78cd90b93659c326a9200278d7

Remove hack the pulls latest docker

Atomic is set to Docker 1.8.2. We no longer need to pull the
latest Docker to make our template work.

Change-Id: I8ab4e135ed4891763f8ced596116b14101466160
Co-Authored-By: Ian Main <imain@redhat.com>

Centos gives /dev/pts/ptmx the wrong perms

In order to use cinder, we need to be able to use
/dev/pts/ptmx.  Centos sets this to 000 when on Fedora
it's 666.

Change-Id: I76dc5adc64d2da0d27204ea31175244bc1b94428

Enable galera replication for Mariadb 10.1

The generated galera config has to include additional settings for
galera to be active on MariaDB 10.1.

wsrep_on must be explicitely set to ON. On MariaDB 5.5, this was
implicitely set as soon as wsrep_provider was specified.

a valid wsrep_cluster_address must be configured in addition to
wsrep_on, otherwise recovery command mysqld_safe --wsrep-recover
cannot retrieve replication state, and cluster cannot be bootstrapped.

These explicit settings are backward compatible with MariaDB 5.5 since
the two variables exist in both versions of MariaDB.

Change-Id: I4ab4f4eeb8679899f194399ba8695155e9a2f4a5
Closes-Bug: 1563751

Merge "compute: restart OVS agent on neutron.conf changes"

Merge "change the default satellite tools rpm repo."

Ping retry

The single ping method in the validation script is causing for
deployments to fail. When reviewing the network connectivity, we are
finding we actually do have connectivity
( https://gist.github.com/jtaleric/0276a117625e44993be0 ). This patch is
to change the ping count from 1 to 10, to ensure the network is up.

Closes-Bug: 1563521
Change-Id: I9772407554dffa91978a49a16490ef9ed448a054

compute: restart OVS agent on neutron.conf changes

Some options in neutron.conf are used bu OVS agent, like logging &
messaging.
During the upgrade process, you need to restart the agent if these
options change.

We could patch puppet-neutron to add a notify, but the community won't
like it because Neutron OVS agent is not able to restart gracefully
until [1] got merged. Until that, we can fix it in TripleO, where we
suppose Puppet runs happenning during bootstraps and upgrades.

Later, we'll drop this code from here and move it in puppet-neutron.

[1] https://review.openstack.org/#/c/297211

Change-Id: I02b17b66e93331ddfb1a7abd8adff672bc7a32d6
Closes-Bug: #1563437

Merge "PLUMgrid Neutron integration"

change the default satellite tools rpm repo.

Change-Id: I60ab36b04b8932e4dbee58e21998dc984178b41c
Bugzilla:  https://bugzilla.redhat.com/1275281

Merge "Increment step count to include ringbuilder"

Merge "Don't restart Pacemaker-managed services from Puppet"

Merge "Add quotes around the cinder_iscsi_ip_address value"

Don't restart Pacemaker-managed services from Puppet

We need to reload/restart services on updates/upgrades to apply any
config changes, but restarting services managed from Pacemaker from
Puppet causes problems.

For now we no-op the restart and rely on the catch-all restart after
Puppet phase.

In the future we should have a service provider for pacemaker resources
that will be using pcs. We still might have to restart services outside
Puppet due to cluster-wide orchestration issues, but we might be able to
do the restarts selectively rather than restart everything.

We also no-op the start/stop commands to be safe, as it also doesn't
make sense for Puppet to try start and stop those services when it
doesn't have knowledge about Pacemaker.

Change-Id: I95e21e10471cd7575f28c095c48150325f1414b3
Closes-Bug: #1562922

Merge "Set UpdateIdentifier for upgrade converge, to prevent services down"

Merge "Remove password default for AodhPassword"

Increment step count to include ringbuilder

This patch wires in ringbuilder.pp so that it is always
asserted like the other manifests and it fixes the misaligned
step sequencing in calling our overcloud controller manifests.

Previously it was called as a separate software deployment outside of
the hiera step sequence. This made things confusing in
controller-post.yaml since the deployment names didn't align
with the step hiera variables after step 3. Now that we call it
just like the other modules it should make gradually moving this
code to puppet-tripleo more straightforward as well.

Change-Id: Ibd4f51f65da475bb20a6b08d7bda673f330a5464

Set UpdateIdentifier for upgrade converge, to prevent services down

We'd like to let the post puppet pacemaker controller services
restart to happen for the convergence step so set the
UpdateIdentifier. However also set the PackageUpdate to noop so the
yum_update.sh doesn't happen.

Since a full haproxy restart is expected, we no longer need the
systemctl reload added at Iae3bad745ecdf952a7a0314fe1375d07eb47c454
so remove that too.

Some more context at
https://bugzilla.redhat.com/show_bug.cgi?id=1321036

Co-Authored-By: marios <marios@redhat.com>
Change-Id: I31c2d97d68c97b435f63863fae2c89f18f99681d

Remove password default for AodhPassword

Change-Id: Ibf37bfd6150d212fadcc4d2e2e2d0a89cdd76c91

Merge "Fix satellite registration for http or https"

Merge "Add systemctl reload haproxy to the pacemaker_resource_restart.sh"

Merge "Deploy Aodh services, replacing Ceilometer Alarm"

Add quotes around the cinder_iscsi_ip_address value

In I783e939ae304385674909bfd9f1cac95e04cef22 we add brackets around
the cinder_iscsi_ip_address if IPv6 but that causes hiera to try
mapping the value into an array, while it isn't. This change adds
quotes around the brackets.

Change-Id: Id9bb4b12542f1943e9df702486d68424539c7a59
Closes-Bug: 1560934

Merge "Remove unused user resource."

Wire redis_password to the tripleo module

Without this the HAProxy monitoring for Redis would fail to poll
the backends.

Change-Id: Id0826c6b04e471844c7bef69480af263cf2b3bd4

Merge "Pass iSCSI bind address in brackets to Cinder when IPv6"

Merge "Remove the glance/rbd user name from static hieradata"

Merge "configure horizon with memcached ipv6 when needed"

Merge "nonha: fix memcached servers string in nova.conf for ipv6"

configure horizon with memcached ipv6 when needed

* Add MemcachedIPv6 parameter
* If MemcachedIPv6 is set at True, configure Horizon with Memcached IPv6
  addresses.

This patch is required to make Horizon working when running IPv6
networks.

Change-Id: I752e727bfb9040b29f5d755f565fa6b54b9511c8

Add simple parameter test to yaml-validate.py

Output a warning for parameters which look unused, this should help
developers clean up the template a bit, and eventually could maybe
be developed further into something we can use for gating.

Change-Id: Ide4fbe3c85854cbddee44801d39ae73003d63bb8

Pass iSCSI bind address in brackets to Cinder when IPv6

Configure the Cinder iscsi_ip_address key using brackets when
the IP address is of v6 class.

Closes-Bug: 1560934
Change-Id: I783e939ae304385674909bfd9f1cac95e04cef22

Add systemctl reload haproxy to the pacemaker_resource_restart.sh

As discussed in the related bug below, after upgrading your
environment to latest liberty the haproxy config isn't picked
up. This adds a systemctl reload haproxy in the pacemaker
resource restart we run as part of the post-puppet-pacemaker.

Related-Bug: 1561012
Change-Id: Iae3bad745ecdf952a7a0314fe1375d07eb47c454

nonha: fix memcached servers string in nova.conf for ipv6

Full context is described here:
https://review.openstack.org/#/c/270110/

The patch that was supposed to fix [1] was not fixing non-ha scenario.
[1] https://launchpad.net/bugs/1536103

This patch aims to fix it.

Change-Id: Iaf4608de1894ce03f35925939e83230abb9f5207
Closes-Bug: #1560063

Fix satellite registration for http or https

If the satellite registration url was specified with https, the curl
command to detect the satellite version would not work as expected since
-L was not passed and you get redirected to https when testing the ping
api.

To additionally handle the case where https is specified, also use curl
directly with -k to download the configuration rpm instead of using rpm
with a url.

Fixes another bug with a missing $ in the reference to the
$satellite_version variable.

Change-Id: I984fdfc415eeeed4ef29cc8d0812e1b67545d6b1

Remove the glance/rbd user name from static hieradata

The static setting for the glance/rbd user name was overriding
any customization provided via template param because it was
up in the hierarchy for the controller nodes.

More at: https://bugzilla.redhat.com/show_bug.cgi?id=1308889

Change-Id: I3d112de7eeffd524fb1308d5976a28f04aa5ff23

Merge "Comment out the ManagementPort in external-loadbalancer-vip.yaml"

Merge "Fix redis coordination url"

Fix redis coordination url

The coordination url connection string to redis
is incorrectly formatted with password.

More details: https://bugzilla.redhat.com/show_bug.cgi?id=1320036

Change-Id: I93f5e93dfce4ba2629aa57534e8d33d5d1e6d77b

Merge "Add BondInterfaceOvsOptions parameter to net-config-bond.yaml"

Merge "Remove GlanceRegistry from EndpointMap"

Merge "Remove CephStorageCount"

Merge "Allow option to disable Swift ring management"

Merge "Wire in HAProxy stats user and password"

Allow option to disable Swift ring management

There are quite a few cases where it is useful to disable ring building on the
nodes. For example:

- using different weights, regions, and zones
- replacing a node in an existing Swift cluster
- adding a new node to an existing cluster
- using storage policies and therefore multiple rings
- using different nodes and disks for account, container and object servers

This patch allows it to disable ring building. Rings need to be maintained
manually then, and copied to all storage and proxy nodes within a cluster.

This patch is similar to I01311ec3ca265b151f8740bf7dc57cdf0cf0df6f, except that
it uses the current templates.

Change-Id: I56978b15823dd6eaf4b6fd3440df2f895e89611a

Remove CephStorageCount

This is set by tripleoclient, remove it from here so it doesn't
override the user provided value.

Change-Id: I6110b71e484af749838f91dc5c6c4982b0c83074

Remove unused user resource.

The user is created by installation of of the pacemaker package, so it's
not required to add it to the resource catalog.

This paves the way to merge the refeactoring of the puppet-pacemaker
module[1].  It brings a lot of changes, one of them is an idempotent
handling of the hacluster user's password.  Removing it here prevents
duplicate resource error durring puppet run.

[1] https://review.openstack.org/#/c/294182/

Change-Id: I56849d9fc00bd3ce342d5c440cfe7c5b6d26b5bf

Deploy Aodh services, replacing Ceilometer Alarm

Ceilometer Alarm is deprecated in Liberty by Aodh.

This patch:
* manage Aodh Keystone resources
* deploy Aodh API under WSGI, Notifier, Listener and Evaluator
* manage new parameters to customize Aodh deployment
* uses ceilometer DB for the upgrade path
* pacemaker config
* Add migration logic to remove pcs resources

Depends-On: I5333faa72e52d2aa2a622ac2d4b60825aadc52b5
Depends-On: Ib6c9c4c35da3fb55e0ca8e2d5a58ebaf4204d792

Co-Authored-By: Emilien Macchi <emilien@redhat.com>
Change-Id: Ib47a22884afb032ebc1655e1a4a06bfe70249134

Comment out the ManagementPort in external-loadbalancer-vip.yaml

The Management network is optional and disabled by default.
This change preserves backward compatibility and fixes
https://bugzilla.redhat.com/show_bug.cgi?id=1317594

Change-Id: I73cf51154c9ee7c05938e2cadf0c5ac107840bad

PLUMgrid Neutron integration

Enable PLUMgrid neutron liberty plugin in a TripleO overcloud environment.

Change-Id: I07025f67ec3f3399aac4dcd10cc37e857772548b
Signed-off-by: Qasim Sarfraz <qasims@plumgrid.com>

Remove GlanceRegistry from EndpointMap

We don't need an endpoint for the glance-registry service, that is
used by glance-api when needed and is not meant to be user-facing.

Change-Id: Ia6c9dd6164d3b91adbc937d70fa74d5fbbfb28a3

Merge "Remove default for the RabbitMQ password"

Remove default for the RabbitMQ password

Since the password is now autogenerated from the tripleoclient,
there is no need to keep the default value here.

Change-Id: If41cb56134966456f8590da04f392faffe5c62a1
Closes-Bug: #1557688

Merge "Remove forced rabbitmq::file_limit conversion to string"

Merge "compute: use live_migration_tunnelled"

Merge "Install mongodb client package"

Merge "Fix typos"

Merge "Ensure access to Redis is password protected"

compute: use live_migration_tunnelled

In a previous patch [1], we added support for VIR_MIGRATE_TUNNELLED when
doing VM shared storage.

In Nova Mitaka [2] [3], we have now a parameter called
'live_migration_tunnelled' to whether or not use tunnelled migration.
It replaces 'block_migration_flag' and 'live_migration_flag' that are
both deprecated.

[1] https://review.openstack.org/#/c/286584/
[2] https://review.openstack.org/#/c/263436/
[3] https://review.openstack.org/#/c/263434/

Change-Id: I8b199b6e72c80b2df7b679e0a20e39f8400d0478

Merge "compute: include VIR_MIGRATE_TUNNELLED when doing VM shared storage"

Merge "Keystone domain for Heat"

Merge "Pass public_addr to ceph::profile::params instead of ceph::mon"

Merge "Remove unused Neutron Agents container"

Merge "Parameterize the heat-docker-agents image"

Merge "Allow the containerized compute node to spawn larger VMs"

Merge "Upgrades: quiet yum upgrade on cinder nodes"

compute: include VIR_MIGRATE_TUNNELLED when doing VM shared storage

This patch makes sure:

* When doing shared storage
Nova is configured with block_migration_flag and live_migration_flag = '(...),VIR_MIGRATE_TUNNELLED'
flag for security improvements.

* When not doing shared storage
Nova is not configured with VIR_MIGRATE_TUNNELLED flag because it's not
supported by Qemu yet. We need to make sure the value is unset otherwise
live migration will fail when not running shared storage for VMs.

Note: this patch will be backport to stable branches. In a further
iteration, we'll probably use live_migration_tunnelled new Nova
parameter which is a simplier way to manage this feature.

Co-Authored-By: Kashyap Chamarthy <kchamart@redhat.com>
Change-Id: I557c1624ee944a32b1831d504f7b189308cd1961

Merge "Enable predictable IPs on non-controllers"

Merge "Support the deployment of Ceph over IPv6"

Merge "Fix vncproxy_host for IPv6"

Merge "Allow the vnc server to bind on IPv6 address on computes"

Merge "Surround MongoDB IPs with braces in the connection string if IPv6"

Merge "Upgrades: initialization command/snippet"

Merge "Add a ceph-storage node upgrade script for the upgrade workflow"

Support the deployment of Ceph over IPv6

To deploy Ceph on IPv6, we need to enable ms_bind_ipv6 in addition
to passing the list of MON IPs in brackets.

Change-Id: I3644b8fc06458e68574afa5573f07442f0a09190