Merge "Enable IronicPxe in the undercloud"

Merge "Removes opencontrail reference"

Merge "Make UpdateDeployment depend on NetworkDeployment"

Enable IronicPxe in the undercloud

This enables the IronicPxe services which are split out
into separate templates for the containerized undercloud.

Change-Id: I0ec3cefec9b47ef3c59de6972541ef9b560aacb7

Merge "Add plan-environment.yaml"

Removes opencontrail reference

The opencontrail environment file was removed in commit da91bb6
so this is no longer required

Change-Id: I835dc665ede7fdb50d5be2c3251b8acf20c3ce37

Merge "Add upgrade task for panko api"

Merge "Upgrades: fix up the rabbitmq HA mode like in new ocata deployments"

Add upgrade task for panko api

Change-Id: Icc5fbf99301ae47344e1582767e1e7a4687f491b

Merge "Add mistral service support for composable upgrades"

Merge "upgrades/validation: only run validation when services exist"

Upgrades: fix up the rabbitmq HA mode like in new ocata deployments

In ocata we changed the rabbitmq ha policy to "ha-exactly" via the
following changes:
- tht: Iace6daf27a76cb8ef1050ada0de7ff1f530916c6
- puppet-tripleo: Ib62001c03e1e08f58cf0c6e0ba07a8879a584084

We took care of the upgrade path via I3a97505d2ae1ae27f3080ffe74c33fdabffd2420

With the move to the ansible-based composable upgrades we left this change out.
And now an upgraded environment has the following policy:
- Upgraded environment
Attributes: set_policy="ha-all ^(?!amq\.).* {"ha-mode":"all"}"

- New environment
Attributes: set_policy="ha-all ^(?!amq\.).* {"ha-mode":"exactly","ha-params":2}"

We need to add this pcs resource change to the our upgrade scripts.

Change-Id: I3c4113c207e9d0c45be43df7c2379ac26cb60692
Closes-Bug: #1668600

Merge "Containerize neutron-l3 agent"

Merge "Associate unmapped hosts with cell mappings"

Add mistral service support for composable upgrades

Change-Id: I189edaf69c0e97a3399e6af939595f98322d7c03
Partially-Implements: blueprint overcloud-upgrades-per-service

upgrades/validation: only run validation when services exist

During upgrades, validation test if a service is running before the
upgrade process starts.
In some cases, servies doesn't exist yet so we don't want to run the
validation.

This patch makes sure we check if the service is actually present on the
system before validating it's running correctly.

Also it makes sure that services are enabled before trying to stop them.
It allows use-cases where we want to add new services during an upgrade.
Also install new packages of services added in Ocata, so we can validate
upgrades on scenarios jobs.

Change-Id: Ib48fb6b1557be43956557cbde4cbe26b53a50bd8

Containerize neutron-l3 agent

This allows to run a containerized neutron on the overcloud.

Co-Authored-By: Martin André <m.andre@redhat.com>
Depends-On: Iaf6536b1c4d0b2b118af92295136378cdfeee9d1
Change-Id: I86a12248d4f28f4dbe7708be928bcd8a45968d01

Associate unmapped hosts with cell mappings

Otherwise the containerized nova running in the overcloud fails with
"Host 'overcloud-novacompute-0' is not mapped to any cell, Code: 400".

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I9ff77f25bfd1f37167b0638a32fe5049951bc5b4

Merge "Disable exit on error for pacemaker commands for update flow"

Merge "Switch to dict format for docker_puppet_tasks"

Add plan-environment.yaml

This file is needed for plan import and export features. We want to enable the
user to store the selection of environment options, so that it can be
re-imported, and it does not have to be perfmed manually multiple times.

The plan create workflow will look into the Swift
container for this file, and import its contents into the Mistral
environment. Conversely, plan export will create this file from the Mistral
environment contents, so that it can later be re-imported.

For more information, see the related blueprint, and the spec at
https://specs.openstack.org/openstack/tripleo-specs/specs/ocata/gui-plan-import-export.html

Partially implements: blueprint enhance-plan-creation-with-plan-environment

Change-Id: I95e3e3a25104623d6fcf38e99403cebbd591b92d

Merge "Adding keystone parameters for Tacker"

Merge "Add etcd composable upgrade steps"

Merge "Align hyperconverged-ceph.yaml environment and adds some validation"

Merge "Put service stop at step1 and quiesce at step2."

Make UpdateDeployment depend on NetworkDeployment

Prior to https://review.openstack.org/#/c/271450/ os-net-config was
applied via os-refresh-config directly, which meant that even though
UpdateDeployment and NetworkDeployment can be created concurrently,
we'd always do the os-net-config step first.

However now that we apply both steps via scripts (which are both handled
via the same heat-config hook) we should add an explicit dependency to
ensure the network is always fully configured before attempting to run
any update.  This should avoid the risk of e.g running an update on
initial deployment before the network connectivity to access yum repos
is in place.

Change-Id: Idff7a95afe7b49b6384b1d0c78e76522fb1f8eb7
Related-Bug: #1666227

Merge "Use --disable= in subscription-manager to avoid shell expansion."

Merge "upgrades: fix ec2api conditional"

Switch to dict format for docker_puppet_tasks

This change gives the option of docker-puppet.py data to be in a dict
as well as a list. This allows docker_puppet_tasks data to use the
same keys as the top level puppet config data.

If the yaql fu can be worked out to build the top level data,
docker-puppet.py can later drop the list format entirely.

Change-Id: I7e2294c6c898d2340421c93516296ccf120aa6d2

Merge "mysqlclient: Use actual parameter in puppet to set bind-address"

Merge "Adding keystone parameters for Congress"

Use --disable= in subscription-manager to avoid shell expansion.

In extraconfig/pre_deploy/rhel-registration/scripts/rhel-registration,
there's a line that says:

   retry subscription-manager repos --disable '*'

I believe this is broken and will result in shell expansion being made.
The proper line should be:

   retry subscription-manager repos --disable='*'

This regression came from commit 2b06ed8adce2bcc18480b71c0f20a0ec2d21de19.
(Also see https://review.openstack.org/#/c/381233 )

This patch fixes the regression while preserving functionality
of the above change.

Closes-Bug: 1667316

Change-Id: I54f0db3f1f596f6356f7445cdc61737f20f14318
Signed-off-by: Vincent S. Cojot <vincent@cojot.name>

Disable exit on error for pacemaker commands for update flow

Package update fails on compute node, when yum_update checks for
pacemaker status via systemctl command. Because exit on error (-e)
option has been enabled recently, this issue is happening. Fixing
by, executing the command only on nodes where pacemaker is enabled.
Closes-Bug: #1668266

Change-Id: I2aae4e2fdfec526c835f8967b54e1db3757bca17

Put service stop at step1 and quiesce at step2.

In the previous release[1], the services were stopped before the
pacemaker services, so that they get a chance to send last message to
the database/rabbitmq queue:

Let's do the upgrade in the same order.

[1] https://github.com/openstack/tripleo-heat-templates/blob/stable/newton/extraconfig/tasks/major_upgrade_controller_pacemaker_2.sh#L13-L71

Change-Id: I1c4045e8b9167396c9dfa4da99973102f1af1218

upgrades: fix ec2api conditional

Rename ec2-api_enabled to ec2_api_enabled so we avoid this error:
The conditional check 'ec2-api_enabled.rc == 0' failed.
The error was: error while evaluating conditional
(ec2-api_enabled.rc == 0): 'api_enabled' is undefined"}

Change-Id: Id325fd7eba397155eac7fb6c7410f88486173ba1

Align hyperconverged-ceph.yaml environment and adds some validation

Until bug #1635409 is fixed we'll have to keep the default list
of services deployed by hyperconverged-ceph.yaml in sync with the
ServicesDefault list provided in roles_data.yaml

This change adds some logic in the templates validation script to
ensure that is preserved with future updates.

Change-Id: Ib767f9a24c3541b16f96bd6b6455cf797113fbd8

Merge "Switch central and compute templates to use polling agent"

Adding keystone parameters for Tacker

Change-Id: I256d2fcb6353d029750113c1fec59a89c82583ca

Merge "Add auditd upgrate steps"

Merge "Add zaqar service for composable upgrade"

Merge "Add upgrade support for Horizon"

Merge "Add support for upgrading ec2-api"

Adding keystone parameters for Congress

Change-Id: Ic50aee9e635f62f06fa757fa3d88d9d8c5b28fcb

Merge "Configure SSL connection for MySQL client via client config file"

mysqlclient: Use actual parameter in puppet to set bind-address

It was using a hiera key, and fetching that from a hiera call in the
puppet manfiest. But we can remove that if we set it via hiera from
t-h-t.

Change-Id: I5af5ccb88e644f4dd25503d8e7a93796695d3039

Merge "Write out a json file containing container startup info and create tool to use it."

Merge "Deploy versionless keystone endpoints (for keystone only)"

Add zaqar service for composable upgrade

Change-Id: I316e14317e0586e895dcb4e084aa54e7665f6a20

Add support for upgrading ec2-api

Change-Id: I2703dd1a7e3eefa0ad6f7b74183101de6c1ad915

Add etcd composable upgrade steps

Adding etcd upgrade tasks

Change-Id: Ie891a1a03585b3aec1ed30c176b5fb6b67d7e4b7

Add auditd upgrate steps

Add base upgrade steps for auditd

Change-Id: Iaa56eb40ed80d20744cf8bab18504d700466d26e

Add upgrade support for Horizon

Change-Id: I91c3c93c1571288daa78b6d24b0aa9824a2bb5c4

Merge "Adds http proxy support for registering RHEL overcloud nodes"

Configure SSL connection for MySQL client via client config file

This uses the mysql client configuration file to configure if SSL should
be used for the connection if SSL in the internal network is enabled.

Change-Id: Ifd1a06e0749a05a65f6314255843f572d2209067

Merge "Deploy CI scenarios with Pacemaker"

Deploy CI scenarios with Pacemaker

Pacemaker is now deployed by default and it would be great to have it
tested for all scenarios to deploy real environments used in production.

Change-Id: Iff879cd641f6207644b1b6309a6ec4129f1a255a

Merge "Add VPP composable service"

Merge "Make heat max_json_body_size configurable"

Deploy versionless keystone endpoints (for keystone only)

The default is to deploy v2.0 endpoints, but this is not the recommended
approach. we should instead be using versionless endpoints

Change-Id: Icbfae1c2ff2b7312646fd8e817dd8209220a0d96
Related-Bug: #1667679

Merge "Add OpenDaylightConnectionProtocol parameter to opendaylight-api service"

Merge "Enable docker for all roles"

Merge "Update the Nova Endpoint information for Cinder"

Merge "Install openstack-panko-api on upgrade"

Merge "Install openstack-heat-agents on upgrade"

Merge "Don't recalculate EndpointMap to get outputs"

Add VPP composable service

Vector Packet Processing (VPP) is a high performance packet processing
stack that runs in user space in Linux. VPP is used as an alternative to
kernel networking stack for accelerated network data path. This patch
adds VPP as a composable service. Note that NIC binding related configs
for VPP are handled in os-net-config.

Depends-on: I70a68a204a8b9d533fc2fa4fc33c39c3b1c366bf

Change-Id: I5e4b1903dc87cb16259eeb05db585678acadbc6b
Implements: blueprint fdio-integration-tripleo

Merge "multinode_major_upgrade: enable Pacemaker"

Install openstack-heat-agents on upgrade

This package wasn't installed in the Newton image and we need to
install it during upgrade to be able to skip preupgrade validations.

Change-Id: If6ee7a3801756ac445ae35534803eab175ad8e40
Closes-Bug: 1667967

Install openstack-panko-api on upgrade

This doesn't exist in newton images, so install it via the
ansible tasks during step3 (when all other packages are updated).

Change-Id: I700a711473d10a50fad6b1797453a74c0cdff54b
Closes-Bug: 1667965

Switch central and compute templates to use polling agent

Ceilometer central and compute agent classes are deprecated. Instead
polling agent should be used with relevant namespaces.

Change-Id: Ida247fe29500ff02b76602c785a3f42fa4291227
Depends-On: I1ee50124bf8936e12414f984e1bcd4545d92e953

Merge "Don't assume default network names in net_ip*map"

multinode_major_upgrade: enable Pacemaker

To improve testing coverage in upgrade CI job, add Pacemaker.

Change-Id: I855ed15642e28cdfda5a7cbd6ff6d01b591dff7e

Merge "Add option to diff containers after config stage."

Merge "Upgrade nova-api/scheduler/conductor packages at step3 not step2."

Merge "Adding definition of backup_flags"

Enable docker for all roles

A recent patch enabled a few containerized services on the Controller
node. We need to enable docker for all the roles.

Change-Id: I99fc0c2d29db3514a439b717d14367ad2252e450

Merge "Add checks in ansible upgrade tasks for CephMon and CephOSD"

Merge "Align HCI environment file with list of services from roles_data"

Add option to diff containers after config stage.

This allows you to show the changes made to a container during
configuration stage for fast development.

Change-Id: Id9c72cf2b07486f0a80bf3572a7ba349888d877f

Upgrade nova-api/scheduler/conductor packages at step3 not step2.

The nova-api, nova-scheduler nova-conductor packages are updated during
step2.  The package upgrade trigger a restart of the service which fails
and is constantly retried by systemd:

    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: Failed to start OpenStack Nova Scheduler Server.
    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: Unit openstack-nova-scheduler.service entered failed state.
    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: openstack-nova-scheduler.service failed.
    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: openstack-nova-scheduler.service holdoff time over, scheduling restart.

We eventually reach timeout.  We use
https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/services/tripleo-packages.yaml#L44-L46
to upgrade existing packages.

Add a note to the README.rst to make people aware of the general upgrade
done at step3 and limit its usage to new package for individual service.

Change-Id: I13b51bcfe0c98034944613f7e1c3f0168cd4de76
Closes-Bug: #1667728

Merge "Containers: workaround for neutron DB sync"

Adding definition of backup_flags

During the upgrade from M to N i encountered an error in a step
requiring the upgrade of mysql version. The variable backup_flags
is undefined at that point.

Change-Id: Ic6681c40934b27a03d00a75007d7f12d6d540de3
Closes-Bug: #1667731

Make heat max_json_body_size configurable

We need to bump this a bit for the overcloud containers
jobs. This patch makes it configurable and increases the
size for the undercloud.

Related-bug: #1667697

Change-Id: I79319f051747b381f5fa36f8a7fc7f31020bc245

Merge "Enable TLS for swift-proxy's ceilometer notifications"

Containers: workaround for neutron DB sync

Neutron DB sync didn't have permission to read the config files, we now
run neutron-db-manage as root until we can find a more permanent
solution.

Change-Id: I502a8514adc523c7cac1da059be10480eef71cb9
Closes-Bug: #1667300

Add step to docker_puppet_tasks

This patch sets the step correctly for docker_puppet_tasks.
This is now required in order to match the 'step' in some
puppet manifests explicitly so that things like keystone
initialization run correctly.

Closes-bug: #1667454

Change-Id: If2bdd0b1051125674f116f895832b48723d82b3a

Merge "Remove forgotten sahara dbsync from step5 upgrades tasks"

Merge "Adding the ip_conntrack_proto_sctp kernel module"

Merge "Add release notes for Manila/CephFS with managed Ceph"

Merge "multinode/upgrade: add nova services to environment"

Merge "Increase ansible-pacemaker default service start timeout"

Merge "Add missing releasenotes for Swift ring management"

Merge "Parallelize docker-puppet.py"

Enable TLS for swift-proxy's ceilometer notifications

If the message broker is using TLS, we enable it for these
notifications.

Change-Id: I4f37e77ae12e9582fab7d326ebd4c70127c5445f
Depends-On: If23d1f0d20264faaddc2e5ad54863483fa43ed41

Increase ansible-pacemaker default service start timeout

We are passing 200 but in some environments this has been seen to
expire by a few seconds.

Change-Id: I5c2270559339ea9ee0043b7a2e519e26d4d9d78a
Closes-Bug: 1666604

Remove forgotten sahara dbsync from step5 upgrades tasks

I suspect this was forgotten from the initial commits where
we were doing the dbsync in ansible

Change-Id: Ie337bfba4e61cf3d546d0b79b611b84211ac9d9d

Merge "Add docker mysql service"

Adds http proxy support for registering RHEL overcloud nodes

It is quite common in large entreprises that direct HTTP/HTTPS to the outside
world is denied from nodes/systems but reaching out through a proxy is allowed.

This change adds support for an HTTP proxy when RHEL overcloud nodes reach
out to either the RHSM portal or to a satellite server. This allows the
overcloud nodes to download updates even in locked-down environments.

The following variables are settable through templates:
  rhel_reg_http_proxy_host:
  rhel_reg_http_proxy_port:
  rhel_reg_http_proxy_username:
  rhel_reg_http_proxy_password:

Note the following restrictions:
  - If setting rhel_reg_http_proxy_host,
    then rhel_reg_http_proxy_port cannot be empty.
  - If setting rhel_reg_http_proxy_port,
    then rhel_reg_http_proxy_host cannot be empty.
  - If setting rhel_reg_http_proxy_username,
    then rhel_reg_http_proxy_password cannot be empty.
  - If setting rhel_reg_http_proxy_password,
    then rhel_reg_http_proxy_username cannot be empty.
  - If setting either rhel_reg_http_proxy_username or
    rhel_reg_http_proxy_password, then rhel_reg_http_proxy_host
    AND rhel_reg_http_proxy_port cannot be empty

Change-Id: I003ad5449bd99c01376781ec0ce9074eca3e2704

Merge "Add support for node groups in NetConfigDataLookup"

Add docker mysql service

Co-Authored-By: Dan Prince <dprince@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: If0ee671acbf6a9931622003a859089d61e2050b3