Add initial support for NSX plugin

Add the support for the VMware NSX plugin

Co-Authored-By: Tong Liu <tongl@vmware.com>
Change-Id: I3567cbb4ed8d6e5b2a3ea6b8cff6c7b8ed13b692

Merge "Add logging agents deployment to CI"

Merge "Add parameters for internal TLS for swift proxy"

Merge "Ironic containers: chown /var/lib/ironic correctly"

Ironic containers: chown /var/lib/ironic correctly

This updates the docker version of ironic-conductor.yaml so
that it sets permissions on the entire /var/lib/ironic
tree correctly. Since 1a4ece16cea40075fe7332ed048b9c289b3ff424
we bind mount in /var/lib/ironic from the host (created via
Ansible if it didn't already exist). This caused a subtle
permissions issue in that the Ironic conductor service
can no longer create sub-directories it needs to operate.

Change-Id: I1eb6b5ddad7cd89ee887e2e429ebe245aa7b80dc
Closes-bug: 1677086

Merge "Add l2gw neutron service plugin support"

Merge "Addition of firewall rules for Nuage"

Merge "Disable core dump for setuid programs"

Add parameters for internal TLS for swift proxy

This adds the necessary parameter for swift proxy to be terminiated
internally by a TLS proxy.

bp tls-via-certmonger

Change-Id: I3cb9d53d75f982068f1025729c1793efaee87380
Depends-On: I6e7193cc5b4bb7e56cc89e0a293c91b0d391c68e

Merge "Add params to tweak memory limit on mongodb"

Merge "Remove kolla_config copy from services"

Merge "Remove not-working all-in-one upgrade environment"

Merge "Purge initial firewall for deployed-server's"

Merge "Add ceilometer ipmi agent"

Add params to tweak memory limit on mongodb

The puppet-tripleo change was added in
Ie9391aa39532507c5de8dd668a70d5b66e17c891.

Closes-bug: #1656558

Change-Id: Ibe2e4be5b5dc953d8d4b14f680a460409db95585

Addition of firewall rules for Nuage

Added VxLAN and metadata agent firewall rules to neutron-compute-plugin
for Nuage. Removed a deprecated parameter 'OSControllerIp' as well.

Change-Id: If10c300db48c66b9ebeaf74b5f5fee9132e75366

Purge initial firewall for deployed-server's

We need to purge the initial firewall for deployed-server's, otherwise
if you have a default REJECT rule, the pacemaker cluster will fail to
initialize. This matches the behavior done when using images, see:
Iddc21316a1a3d42a1a43cbb4b9c178adba8f8db3
I0dee5ff045fbfe7b55d078583e16b107eec534aa

Change-Id: Ia83d17b609e4f737074482a980689cc57c3ad911
Closes-Bug: #1679234

Remove kolla_config copy from services

Simplify the config of the containerized services by bind mounting in
the configurations instead of specifying them all in kolla config.

This is change is useful to limit the side effects of generating the
config files and running the container is two separate steps as config
directories are now bind-mounted inside the container instead of having
files being copied to the container. We've seen examples of Apache's
mod_ssl configuration file present on the container preventing it to
start when puppet configured apache not to load the ssl module (in case
TLS is disabled).

Co-Authored-By: Ian Main <imain@redhat.com>
Change-Id: I4ec5dd8b360faea71a044894a61790997f54d48a

Remove not-working all-in-one upgrade environment

This won't work because we need to change the state of UpgradeLevelNovaCompute
and EnableConfigPurge during the upgrade - it should have been removed
before release, which was an oversight.

Removing this now to avoid further confusion in future.

Change-Id: I16853cdec6c8fe6ad54f17ae2ad1e0460f1574ea
Closes-Bug: #1679214

Merge "Qpid dispatch router composable role"

Merge "Remove useless trailing '\n' in /etc/hosts file."

Merge "Remove EC2 endpoint from EndpointMap"

Merge "Change heat and mistral to use v3/ec2tokens url"

Merge "Fixes port binding controller for OpenDaylight"

Merge "Setting keystone region for tacker"

Merge "Set auth flag so ceilometer auth is enabled"

Merge "Add special case upgrade from openvswitch 2.5.0-14"

Merge "Don't check haproxy if external load-balancer is used."

Set auth flag so ceilometer auth is enabled

Ceilometer Auth should be enabled even if ceilometer api
is not. Lets decouple these, this flag will be used in
puppet-tripleo where ceilometer::keystone::auth class
is initialized.

Change-Id: Iffebd40752eafb1d30b5962da8b5624fb9df7d48
Closes-bug: #1677354

Add special case upgrade from openvswitch 2.5.0-14

In [1] we removed the previously used special case upgrade code.
However we have since discovered that for openvswitch 2.5.0-14
the special case is still required with an extra flag to prevent
the restart.  This adds the upgrade code back into the minor
update and 'manual upgrade' scripts for compute/swift. The
review at If998704b3c4199bbae8a1d068c31a71763f5c8a2 is adding
this logic for the ansible upgrade steps.

Related-Bug: 1669714
[1] https://review.openstack.org/#/q/59e5f9597eb37f69045e470eb457b878728477d7
Change-Id: I3e5899e2d831b89745b2f37e61ff69dbf83ff595

Merge "Add missing ec2api::api::keystone_ec2_tokens_url config"

Setting keystone region for tacker

Change-Id: I170b7e4cff66f0a4b1b6d5735f93c9f0295a5ac5

Remove EC2 endpoint from EndpointMap

We are removing this in favor of just using the keystone uri and
appending /ec2tokens

Change-Id: Idab78d61f3931818aa91faad2d68c1fe20f68db6

Change heat and mistral to use v3/ec2tokens url

They were using v2.0 and we're getting rid of v2.0/ec2tokens in the
EndpointMap.

Change-Id: Ib9fbbdb0144bb4e250c561613bba6219506ff30f

Merge "Re-Add bigswitch agent support"

Add logging agents deployment to CI

This patch enables deployment of fluentd service in scenario001.

Depends-On: Ibabd4688c00c6a12ea22055c95563d906716954d
Change-Id: Ib24a67f9068efb60b754590503a503344ab1f1df

Merge "Output service_metadata_settings in docker services.yaml"

Add l2gw neutron service plugin support

L2 Gateway (L2GW) is an API framework for OpenStack that offers bridging
two or more networks together to make them look at a single broadcast
domain. This patch implements the l2gw neutron service plugin support part
in t-h-t.

Change-Id: I1b52dc2c11a15698e43b6deeac6cadeeba1802d5
Depends-On: I01a8afdc51b2a077be1bbc7855892f68756e1fd3
Partially-Implements: blueprint l2gw-service-integration
Signed-off-by: Peng Liu <pliu@redhat.com>

Merge "Do not install openstack-heat-agents"

Merge "[N->O] Fix wrong database connection for cell0 during upgrade."

Merge "[N->O] is creating 2 default cell_v2 cells"

Merge "Add NodeCreateBatchSize parameter"

Don't check haproxy if external load-balancer is used.

Change-Id: Ia65796b04be9f7cadc57af30ef66788dd8cb7de8
Closes-Bug: 1677539

Merge "Run cluster check on nodes configured in wsrep_cluster_address."

Output service_metadata_settings in docker services.yaml

This output gets nova metadata into the servers this is deployed to and
is necessary for the TLS-everywhere work.

bp tls-via-certmonger-containers

Change-Id: Iff54f7af9c63a529f88c6455047f6584d29154b4

Merge "Include panko in the default dispatcher"

Merge "Allow to configure policy.json for OpenStack projects"

Do not install openstack-heat-agents

Installing openstack-heat-agents is unnecessary since it has the same
effect as installing python-heat-agent-* which happens on the next
line.

Installing openstack-heat-agents is causing issues when mixing ocata
and master repos, since there hasn't been a release on master since
ocata was branched.

Change-Id: I1a75e16810b6a89cf1dd9ff4f4b3b5dccfc0466e
Closes-Bug: #1677278

Add ceilometer ipmi agent

Closes-Bug: #1662679

Change-Id: I3446d59b89d43859caedd2be4583099374944379

Qpid dispatch router composable role

Note: since it replaces rabbitmq, in order to aim for the smallest
amount of changes the service_name is called 'rabbitmq' so all the
other services do not need additional logic to use qdr.

Depends-On: Idecbbabdd4f06a37ff0cfb34dc23732b1176a608
Change-Id: I27f01d2570fa32de91ffe1991dc873cdf2293dbc

Merge "Modify pci_passthrough hiera value as string"

Allow to configure policy.json for OpenStack projects

For both containers and classic deployments, allow to configure
policy.json for all OpenStack APIs with new parameters (hash,
empty by default).

Example of new parameter: NovaApiPolicies.
See environments/nova-api-policy.yaml for how the feature can be used.

Note: use it with extreme caution.

Partial-implement: blueprint modify-policy-json
Change-Id: I1144f339da3836c3e8c8ae4e5567afc4d1a83e95

Include panko in the default dispatcher

panko is enabled by default, we might as well make it
the default dispatcher along with gnocchi.

Closes-bug: #1676900

Change-Id: Icb6c98ed0810724e4445d78f3d34d8b71db826ae

Merge "Remove 'Controller' role references from overcloud.j2.yaml"

Merge "N->O upgrade, blanks ipv6 rules before activating it."

Merge "N->O Upgrade, make sure all nova placement parameter properly set."

Merge "Stop openstack-nova-compute during nova-ironic upgrade"

Merge "Only set EnableConfigPurge on major upgrades"

Merge "Updated from global requirements"

Merge "Swift auth url should use a suffix"

Updated from global requirements

Change-Id: I86fd68da7b2d96590f21a8511fa1a23dcf1a6dda

Merge "MySQL: Use conditional instead of nested stack for TLS-specific bits"

Merge "Apache: Use conditional instead of nested stack for TLS-specific bits"

Merge "Rabbitmq: Use conditional instead of nested stack for TLS-specific bits"

Run cluster check on nodes configured in wsrep_cluster_address.

Attempt to check galera's cluster status fails when galera service
is not running on the same node.

Change-Id: I27fb0841d85cd0dc86e92ac2e21eedf5f8f863ab

Merge "Remove kolla_config copy from keystone service."

Merge "Nic config mappings for deployed-server"

Modify pci_passthrough hiera value as string

Hiera value of nova::compute::pci_passthrough should be a string.
It has been modified to JSON with the heira hook changes. Modifying
it again back to string.
Closes-Bug: #1675036

Change-Id: I441907ff313ecc5b7b4da562c6be195687fc6c76

Disable core dump for setuid programs

The core dump of a setuid program is more likely
to contain sensitive data, as the program itself
runs with greater privileges than the user who
initiated execution of the program. Disabling the
ability for any setuid program to write a core
file decreases the risk of unauthorized access of
such data.

This change sets core dump for setuid programs
to '0'.

Change-Id: Ib05d993c1bb59b59c784e438f805733f636c743d
Signed-off-by: zshi <zshi@redhat.com>

Merge "Restrict Access to Kernel Message Buffer"

Add missing ec2api::api::keystone_ec2_tokens_url config

Change-Id: I9a19aff24dede2bea3bf2959afa7adde00817ee0
Related-Bug: #1676491

Fixes port binding controller for OpenDaylight

In Ocata and later, the port binding controller for ODL was changed by
default to be the pseudo agent controller, which requires a new feature
"host config" for OVS.  This patch modifies the default to use
network-topology, which will work without any new host config features
implemented (previous way of port binding).

Closes-Bug: 1675211

Depends-On: I5004fdeb238dea81bc4f7e9437843a8a080d5b46

Change-Id: I6a6969d1d6b8d8b8ac31fecd57af85eb653245d2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Sort ResourceGroup resource list"

Remove 'Controller' role references from overcloud.j2.yaml

This patch again removes hard coded role references to
the overcloud.yaml template that was added in
fd15a091f7ab6927833275df17b96ecacc2b1827. This
breaks the composable undercloud work (undercloud-containers ci job as
well).

Change-Id: Ie30b2573dc4d2b45ebc0afc0e0d73bfdf41e4d4b
Closes-bug: #1676528

Remove kolla_config copy from keystone service.

Simplify the config of the keystone service by mounting in the
configurations instead of specifying them all in kolla config.

This is change is useful to limit the side effects of generating the
config files and running the container is two separate steps as config
directories are now bind-mounted inside the container instead of having
files being copied to the container. We've seen examples of Apache's
mod_ssl configuration file present on the container preventing it to
start when puppet configured apache not to load the ssl module (in case
TLS is disabled).

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: Ie33ffc7c2b1acf3e4e505d38efb104bf013f2ce6

Merge "Run nova-api hosts discovery after nova-compute start"

Merge "docker/keystone: Bind mount entire fernet keys repository"

Swift auth url should use a suffix

gnocchi metricd and statsd are broken due to recent change
to support keystone v3. see I2feed8b1219069128faa1a1e8dcd2ddfbae7e40a
We need swift auth url to have suffix so it knows what endpoint
to use.

Change-Id: I753f37e121b95813e345f200ad3f3e75ec4bd7e1

Merge "Pick dynamically the first node for stack validation"

MySQL: Use conditional instead of nested stack for TLS-specific bits

Usually a nested stack is used that contains the TLS-everywhere bits
(config_settings and metadata_settings). Nested stacks are very
resource intensive. So, instead of doing using nested stacks, this patch
changes that to use a conditional, and output the necessary
config_settings  and metadata_settings this way in an attempt to save
resources.

Change-Id: Ib7151d67982957369f7c139a3b01274a1a746c4a

Apache: Use conditional instead of nested stack for TLS-specific bits

Usually a nested stack is used that contains the TLS-everywhere bits
(config_settings and metadata_settings). Nested stacks are very
resource intensive. So, instead of doing using nested stacks, this patch
changes that to use a conditional, and output the necessary
config_settings  and metadata_settings this way in an attempt to save
resources.

Change-Id: Ia7ee632383542ac012c20448ff1b4435004e57e3

Rabbitmq: Use conditional instead of nested stack for TLS-specific bits

Usually a nested stack is used that contains the TLS-everywhere bits
(config_settings and metadata_settings). Nested stacks are very
resource intensive. So, instead of doing using nested stacks, this patch
changes that to use a conditional, and output the necessary
config_settings  and metadata_settings this way in an attempt to save
resources.

Change-Id: Ic25f84a81aefef91b3ab8db2bc864853ee82c8aa

N->O upgrade, blanks ipv6 rules before activating it.

When the firewall is enabled with ipv6, the default rules set is
taken as not ipv6 firewall was present for Newton.  This make
communication impossible until puppet is run again.

This ensures that no rules are loaded when the firewall is enabled.

This mimic this patch[1]

[1] https://github.com/openstack/tripleo-heat-templates/commit/ae8aac36143d5dadb08af0d275f513678909dcc7

Change-Id: Id878b5caae666a799c89c8466ce46b9ecb86d9f7
Closes-Bug: #1675782

docker/keystone: Bind mount entire fernet keys repository

Previously only the first two intial fernet keys were mounted into the
container. This is not practical, however, as doing key rotation will
generate more entries in this repository. So instead we mount the whole
directory, which would allow us to do rotation in the base host and
seamlessly affect the container as well.

Change-Id: I7763a09e57fe6a7867ffd079ab0b9222374c38c8

Merge "Remove unused KeystoneRegion parameter from gnocchi-base"

Merge "Setting keystone region for congress"

Merge "docker/keystone: Actually set fernet as the default token provider"

Merge "docker-puppet: skip empty volume entries"

Merge "Enables increasing mariadb open files for noha deployments"

Merge "Remove unnecesary code to enable panko-api"

Merge "Fixes missing firewall rules for neutron_ovs_dpdk_agent service"

Merge "Install openstack-selinux for deployed-server"

Merge "Fix usage of CinderNfsServers"

Merge "Add missing metadata_settings from neutron-api profile"

Merge "Rework container volumes as hostpath mounts"

Merge "Fixes OpenDaylightProviderMappings hiera parsing"

Merge "Clarify Kolla build overrides for tripleo"

Stop openstack-nova-compute during nova-ironic upgrade

This change ensures that that openstack-nova-compute is
stopped and disabled during the upgrade process.

Closes-Bug: 1675814

Change-Id: Ifd2557b11e4317f1e76e459e8de4162116578eff

N->O Upgrade, make sure all nova placement parameter properly set.

The restart of openstack-nova-compute takes place before crudini set
the password, user_domain and project_name get set.

Change-Id: I57b54d5f59d5803d7ad4e399d598f699785a5825
Closes-Bug: #1675739
Co-Authored-By: Oliver Walsh <owalsh@redhat.com>

Rework container volumes as hostpath mounts

Also add upgrade_tasks to disable corresponding host
services in order to not data race with containers

Change-Id: I19c16aaa3e5a73436ca7aa7d06facf64feee2327
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>