Add networking-vpp ML2 mechanism driver support

Implements: blueprint fdio-integration-tripleo

Change-Id: I412f7a887ca4b95bcf1314e8c54cb1e7d03b1e41
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Avoid awk error in hosts-config.sh for large deployments"

Merge "Prepare 7.0.0.0b1 (pike-1)"

Merge "Update ceph-rgw acccepted roles to fix OSP upgrade"

Prepare 7.0.0.0b1 (pike-1)

Change-Id: I93de22a4aa2d90966c24349e765475576947f2e0

Merge "Add Docker service to all roles"

Merge "Add password to authtoken section in congress.conf"

Merge "Add support for "neutron" Ironic networking plugin"

Add Docker service to all roles

This will add the Docker service to all roles. Note that currently by
default the Docker service is mapped to OS::Heat::None by default. It
will only be deployed if environments/docker.yaml file is included in
the deployment.

Change-Id: I9d8348b7b6576b94c872781bc89fecb42075cde0
Related-Bug: #1680395

Merge "ovn: Add missing configurations required"

Avoid awk error in hosts-config.sh for large deployments

This ports the fixes made to the legacy 51-hosts script, which this
script is derived from, to tht.

See related t-i-e patch Ibe0a9f6ec10d55750e3b0e16301236141f988d69

Change-Id: Ide922af93a5d185bd592e220327326f1d244c4e2
Closes-Bug: #1674732

Add password to authtoken section in congress.conf

Current puppet module miss password section hence congress is not
available due to missing password in congress.conf. This fix is to
add password.

Change-Id: I277c03ca93130a0337d5085f09c375fb0ac9331d
Signed-off-by: Tomofumi Hayashi <s1061123@gmail.com>

Merge "Fix conntrack proto sctp module"

Merge "Adds Horizon secure cookie map."

Merge "Fixing acronym for BGPVPN composable service"

Merge "Add trigger to setup a LDAP backend as keystone domaine"

Merge "Adds service for managing securetty"

Merge "Use the local collector to bootstrap deployed servers"

Fix conntrack proto sctp module

ip_conntrack_proto_sctp is the old name for the module and it is now
nf_conntrack_proto_sctp. In order for the kmod module to not keep trying
to modprobe the module, we need to use the correct name.

Change-Id: Ieaed235e71e9e6e41a46d9be0e02beb8f4341b1a
Closes-Bug: #1680579

Merge "Disable ceilometer API"

Merge "Use kolla api to set ownership"

Merge "Don't disable satellite repo after registration"

Adds service for managing securetty

This adds the ability to manage the securetty file.

By allowing management of securetty, operators can limit root
console access and improve security through hardening.

Change-Id: I0767c9529b40a721ebce1eadc2dea263e0a5d4d7
Partial-Bug: #1665042
Depends-On: Ic4647fb823bd112648c5b8d102913baa8b4dac1c

Merge "docker-puppet.py fail if any worker fails"

Merge "Add manual ovs upgrade script for workaround ovs upgrade issue"

Merge "Enforce upgrade_batch_tasks before upgrade_tasks order"

Merge "add configurable timeouts for DB sync"

Merge "Remove "Core" Service from the CI Environment file"

Merge "Add network sysctl tweaks for security"

Merge "Add monitoring agents deployment to CI"

Merge "Ensure upgrade step orchestration accross roles."

ovn: Add missing configurations required

This patch adds
 - setting nova config param 'force_config_meta' to True
   as metadata service is not supported by OVN yet.
 - Add the necessary iptables rules to allow ovsdb-server
   traffic for Northbound and Southboud databases.
 - Update the release notes for OVN.

Change-Id: If1a2d07d66e493781b74aab2fc9b76a6d58f3842
Closes-bug: #1670562

Add trigger to setup a LDAP backend as keystone domaine

It is using a trigger tripleo::profile::base::keystone::ldap_backend_enable in puppet-tripleo
who will call a define in puppet-keysone ldap_backend.pp.

Given the following environment:

parameter_defaults:
  KeystoneLDAPDomainEnable: true
  KeystoneLDAPBackendConfigs:
    tripleoldap:
      url: ldap://192.0.2.250
      user: cn=openstack,ou=Users,dc=redhat,dc=example,dc=com
      password: Secrete
      suffix: dc=redhat,dc=example,dc=com
      user_tree_dn: ou=Users,dc=redhat,dc=example,dc=com
      user_filter: "(memberOf=cn=OSuser,ou=Groups,dc=redhat,dc=example,dc=com)"
      user_objectclass: person
      user_id_attribute: cn
      user_allow_create: false
      user_allow_update: false
      user_allow_delete: false
  ControllerExtraConfig:
    nova::keystone::authtoken::auth_version: v3
    cinder::keystone::authtoken::auth_version: v3

It would then create a domain called tripleoldap with an LDAP
configuration as defined by the hash. The parameters from the
hash are defined by the keystone::ldap_backend resource in
puppet-keystone.

More backends can be added as more entries to that hash.

This also enables multi-domain support for horizon.

Closes-Bug: 1677603
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Depends-On: I1593c6a33ed1a0ea51feda9dfb6e1690eaeac5db
Change-Id: I6c815e4596d595bfa2a018127beaf21249a10643
Signed-off-by: Cyril Lopez <cylopez@redhat.com>

Remove "Core" Service from the CI Environment file

OS::TripleO::Services::Core is still referenced in the CI roles
enviornment file. Because of which CI is failing when service
template is modified. Removing the obsolete service.
Closes-Bug: #1680043

Change-Id: I168452fa5c2e6d6d8fdf829b9b02996d9ca5532a

Merge "Add logging agents deployment to CI"

Merge "Add parameters for internal TLS for swift proxy"

Merge "Ironic containers: chown /var/lib/ironic correctly"

add configurable timeouts for DB sync

This patch integrates with the db_sync_timeout
parameter recently added to puppet-nova
and puppet-neutron in
I6b30a4d9e3ca25d9a473e4eb614a8769fa4567e7, which allow for the full
db_sync install to have more time than just Pupppet's
default of 300 seconds.   Ultimately, similar timeouts
can be added for all other projects that feature
db sync phases, however Nova and Neutron are currently
the ones that are known to time out in some
environments.

Closes-bug: #1661100
Change-Id: Ic47439a0a774e3d74e844d43b58956da8d1887da

Ironic containers: chown /var/lib/ironic correctly

This updates the docker version of ironic-conductor.yaml so
that it sets permissions on the entire /var/lib/ironic
tree correctly. Since 1a4ece16cea40075fe7332ed048b9c289b3ff424
we bind mount in /var/lib/ironic from the host (created via
Ansible if it didn't already exist). This caused a subtle
permissions issue in that the Ironic conductor service
can no longer create sub-directories it needs to operate.

Change-Id: I1eb6b5ddad7cd89ee887e2e429ebe245aa7b80dc
Closes-bug: 1677086

Merge "Add l2gw neutron service plugin support"

Merge "Addition of firewall rules for Nuage"

Merge "Disable core dump for setuid programs"

Fixing acronym for BGPVPN composable service

Change-Id: I397a6ad430cef5ddb4eee48347ad4c89144ad01e
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Use kolla api to set ownership

Kolla provides a way to set ownership of files and directory inside the
containers. Use it instead of running an additional container to do the
job.

Change-Id: I554faf7c797f3997dd3ca854da032437acecf490

Add parameters for internal TLS for swift proxy

This adds the necessary parameter for swift proxy to be terminiated
internally by a TLS proxy.

bp tls-via-certmonger

Change-Id: I3cb9d53d75f982068f1025729c1793efaee87380
Depends-On: I6e7193cc5b4bb7e56cc89e0a293c91b0d391c68e

Use the local collector to bootstrap deployed servers

os-collect-config is already configured to use json files in
/var/lib/os-collect-config/local-data/ as a data source, so this can
be used in the deployed-server get-occ-config.sh to copy in the
required json to generate the required os-collect-config.conf.

Co-Authored-By: James Slagle <jslagle@redhat.com>
Closes-Bug: #1679705
Change-Id: Ibde9e6bf360277d4ff64f66d637a5c7f0360e754

Merge "Add params to tweak memory limit on mongodb"

Merge "Remove kolla_config copy from services"

Add monitoring agents deployment to CI

This patch enables deployment of sensu-client service in scenario001.

Depends-On: I4895e3b6d3d0e2c12c083133e423cafeecbafe88
Depends-On: Ibabd4688c00c6a12ea22055c95563d906716954d
Change-Id: I377811878712b7615c38094ecbf55dcc67d9ddd5

Merge "Remove not-working all-in-one upgrade environment"

Merge "Purge initial firewall for deployed-server's"

Enforce upgrade_batch_tasks before upgrade_tasks order

If we really want upgrade_batch_tasks before the upgrade_tasks
as described in the README then we should enforce the ordering

Noticed this working on bug 1671504 upgrade tasks were being
executed before batch upgrade tasks.

Closes-Bug: 1678101
Change-Id: Iaa1bce960a37c072b5f8441132705a6bb6eb6ede

Ensure upgrade step orchestration accross roles.

Currently we don't enforce step ordering across role, only within
role.  With custom role, we can reach a step5 on one role while the
cluster is still at step3, breaking the contract announced in the
README[1] where each step has a guarantied cluster state.

We have to remove the conditional here as well as jinja has no way to
access this information, but we need jinja to iterate over all enabled
role to create the orchestration.

This deals only with Upgrade tasks, there is another review to deal
with UpgradeBatch tasks.

[1] https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/services/README.rst

Closes-Bug: #1679486

Change-Id: Ibc6b64424cde56419fe82f984d3cc3620f7eb028

Merge "Add ceilometer ipmi agent"

Add params to tweak memory limit on mongodb

The puppet-tripleo change was added in
Ie9391aa39532507c5de8dd668a70d5b66e17c891.

Closes-bug: #1656558

Change-Id: Ibe2e4be5b5dc953d8d4b14f680a460409db95585

Add support for "neutron" Ironic networking plugin

This enabled a lot of advanced networking features (see the release note).
Related to blueprint ironic-driver-composition

Change-Id: I20ea994fec36d73e618107b5c3594ec1c0f8cb93
Depends-On: I72eb8b06cca14073d1d1c82462fb702630e02de3

Addition of firewall rules for Nuage

Added VxLAN and metadata agent firewall rules to neutron-compute-plugin
for Nuage. Removed a deprecated parameter 'OSControllerIp' as well.

Change-Id: If10c300db48c66b9ebeaf74b5f5fee9132e75366

Purge initial firewall for deployed-server's

We need to purge the initial firewall for deployed-server's, otherwise
if you have a default REJECT rule, the pacemaker cluster will fail to
initialize. This matches the behavior done when using images, see:
Iddc21316a1a3d42a1a43cbb4b9c178adba8f8db3
I0dee5ff045fbfe7b55d078583e16b107eec534aa

Change-Id: Ia83d17b609e4f737074482a980689cc57c3ad911
Closes-Bug: #1679234

Remove kolla_config copy from services

Simplify the config of the containerized services by bind mounting in
the configurations instead of specifying them all in kolla config.

This is change is useful to limit the side effects of generating the
config files and running the container is two separate steps as config
directories are now bind-mounted inside the container instead of having
files being copied to the container. We've seen examples of Apache's
mod_ssl configuration file present on the container preventing it to
start when puppet configured apache not to load the ssl module (in case
TLS is disabled).

Co-Authored-By: Ian Main <imain@redhat.com>
Change-Id: I4ec5dd8b360faea71a044894a61790997f54d48a

Remove not-working all-in-one upgrade environment

This won't work because we need to change the state of UpgradeLevelNovaCompute
and EnableConfigPurge during the upgrade - it should have been removed
before release, which was an oversight.

Removing this now to avoid further confusion in future.

Change-Id: I16853cdec6c8fe6ad54f17ae2ad1e0460f1574ea
Closes-Bug: #1679214

Merge "Qpid dispatch router composable role"

Merge "Remove useless trailing '\n' in /etc/hosts file."

Merge "Remove EC2 endpoint from EndpointMap"

Disable ceilometer API

Ceilometer API has been deprecated since Ocata. lets disable
it by default and add an env file to enable it if needed.

Closes-bug: #1676968

Change-Id: I571f5467466c29271e0235e8fde6bdae07c20daf

Merge "Change heat and mistral to use v3/ec2tokens url"

Merge "Fixes port binding controller for OpenDaylight"

Merge "Setting keystone region for tacker"

Merge "Set auth flag so ceilometer auth is enabled"

Merge "Add special case upgrade from openvswitch 2.5.0-14"

Merge "Don't check haproxy if external load-balancer is used."

Set auth flag so ceilometer auth is enabled

Ceilometer Auth should be enabled even if ceilometer api
is not. Lets decouple these, this flag will be used in
puppet-tripleo where ceilometer::keystone::auth class
is initialized.

Change-Id: Iffebd40752eafb1d30b5962da8b5624fb9df7d48
Closes-bug: #1677354

Update ceph-rgw acccepted roles to fix OSP upgrade

This patch updates ceph::keystone::auth::roles to remove
"member" and add "Member". The previous entry breaks
OSP N to O upgrades when ceph-rgw is enabled.

This patch fixes: https://bugs.launchpad.net/tripleo/+bug/1678126

Closes-bug: 1678126
Change-Id: I2e442eda98e2e083d6f4193fb38a0484919a6d33

Add special case upgrade from openvswitch 2.5.0-14

In [1] we removed the previously used special case upgrade code.
However we have since discovered that for openvswitch 2.5.0-14
the special case is still required with an extra flag to prevent
the restart.  This adds the upgrade code back into the minor
update and 'manual upgrade' scripts for compute/swift. The
review at If998704b3c4199bbae8a1d068c31a71763f5c8a2 is adding
this logic for the ansible upgrade steps.

Related-Bug: 1669714
[1] https://review.openstack.org/#/q/59e5f9597eb37f69045e470eb457b878728477d7
Change-Id: I3e5899e2d831b89745b2f37e61ff69dbf83ff595

Add manual ovs upgrade script for workaround ovs upgrade issue

When we upgrade OVS from 2.5 to 2.6, the postrun package update
restart the services and drop the connectivity
We need to push this manual upgrade script and executed to the
nodes for newton to ocata

The special case is needed for 2.5.0-14 specifically see related
bug for more info (or, older where the postun tries restart).
See related review at [1] for the minor update/manual upgrade.

Related-Bug: 1669714
Depends-On: I3227189691df85f265cf84bd4115d8d4c9f979f3
Co-Authored-By: Sofer Athlan-Guyot <sathlang@redhat.com>
[1] https://review.openstack.org/#/c/450607/

Change-Id: If998704b3c4199bbae8a1d068c31a71763f5c8a2

Merge "Add missing ec2api::api::keystone_ec2_tokens_url config"

Setting keystone region for tacker

Change-Id: I170b7e4cff66f0a4b1b6d5735f93c9f0295a5ac5

Remove EC2 endpoint from EndpointMap

We are removing this in favor of just using the keystone uri and
appending /ec2tokens

Change-Id: Idab78d61f3931818aa91faad2d68c1fe20f68db6

Change heat and mistral to use v3/ec2tokens url

They were using v2.0 and we're getting rid of v2.0/ec2tokens in the
EndpointMap.

Change-Id: Ib9fbbdb0144bb4e250c561613bba6219506ff30f

Merge "Re-Add bigswitch agent support"

Add logging agents deployment to CI

This patch enables deployment of fluentd service in scenario001.

Depends-On: Ibabd4688c00c6a12ea22055c95563d906716954d
Change-Id: Ib24a67f9068efb60b754590503a503344ab1f1df

Merge "Output service_metadata_settings in docker services.yaml"

Add l2gw neutron service plugin support

L2 Gateway (L2GW) is an API framework for OpenStack that offers bridging
two or more networks together to make them look at a single broadcast
domain. This patch implements the l2gw neutron service plugin support part
in t-h-t.

Change-Id: I1b52dc2c11a15698e43b6deeac6cadeeba1802d5
Depends-On: I01a8afdc51b2a077be1bbc7855892f68756e1fd3
Partially-Implements: blueprint l2gw-service-integration
Signed-off-by: Peng Liu <pliu@redhat.com>

Merge "Do not install openstack-heat-agents"

Merge "[N->O] Fix wrong database connection for cell0 during upgrade."

Merge "[N->O] is creating 2 default cell_v2 cells"

Merge "Add NodeCreateBatchSize parameter"

Don't check haproxy if external load-balancer is used.

Change-Id: Ia65796b04be9f7cadc57af30ef66788dd8cb7de8
Closes-Bug: 1677539

Merge "Run cluster check on nodes configured in wsrep_cluster_address."

Output service_metadata_settings in docker services.yaml

This output gets nova metadata into the servers this is deployed to and
is necessary for the TLS-everywhere work.

bp tls-via-certmonger-containers

Change-Id: Iff54f7af9c63a529f88c6455047f6584d29154b4

Merge "Include panko in the default dispatcher"

Merge "Allow to configure policy.json for OpenStack projects"

Do not install openstack-heat-agents

Installing openstack-heat-agents is unnecessary since it has the same
effect as installing python-heat-agent-* which happens on the next
line.

Installing openstack-heat-agents is causing issues when mixing ocata
and master repos, since there hasn't been a release on master since
ocata was branched.

Change-Id: I1a75e16810b6a89cf1dd9ff4f4b3b5dccfc0466e
Closes-Bug: #1677278

Add ceilometer ipmi agent

Closes-Bug: #1662679

Change-Id: I3446d59b89d43859caedd2be4583099374944379

Add network sysctl tweaks for security

* Disable Kernel Parameter for Sending ICMP Redirects:
    - net.ipv4.conf.default.send_redirects = 0
    - net.ipv4.conf.all.send_redirects = 0

    Rationale: An attacker could use a compromised host
    to send invalid ICMP redirects to other router devices
    in an attempt to corrupt routing and have users access
    a system set up by the attacker as opposed to a valid
    system.

* Disable Kernel Parameter for Accepting ICMP Redirects:
    - net.ipv4.conf.default.accept_redirects = 0

    Rationale: Attackers could use bogus ICMP redirect
    messages to maliciously alter the system routing tables
    and get them to send packets to incorrect networks and
    allow your system packets to be captured.

* Disable Kernel Parameter for secure ICMP Redirects:
    - net.ipv4.conf.default.secure_redirects = 0
    - net.ipv4.conf.all.secure_redirects = 0

    Rationale: Secure ICMP redirects are the same as ICMP
    redirects, except they come from gateways listed on
    the default gateway list. It is assumed that these
    gateways are known to your system, and that they are
    likely to be secure.

* Enable Kernel Parameter to log suspicious packets:
    - net.ipv4.conf.default.log_martians = 1
    - net.ipv4.conf.all.log_martians = 1

    Rationale: Enabling this feature and logging these packets
    allows an administrator to investigate the possibility
    that an attacker is sending spoofed packets to their system.

* Ensure IPv6 redirects are not accepted by Default
    - net.ipv6.conf.all.accept_redirects = 0
    - net.ipv6.conf.default.accept_redirects = 0

    Rationale: It is recommended that systems not accept ICMP
    redirects as they could be tricked into routing traffic to
    compromised machines. Setting hard routes within the system
    (usually a single default route to a trusted router) protects
    the system from bad routes.

Change-Id: I2e8ab3141ee37ee6dd5a23d23dbb97c93610ea2e
Co-Authored-By: Luke Hinds <lhinds@redhat.com>
Signed-off-by: zshi <zshi@redhat.com>

Qpid dispatch router composable role

Note: since it replaces rabbitmq, in order to aim for the smallest
amount of changes the service_name is called 'rabbitmq' so all the
other services do not need additional logic to use qdr.

Depends-On: Idecbbabdd4f06a37ff0cfb34dc23732b1176a608
Change-Id: I27f01d2570fa32de91ffe1991dc873cdf2293dbc

Merge "Modify pci_passthrough hiera value as string"

Allow to configure policy.json for OpenStack projects

For both containers and classic deployments, allow to configure
policy.json for all OpenStack APIs with new parameters (hash,
empty by default).

Example of new parameter: NovaApiPolicies.
See environments/nova-api-policy.yaml for how the feature can be used.

Note: use it with extreme caution.

Partial-implement: blueprint modify-policy-json
Change-Id: I1144f339da3836c3e8c8ae4e5567afc4d1a83e95

Include panko in the default dispatcher

panko is enabled by default, we might as well make it
the default dispatcher along with gnocchi.

Closes-bug: #1676900

Change-Id: Icb6c98ed0810724e4445d78f3d34d8b71db826ae

Merge "Remove 'Controller' role references from overcloud.j2.yaml"

Merge "N->O upgrade, blanks ipv6 rules before activating it."