Add CentOS 7.4 support for OpenStack Pike

JIRA: COMPASS-565

After this patch merged, compass can deploy OpenStack Pike on
CentOS 7.4. Due to some upstream bugs, we add some fixes in
this patch, e.g. add libvirt to os-cinder, remove a useless
repo after installing

Change-Id: Ibc1e6f1ed103daf2d70a8ae1d7c04f77d1545c41
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Add plugin for Barometer.

Change-Id: I5049805eb4e2e2c5e2cc87772afe6650253be36c
Signed-off-by: John Hinman <john.hinman@intel.com>
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Fix the python-ldap version

when python-ldap is newest version, there are some issues in dependence

Change-Id: I29f30900733cdd87d922b17da0f7c551b7cbdc90
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "fix scenrios file link when k8s deployment"

fix scenrios file link when k8s deployment

Change-Id: Ibf64258b368393a0805868501e367f32b28bbe81
Signed-off-by: chigang <chigang@huawei.com>

Upgrade OpenStack version from Ocata to Pike

JIRA: COMPASS-565

For OPNFV F release, it's going to use OpenStack Pike as the NFVI
component. This task is created to monitor the upgrade work of
OpenStack Pike. Subtasks as follow:
- Add Pike related configurations to compass_conf
- Upgrade ubuntu os to ubuntu 16.04.3
- Upgrade centos os to centos 7.4
- Upgrade openstack-ansible from ocata to pike
- Upgrade openstack repos from ocata to pike

Change-Id: I2202e8e3ae23dae8e575c89170c9e5e057757870
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Support the scenario for installing kubernetes in ubuntu system"

Upgrade the jumphost offline support

JIRA: -

1. Add support for ubuntu 16.04.3
2. Update the package building scripts for ubuntu 14.04.3
3. Remove some hard code

Change-Id: I96e587b6b3aa2c39e14e5b0ec7db82b460e1fb29
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Fix centos kickstart_done snippet"

Merge "fix locale setting: Cannot set LC_ALL to default locale"

Merge "deploy/conf: support configurable docker registry"

Merge "build: support aarch64 deployment images"

Merge "cobbler: support aarch64"

Merge "deploy/template/vm: support aarch64 VM"

Merge "k8s: add package repo for aarch64"

Merge "Install networking-sfc for non odl-sfc scenarios"

Merge "Add timeout and delay time to fix the reboot problem of rt_kvm scenario"

fix locale setting: Cannot set LC_ALL to default locale

Change-Id: I050a17d5f61a31f8690b41bb70b2ea312aa50ab1
Signed-off-by: Di Xu <di.xu@arm.com>

deploy/template/vm: support aarch64 VM

- Use architecture specific host-ARCH.xml if available, otherwise
  fallback to default host.xml(x86_64).
- Add "--nvram" to undefine UEFI enabled VMs.

Change-Id: I89a0eb3875f98d18a28463bbf1004f5eca5de324
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Merge "build: add docker-ce apt repo for aarch64"

Add timeout and delay time to fix the reboot problem
of rt_kvm scenario

JIRA: -

The rt_kvm scenario deployment always fails on Huawei Pod2 while
running reboot task. However it's fine on Huawei Pod1. We think
it may be caused by the performance of Pod1. Pod1 truely has a lower
performance than Pod2. So we add timeout and delay time to verify
our idea.

Change-Id: I56acc88354abcdd4ba72c7d24980033871972688
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Install networking-sfc for non odl-sfc scenarios

JIRA: -

Currently we only install networking-sfc for odl-sfc scenario,
however someone may use native neutron sfc functionality.So we
propose this patch to add installation of networking-sfc for non
odl scenarios.

Change-Id: I4527387626f0c14fb6af135c511d0fd783b8f624
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "URL correction for quickstart"

Fix centos kickstart_done snippet

Bug:
CentOS-7-Minimal-1611-x86_64 image doesn't contain
wget package and kickstart_done snippet use wget to
call cobbler api to set netboot enable to false.
This way if host installed centos which is not set
to boot from disk will stuck in pxe loop

Solution:
Use curl instead of wget in kickstart_done

Change-Id: I0414adab72047a367b7cb15fe6a5537c76234972
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Support the scenario for installing kubernetes in ubuntu system

JIRA: -

Currently we only support the the scenario for installing kubernetes
in centos system. This patch is to install kubernetes in ubuntu system

Change-Id: Idc5eafea5d02c28c62a31e4c29451b8c5aaf1fd5
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

Merge "Auto start bridge on jumphost"

build: support aarch64 deployment images

- Use per architecture build-ARCH.yaml if available
- Repos for aarch64 OS and docker images are passed by env

Change-Id: Id7f9ca6dad690b8d375a3d8f488c7bf955a128ad
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

build: add docker-ce apt repo for aarch64

Change-Id: I5b3c30e6202c4db45d02221d3e4b7e7250b1fd01
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

k8s: add package repo for aarch64

Use architecture specific repo if available, otherwise fallback to
default(x86_64) repo.

Change-Id: I82f483494827564ae0e294d0c88c4080338c5634
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

deploy/conf: support configurable docker registry

Set COMPASS_DOCKER_REPO to use docker repos other than the default
one for x86_64(docker.io/compass4nfv).
E.g., to deploy Arm servers, it can be set to "linaro" repo.

Change-Id: Ief939e94d4a324dccd1ccf4be4ac75afb2cb0c3e
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

cobbler: support aarch64

Set ADAPTER_OS_PATTERN='(?i)CentOS-7.*arm.*' to deploy CentOS aarch64.

Change-Id: I943e2edfc03b92446fb393c63c254ab8e3c37225
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

URL correction for quickstart

JIRA: COMPASS-564

The current quickstart URL for stable/euphrates branch is not
correct. This patch is proposed to fix this mistake.

Change-Id: I36883480f2af43baca81f6107d2c2281362104d2
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Remove ugly code in odl plugin"

Merge "Update requirements_absolute_requirements.txt"

Merge "    k8s support the helm."

Merge "fix ceph reboot issue"

Merge "Compass4nfv Committer promotion for Yifei Xue and Xinhui Hu"

Compass4nfv Committer promotion for Yifei Xue and Xinhui Hu

Xinhui votes
https://lists.opnfv.org/pipermail/opnfv-tsc/2017-October/003904.html
https://lists.opnfv.org/pipermail/opnfv-tsc/2017-October/003905.html
https://lists.opnfv.org/pipermail/opnfv-tsc/2017-October/003899.html
Yifei Votes
https://lists.opnfv.org/pipermail/opnfv-tsc/2017-October/003906.html
https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-October/018613.html
https://lists.opnfv.org/pipermail/opnfv-tsc/2017-October/003898.html

Change-Id: I5b825af0a3f8b00da9ce4cc7f4adcd667341a2c6
Signed-off-by: chigang <chigang@huawei.com>

fix ceph reboot issue

When storage nodes reboot or shutdown,
the partitions of loop device will lose.
We add the command partprobe -s {{loopdevice}} to rc.local,
it will reload the partitions, when boot up the storage nodes.

Change-Id: I31dfca953aa254fa516421a494318b01cd39675c
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Update requirements_absolute_requirements.txt

JIRA: -

For offline deployment, some packages' versions need to be
upgraded and add the version limitation of tacker and tacker
client.

Change-Id: I8b55fe270998c716df8791f1909ea4f4ab654a6c
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

k8s support the helm.

    JIRA: -

Change-Id: I8ee06225c32c59a5678a666c47da95f96963dec8
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

Set default openstack version to Ocata

Default value of openstack version variable is
still newton which cause error when using this
default value in k8s scenario

Change-Id: I8e89e60f03a0dbf0263b0fef85f80ccb4a32efae
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "bugfix"

Merge "Config dpdk and ovs"

Remove ugly code in odl plugin

JIRA: -

Remove the ugly code in odl plugin. These code may cause tempest failures while
running daily functest. These failures cannot be reproduced locally but only in
daily functest. So we proposed this patch to improve our code and verify whether
it can fix the failures in tempest.

Change-Id: I09bbb13702ac75380a0d1a1dac5add52a5725c6a
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

bugfix

When not define ceph role in DHA, there are somes issue on config-osa.
This patch add the judgement to check the parameter define or not.

Change-Id: If221fd3d02c87fc60f545b44f94043f38e34d283
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Config dpdk and ovs

switch dpdk interface driver and bring
up corresponding ovs bridges.

Change-Id: I07bd9b332978482507711cfbd8ad29802a8b1a8c
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Update testresult link to Euphrates in release notes.

JIRA: -

Change-Id: If9f8bcd5774060bb3cbee30a0cff1e1b9031f822
Signed-off-by: chigang <chigang@huawei.com>

Merge "Fix ceilometer issue"

Merge "Update the Euphrates docs for kubernetes scenario"

Fix ceilometer issue

OSA don't maintain the ceilometer component.
We change the OSA code to make ceilometer work.
1. create ceilometer database
2. change the ceilometer policy
3. change the ceilometer config
4. change the OS_AUTH_TYPE in openrc

Change-Id: I2d8630a0c50f5c6bd1e86171cae1fa8f9934334b
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "add tacker support"

Update the Euphrates docs for kubernetes scenario

JIRA: -

In the Euphrates release, compass has supported kubernates
deployment now. However, there is no k8s related description
in docs of compass4nfv. So we add k8s related description in
this patch including the k8s architeture, k8s networking in
Compass, k8s virtual deployment and k8s bare metel deployment.

Change-Id: I3bea3ae06b1c73076ba44d10caf89602928b7021
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Add k8-nosdn-nofeature-noha  scenario support

    JIRA: -

    Currently Compass support 3+2 highly available  Kubernetes cluster.
    This yaml file define 1+1 Kubernetes cluster for k8-nosdn-nofeature-noha scenario

Change-Id: Iaeb4ef854a88657813fab9d255120ac93854dc6f
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

add tacker support

JIRA: -

Add tacker support in compass euphrates. Upsteam OSA currently doesn't
support tacker in Ocata. But OPNFV needs to use tacker in SFC scenario.
So we refactor os_tacker of Pike to satisfy OpenStack Ocata.

Change-Id: I40bb90949d8cd3b9db166527b0d85ff42ad5cdb9
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Ascertain the pandas version"

Ascertain the pandas version

the 0.21.0rc1 version of pandas will block the gnocchi install,
so we use 0.20.3. we replace the pandas package in repo

Change-Id: Ic8d9fa3a691b64a0783034ffbf0d958427e30d16
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Remove Iben and Tim from Committer List

Both requested they be removed:
  https://lists.opnfv.org/pipermail/opnfv-tsc/2017-October/003868.html

Also updates Ashlee's email address

Change-Id: Ifaa2b2d96d764ea1ea7c1bb0bd2be498dab0528b
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Modification for kargo to generate dynamic inventory"

Modefy configuration for refstack_defcore

1. set the log level debug to true
2. add oslo_middleware enable_proxy_headers_parsing: True
   in cinder.conf

Change-Id: I555345ab2e1ea2ff0b56f0b9279ed7141bde2282
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Doc updates for Euphrates"

Merge "Add customized DNS server support"

Merge "add docker images tag"

Add customized DNS server support

JIRA: -

Currently Compass uses the gateway of install network as the only
DNS server of host1 to 5. Sometimes it doesn't work in some
environments. This patch we add a variable named USER_NAMESERVER
which can be exported before deployment. It is used to store a
user defined DNS nameserver.

Change-Id: Id74889c20cf09ec7e25d882b56ab6331ee64cdcf
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Doc updates for Euphrates

Change-Id: Ibf2a41a7e651e0a611a9721e7ebac29e181ad635
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

Merge "Add default value for offline deploy switch"

Modification for kargo to generate dynamic inventory

JIRA: -

There is some hardcode for kargo inventory.This patch is to  generate dynamic inventory for kargo

Change-Id: If4a7c5f973e520e4ca24c3c9e0bfa97725a5a44c
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

SFC scenario release notes and bug fix for SFC switch

JIRA: COMPASS-562

Because of the inventory file modification, the sfc switch cannot be
enabled. Add a sperate sfc role to fix this bug.

Change-Id: If583d10ebbe78d0abe9078add24beb5f506dbda8
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Add default value for offline deploy switch

JIRA: COMPASS-563

The switch controls offline deploy missing
default value which cause passing a empty
value into ansible and lead to condition
check error

Change-Id: I0af4df0556dcbe30dacc743456728e8bdee698e8
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

add docker images tag

Change-Id: I7705a085491a11e57edaf79b462b750818bedc8d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Modify the network and DHA files

Due to pod2 virtual3 and virtual4 run danube before,
we need to change the network and DHA to run euphrates

Change-Id: I720138cb960cc6f3a57bf5f777c0debb80f64eba
Signed-off-by: wutianwei <wutianwei1@huawei.com>

fix yaml install

move yaml install out of if block to
install pyyaml whenever apt packages
is installed

Change-Id: Icbad66e0d8070afcb183c31af4759443bf0cf7f1
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Update the documents for compass E release

JIRA: -

1. Rewrite vm and bm deployment docs to satisfy the new release
2. add some images for network architecture
3. Update release name, version, etc.

Change-Id: I1e9d305de5edf60d937868d49966c153d85fd2b5
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Upgrade odl from carbon to nitrogen"

Merge "add kubernetes quickstart"

Merge "Run k8s in CI"

Upgrade odl from carbon to nitrogen

JIRA: -

1. Because of the bug in odl sfc carbon, this patch upgrade the odl
to Nitrogen release.

2. Use the latest stable/ocata of networking-sfc and networking-odl

3. Fix the bug in the patch of multiple physnet mapping

Change-Id: Id6e6084d9af76ff92d3c3ba6f8127154b2675aee
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Run k8s in CI

Add k8s DHA file k8s-nosdn-nofeature-ha.yml
when run k8s-nosdn-nofeature-ha scenario, export two variables
COMPASS_OS_VERSION=centos7
KUBERNETES_VERSION="v1.7.3"

Change-Id: I9012598e6d46b20f325e93aba92f03da444d97a2
Signed-off-by: wutianwei <wutianwei1@huawei.com>

add kubernetes quickstart

add a shell script to quickstart kubernetes virtual deployment

Change-Id: I6c76c550b3e65c1e0aa74712aa9a5c46cc022d07
Signed-off-by: chigang <chigang@huawei.com>

Enable DPDK scenarios in Jenkins

Add network configuration files and scenario files
to fix running error in Jenkins
https://build.opnfv.org/ci/job/compass-deploy-baremetal-daily-master/2888/console

Change-Id: Ie0e930e143d520c553eac41e56cf4b2504374e30
Signed-off-by: chigang <chigang@huawei.com>

Merge "Update the image tags to euphrates"

Add dpdk plugin

JIRA: COMPASS-550

add OVS-DPDK plugin, there are two roles in this plugin.
    1. ins_dpdk is for dpdk installation and hugepages setting.
    2. ins_ovs is for openvswitch installation.
add dpdk scenario networking configuration example called "network_cfg_dpdk.yaml"

Change-Id: Ifd8c1aadc218753f99bc26bb530e7cf9962ad8e3
Signed-off-by: chigang <chigang@huawei.com>

Update the image tags to euphrates

JIRA: -

Currently the latest tag is used in building tarball.
As OPNFV Euphrates will be released soon, we change the
tags of some docker images to euphrates.

Change-Id: Ic7a746f3a3338cf7f5cacd2f932816b3776e7de6
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "bugfix: fix moon network configuration"

Auto start bridge on jumphost

Set libvirt bridges to auto start on jump
host to avoid network failure when reboot.

Change-Id: Ic2fcbe2aa6ac512c25589d49ce10882d2e84ddeb
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

bugfix: fix moon network configuration

Due to creating the br-mgmt bridge,
it is necessary to remove the IP from the eth0 interface.

Change-Id: I32cf4d47530be3d625e29202f70b5667e6113a8c
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Add k8s support

JIRA: -

Add a new k8s scenario for compass

Change-Id: Ic5f58a6152315333684e4f2752aaa0d5d870d9ee
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

from controller node fetch os_cert

Change-Id: I2d1cbc6948d2cea1ccb852ed23033d5ddc6393e4
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Support multiple physnet mapping

JIRA: COMPASS-559

1. support multiple mapping in provider_net_mappings
of network.yml and create corresponding ovs bridges
2. support seperate config in sys_intf_mappings
of network.yml
3. remove linux bridges in compute nodes for ovs
port binding convenience
4. support openstack vlan tenant network
5. modify odl and odl_sfc roles to use configurable
provider mapping
6. remove some hard coding

Change-Id: Ib57484ce60d029f89c647fd5baf2c7af37c85d0b
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Support offline deployment for nosdn no feature scenario"

Support offline deployment for nosdn no feature scenario

JIRA: -

Add a repo docker which includes ubuntu PPA and python packages
used for offline deployment.

Change-Id: Iad9b0df7f33f5a7ab974c5deffb408fc93b3f3ad
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Fix install netmask

Netmask of install network is parsed from
netwok.yml now. A var named INSTALL_NETWORK
will be generated in script/deploy_config.sh
and exported. But var of install mask in
deploy/network.sh is called INSTALL_MASK.
This mismatch cause empty netmask of install
network.

Change-Id: I2a468844a74a9c38481615d6353149fa74ccbcd9
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Fix docker install"

Docs update for E release

JIRA: -

Update the structure of docs directory.
Update the docs for E release.
Add some new docs for E release.

Change-Id: Ib4b6aced3d6ac88404d8518b5461e20d26e017e1
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Fix docker install

Docker install only exist in off-line deploy
flow. Add it into normal deploy flow.

Change-Id: I2addf54eb6f74cb8faf799db343d84eaacea9fcb
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

support the noha scenario

1. add parameter to install keepalived when only one controller
2. change the osa code to start keepalived and haproxy
3. add the noha DHA files
4. fix the setup ovs bug
5. fix the pod1 public vip

Change-Id: I19f4e78b9ca834ae3d454e1c8058728ece055f69
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Make the storage use ceph"

Make the storage use ceph

1. ceph.yml define which host install ceph-mon and ceph-osd
2. user_ceph.yml define variables of ceph and cinder backend
3. user_variables_ceph.yml.j2 define variables of ceph for user

Change-Id: Iafea998f4603eb4b5c15a26f2387e6cb04c35d4c
Signed-off-by: wutianwei <wutianwei1@huawei.com>

fix loss of group vars definition

JIRA:-
TASK [moon : configure moon.conf for moon slave]
fatal: [host5]: FAILED! => {"failed": true, "msg": "'moon_slave_name' is undefined"}
https://build.opnfv.org/ci/job/compass-deploy-virtual-daily-master/3311/console

Change-Id: Ic6211ef7017e0ed794718f1705ba566af370ea49
Signed-off-by: chigang <chigang@huawei.com>

Modify moon network

1. modify interface file for moon according
to new network structure
2. modify some ips for pods running master

Change-Id: Idfca20c8e101222d27847fcac4f12ba21a1b5a67
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>