Add workaround for horizon image upload issue

JIRA: COMPASS-573

1. With HORIZON_IMAGES_UPLOAD_MODE set to direct
Horizon provides the endpoint for Glance based on
OPENSTACK_ENDPOINT_TYPE. If OPENSTACK_ENDPOINT_TYPE
is set to internalURL any browser outside the internal
network is unable to upload image. Add ansible task to
set HORIZON_IMAGES_UPLOAD_MODE to legacy as a workaround.

2. Add ansible lookup plugin to get openstack release

3. set openstack_release into group_vars/all in config-osa
to make this variable readable for other tasks

Change-Id: I9ef358e1f4acb0c329a032e18359de12284f3b56
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Bug fix for tacker installation on centos7

JIRA: -

Currently there is no variable definition file of tacker
for centos in os_tacker repo. This will lead an error
while including vars on centos deployment. So this patch will
add a file named "redhat-7.yml" for centos.

Change-Id: I965834adb0d2d25e5a68a9c7dbb397342108078f
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Fix some hard coding for some ip assignments"

Merge "deploy: remove gic version in arm vm template"

Merge "Ansible callback support both V2.3 and V2.4"

Merge "Upgrade ODL version to Nitrogen SR1"

Merge "Seperate compass-tasks"

Merge "Compass4nfv virtual deploy support direct connection"

Merge "Update Barometer plugin to install influxdb, grafana"

Merge "Update Barometer plugin to use collectd container"

Update Barometer plugin to install influxdb, grafana

Adds/updates the following to install influxdb and grafana on the
controller. Configures them to receive collectd data from the compute.

/plugins/barometer/roles/influxdb
/pluigns/barometer/roles/grafana
/deploy/adapters/ansible/openstack/HA-ansible-multinodes.yml

Change-Id: Ie33489e9834da5bb5c77b392451b81cf44a849d6
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Ansible callback support both V2.3 and V2.4

JIRA: COMPASS-585

1. Add conditional branch to support both ansible
versions
2. Keep callback in ansible_plugins directory which
will contains all plugins upcoming in the future

Change-Id: I11f3d9700e07ad5bd7f03ad56f4e0bc061df05ec
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Seperate compass-tasks

JIRA: -

1. Keep openstack-ansible in compass-tasks-osa.
Keep kubespray in compass-tasks-k8s. Build
different compass-tasks in one tar ball. Identify
which one to use during docker-compose.

2. Temporarily using private docker repo.

3. COMPOSE_IMAGES is used to controll which components
to form compass-core regardless of specific repo. Set
default value for openstack and kubernetes when perform
single cluster deploy.

Change-Id: Ief52580e954c602575c9bf8abe5733c100876c7f
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Collect log from rsyslog container"

Upgrade ODL version to Nitrogen SR1

JIRA: -

Currently compass uses ODL Nitrogen, however the latest ODL version
is Nitrogen SR1. So we upgrade to use the latest version to avoid
some bugs.

Change-Id: I8cc04955b9fc828eb3bc6096df6ac5b97438a259
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Collect log from rsyslog container

JIRA: COMPASS-579

the script collect-log.sh would be called by releng,
after all the deploy and tests job are complete.

Change-Id: Ic2604ca0650989bc13310377427694ededf75a9d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Update Barometer plugin to use collectd container

Modifies/updates the following to use a barometer container
from dockerhub for collectd.

/plugins/barometer/roles/collectd/tasks
/pluigns/barometer/roles/collectd/templates
/plugins/barometer/roles/collectd/vars
/plugins/barometer/roles/collectd/files

Change-Id: I627afd8fef12c4aa3ff5ac54a55d00f9567406f2
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Add tacker support in compass4nfv for Fraser

JIRA: COMPASS-577

1. Add tacker service into haproxy configuration file
2. Include tacker installation into setup-openstack.yml

Change-Id: I5a91766e034ec55af711029aac4ba9ed4a388db2
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Change gnocchi storage and increase the capacity of ceph"

Compass4nfv virtual deploy support direct connection

compass4nfv using nat for VM external network currently,
this patch add the direct connection method.
if want to use it ,you need set the NAT_EXTERNAL to false,
and configure the network.yml according to you environment

Change-Id: I5a1a2f96b8c32a00eaef4d591c4452b555f0c9a2
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Change gnocchi storage and increase the capacity of ceph

1. Change the gnocchi storage to ceph.
2. Change the size of loopback to 500GB
3. Change the ceilometer polling yaml
4. Run ceilometer-upgrade command
   and restart ceilometer service

Change-Id: I8948c7b7e340c11e5d05c06a7d54c0e1b807620c
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Enable neutron port trunk

JIRA: COMPASS-571

The network trunk service allows multiple networks to be connected to an
instance using a single virtual NIC (vNIC). Multiple networks can be presented
to an instance by connecting it to a single port. This is a highly relevant
feature for VNFs and hence for OPNFV as a reference NFVI.

This patch is about enabling the trunk port feature in Compass deployments.

Change-Id: I270c3f1d5e4af99578c8e1882fae12ddddaabe78
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Use run_dir instead of hard coding"

Change the scenario file for k8s api ha

1. Change the vm_environment config of k8-nosdn-nofeature-ha.yml
2. Change the hardware_environment  config of k8-nosdn-nofeature-ha.yml

Change-Id: Ia7654daf50c0c4b9f20e0851d41d25bf1051cb2d
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

Merge "spport k8s apiserver HA     compass installer deploy k8s using kubespray for default, but k8s apiserver HA  is not implemented by kubespray, This patch aim  is to achieve the k8s apiserver HA Change-Id: I805b5eb2f4efa7ca82fcef7bfd3f4cad35ed65b5 JIRA: - Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>"

deploy: remove gic version in arm vm template

GIC version is set to v2 in current Arm VM template, but ThunderX
only supports GICv3 which results in the failure to start VM. This
patch removes GIC version definition and let libvirt to figure out
the default value based on host system.

Change-Id: I0e487e13ee4192a705f635781b1071521f610db5
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Merge "Fix subnet create fail when disable ext-net"

Merge "docker-compose: support aarch64"

Merge "deploy/cobbler: drop tcp_tw_recycle in sysctl.conf"

spport k8s apiserver HA
    compass installer deploy k8s using kubespray for default,
but k8s apiserver HA  is not implemented by kubespray, This
patch aim  is to achieve the k8s apiserver HA
Change-Id: I805b5eb2f4efa7ca82fcef7bfd3f4cad35ed65b5
JIRA: -
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

Use run_dir instead of hard coding

Cluster name now can be set in DHA file
which makes ansible dir changeable. Use
run_dir variable to point to correct dir.

Change-Id: I673b0b472b86ce505a8ea29ce4fb3666b4b991bd
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Fix some hard coding for some ip assignments

JIRA: COMPASS-570

1. fix hard coding in ip assignments for
install network. support full ip assignments
from network.yml
2. remove some used config item in deploy/conf

Change-Id: I566b74f4a55e6b96af3ee9f41d1e183a73424a91
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Fix subnet create fail when disable ext-net

JIRA: COMPASS-575

Add missing condition check for subnet create
task.

Change-Id: Ibd25a7e7e4edd40be6b0f14bb8bffb828a65f648
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Support multi-cluster deploy"

Support multi-cluster deploy

JIRA: COMPASS-566

1. set DEPLOY_HOST to "true "no longer refresh
compass-core
2. patch depends on merged compass-tasks
3. support assign cluster name in scenario file

Change-Id: I28d201c201cff5baefee9993d195be16ef1e830b
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Using simplejson instead of json

JIRA: COMPASS-574

As Ansible upgrade patch will bring in json
module issue. Using simplejson module to
avoid module confusion.

Change-Id: I752b126e37753187fd74daa4fc6fe202f71eec24
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

docker-compose: support aarch64

Change-Id: I4b1bce45f8412af7076dca90bbb4c1193057d110
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Fetch kubernetes admin.conf for test

from kube_master fetch the admin.conf
to the directory /opt/admin.conf of compass-tasks docker

Change-Id: I1c236414c968f721d04fb6da0dc7a9514c892f93
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Change the ntp server in chrony conf

JIRA: -

Use the ntp server in compass-cobbler.

Change-Id: Ia5d3d8fb32ce51667841cec74622c7f0da929587
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Open log server of OSA

JIRA: -

Open log server of OpenStack Ansible to collect all of the
logs in each LXC. Then it will be very convenient to debug.

Change-Id: Iafd625a2af4eea04ff7528c9d8007bed1b218822
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Update the docker image source to use opnfv dockerhub

JIRA: -

Change the docker image source to opnfv dockerhub.

Change-Id: I5709c99844d5df29d9a429a72db23c8deaf9feb0
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Open fix_pip_version

Due to OSA commit id rollback, open this fix_pip_version
to fix ldap issue

Change-Id: I9d41f0dcb04ecdc3d73b92a5da6fa254b5246045
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "change the failure judgement condition for setup-openstack"

change the failure judgement condition for setup-openstack

1. Don't check failed=1 instead of checking the last task name.
2. comment the fix pip version yml

Change-Id: I3c22074f319a1d0f1ae0f3df43ca6e10ec684aac
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Remove the /var/log/osa directory if exist"

fix the lz4 packages dependence

1. install pkgconfig
2. mv the tasks of fixing pip issue out of the main script

Change-Id: Icc08a3c461690d1d6747455479df0a58d87d22da
Signed-off-by: wutianwei <wutianwei1@huawei.com>

deploy/cobbler: drop tcp_tw_recycle in sysctl.conf

Currently, tcp_tw_recycle is set explicitly in sysctl.conf when
installing OS by cobbler. This option is removed in kernel4.12,
current sysctl.conf breaks sysctl function and K8s deployment.

Actually, tcp_tw_recycle is considered broken and not recommended to
use. We may simply drop this option to be compatible with different
kernel versions.

References:
- https://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux
- https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=4396e46187ca5070219b81773c4e65088dac50cc

Change-Id: I2cd89db3d423c811ba58eb5960f3cc718475be5f
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Add compass-docker-compose

1. Add ansible for docker compose containerized
compass
2. deploy/conf/compass.conf no longer specify
image tags for runtime. build.yaml now is added
into compass tarball to be the only place determine
image tags
3. This patch is based on patch:
https://gerrit.opnfv.org/gerrit/#/c/47393/
use merged compass-tasks
4. Tempoarily using private docker repo for
compass-tasks. Switch to opnfv repo when patch
https://gerrit.opnfv.org/gerrit/#/c/47329/
is merged
5. Modify ansible callback module accrodingly

Change-Id: I0728a9002a1cc7804c9e8f13bd1afdccb684a159
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Bug fix for chrony configuration"

Merge "Update OS pattern for kubernetes"

Merge "deploy/k8s: support k8s deployment on aarch64"

Merge "deploy/conf: separate x86 and AArch64 docker image naming"

Bug fix for chrony configuration

JIRA: -

Set "security_ntp_servers" to use only one server;
Correct the path of chrony key for centos deployment.

Change-Id: I3050018fe07c51912e0b52a1c5c7ce2dd4d3f6ce
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Bug fix for the random failure of nova cell_v2 discovery"

Bug fix for the random failure of pip_install

JIAR: -

For centos deployment, it sometimes fails when
run the role: pip_install due to the network
is not so stable. So we add some retyies here
to avoid the failure.

Change-Id: I9774e5be4d42a66f8cf377ec83161b200266d3d0
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Bug fix for the random failure of nova cell_v2 discovery

JIRA: -

Sometimes nova cell_v2 fails to discovery the compute
hosts. So we add some retries to makr sure cell_v2
discovery success.

Change-Id: I74af78667f2718b10b8cbb1e9c7c8d8d3b4b297e
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Remove the /var/log/osa directory if exist

generate password again to ensure the password is different everytime

Change-Id: I8c88266e724922301f4411b330d7d7154bfb250e
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Update OS pattern for kubernetes

Ubuntu iso has been  updated to 16.04.3 and
Centos iso has been  updated to 7.17. Update
os pattern in adapter conf for kubernetes to
avoid deploy failure

Change-Id: Ib11c738a4917f736326f6003e33b1c4268b0b7cd
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

add the DNS server when run in intel lab

Change-Id: I07a9de2f1ed337e289d19241757db0e128ac595d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Update Barometer's collectd plugin to Pike"

Merge "Add collectd role to compute host only"

Merge "add the barometer dha file for CI running huawei-pod1 huawei-pod2 intel-pod17"

Add collectd role to compute host only

Change-Id: Ibe7d8cb58590da79442a02c4f0e57434eea0e5e4
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

add the barometer dha file for CI running
huawei-pod1
huawei-pod2
intel-pod17

Change-Id: Icc592d070a7835245f706699df6927af296bf5bd
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Bug fix for CentOS BM deployment

JIRA: -

In order to configure network for OSA deployment,
it's needed to install some packages, such as
bridge-utils, iputils, etc. So we configure
external network before using yum to install
packages.

Change-Id: I87864d6bdae79184aa82223f77b6ced1d0e9cf26
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

deploy/conf: separate x86 and AArch64 docker image naming

Latest update hard-coded some docker image names, which breaks
the deployment on Arm platform. This patch fixes the issue by
distinguishing docker image naming on different architecture.

This is an interim solution, and in the future, we may leverage
docker multi arch support to use consistent naming for
different architectures.

Change-Id: I5c59c12fb250c4e09d83582640e248075b5f7373
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

deploy/k8s: support k8s deployment on aarch64

Kubespray default variables are for x86_64. To support deploying
AArch64 node, many variables must be redefined. This patch adds a
file to override default kubespray variables, so we can track all
changes in compass4nfv code.

Change-Id: Ic6180ea9c50302d1a6cef1e0e7a3abea6699ef55
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Update Barometer's collectd plugin to Pike

Updates collectd-ceilometer-plugin code
from stable/ocata to stable/pike.

Change-Id: Idf62f870f2276c8b83249e01d6ed5714a08caa90
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Merge "Add CentOS 7.4 support for OpenStack Pike"

Add CentOS 7.4 support for OpenStack Pike

JIRA: COMPASS-565

After this patch merged, compass can deploy OpenStack Pike on
CentOS 7.4. Due to some upstream bugs, we add some fixes in
this patch, e.g. add libvirt to os-cinder, remove a useless
repo after installing

Change-Id: Ibc1e6f1ed103daf2d70a8ae1d7c04f77d1545c41
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Add DHA and network files for intel pod17"

Add plugin for Barometer.

Change-Id: I5049805eb4e2e2c5e2cc87772afe6650253be36c
Signed-off-by: John Hinman <john.hinman@intel.com>
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Fix the python-ldap version

when python-ldap is newest version, there are some issues in dependence

Change-Id: I29f30900733cdd87d922b17da0f7c551b7cbdc90
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "fix scenrios file link when k8s deployment"

Add DHA and network files for intel pod17

Intel Pod17 is ready now, this patch is proposed to add
DHA and network yml files for it. Then we can run some
daily BM deployments on it.

Change-Id: I1431295b3f7c70afb6ee77979e0eb75972d94bc1
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

fix scenrios file link when k8s deployment

Change-Id: Ibf64258b368393a0805868501e367f32b28bbe81
Signed-off-by: chigang <chigang@huawei.com>

Upgrade OpenStack version from Ocata to Pike

JIRA: COMPASS-565

For OPNFV F release, it's going to use OpenStack Pike as the NFVI
component. This task is created to monitor the upgrade work of
OpenStack Pike. Subtasks as follow:
- Add Pike related configurations to compass_conf
- Upgrade ubuntu os to ubuntu 16.04.3
- Upgrade centos os to centos 7.4
- Upgrade openstack-ansible from ocata to pike
- Upgrade openstack repos from ocata to pike

Change-Id: I2202e8e3ae23dae8e575c89170c9e5e057757870
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Support the scenario for installing kubernetes in ubuntu system"

Upgrade the jumphost offline support

JIRA: -

1. Add support for ubuntu 16.04.3
2. Update the package building scripts for ubuntu 14.04.3
3. Remove some hard code

Change-Id: I96e587b6b3aa2c39e14e5b0ec7db82b460e1fb29
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Fix centos kickstart_done snippet"

Merge "fix locale setting: Cannot set LC_ALL to default locale"

Merge "deploy/conf: support configurable docker registry"

Merge "build: support aarch64 deployment images"

Merge "cobbler: support aarch64"

Merge "deploy/template/vm: support aarch64 VM"

Merge "k8s: add package repo for aarch64"

Merge "Install networking-sfc for non odl-sfc scenarios"

Merge "Add timeout and delay time to fix the reboot problem of rt_kvm scenario"

fix locale setting: Cannot set LC_ALL to default locale

Change-Id: I050a17d5f61a31f8690b41bb70b2ea312aa50ab1
Signed-off-by: Di Xu <di.xu@arm.com>

deploy/template/vm: support aarch64 VM

- Use architecture specific host-ARCH.xml if available, otherwise
  fallback to default host.xml(x86_64).
- Add "--nvram" to undefine UEFI enabled VMs.

Change-Id: I89a0eb3875f98d18a28463bbf1004f5eca5de324
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Merge "build: add docker-ce apt repo for aarch64"

Add timeout and delay time to fix the reboot problem
of rt_kvm scenario

JIRA: -

The rt_kvm scenario deployment always fails on Huawei Pod2 while
running reboot task. However it's fine on Huawei Pod1. We think
it may be caused by the performance of Pod1. Pod1 truely has a lower
performance than Pod2. So we add timeout and delay time to verify
our idea.

Change-Id: I56acc88354abcdd4ba72c7d24980033871972688
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Install networking-sfc for non odl-sfc scenarios

JIRA: -

Currently we only install networking-sfc for odl-sfc scenario,
however someone may use native neutron sfc functionality.So we
propose this patch to add installation of networking-sfc for non
odl scenarios.

Change-Id: I4527387626f0c14fb6af135c511d0fd783b8f624
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "URL correction for quickstart"

Fix centos kickstart_done snippet

Bug:
CentOS-7-Minimal-1611-x86_64 image doesn't contain
wget package and kickstart_done snippet use wget to
call cobbler api to set netboot enable to false.
This way if host installed centos which is not set
to boot from disk will stuck in pxe loop

Solution:
Use curl instead of wget in kickstart_done

Change-Id: I0414adab72047a367b7cb15fe6a5537c76234972
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Support the scenario for installing kubernetes in ubuntu system

JIRA: -

Currently we only support the the scenario for installing kubernetes
in centos system. This patch is to install kubernetes in ubuntu system

Change-Id: Idc5eafea5d02c28c62a31e4c29451b8c5aaf1fd5
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

Merge "Auto start bridge on jumphost"

build: support aarch64 deployment images

- Use per architecture build-ARCH.yaml if available
- Repos for aarch64 OS and docker images are passed by env

Change-Id: Id7f9ca6dad690b8d375a3d8f488c7bf955a128ad
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

build: add docker-ce apt repo for aarch64

Change-Id: I5b3c30e6202c4db45d02221d3e4b7e7250b1fd01
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

k8s: add package repo for aarch64

Use architecture specific repo if available, otherwise fallback to
default(x86_64) repo.

Change-Id: I82f483494827564ae0e294d0c88c4080338c5634
Signed-off-by: Yibo Cai <yibo.cai@arm.com>