Merge "add a multus with sriov interfaces installation"

add a multus with sriov interfaces installation

Support deploying multus sriov CNI plugins by setting
environment "kube_network_plugin" to "sriov".

Change-Id: I3672fd7b6036063bdee57450c2100f39aa5ef68b
Signed-off-by: Di Xu <di.xu@arm.com>

Merge "Remove the password of openstack services in compass4nfv"

Add git package for k8s deployment

JIRA: -

Ks8 deployment doesn't install git, this will cause failure in
Stor4nfv scenarios. So proposing this patch to solve this.

Change-Id: I98ab0b3a2a5f46eb1eebd4ea94fb60ccafe10272
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Remove the password of openstack services in compass4nfv

JIRA: COMPASS-586

There are lots of hardcode about openstack service name and password.
We would generate the services password randomly when running role config-osa.

Change-Id: Ia0fec0c95a99d378febc837794e8ff550d10af4f
Signed-off-by: wutianwei <wutianwei1@huawei.com>

deploy/conf: add arm baremetal pod configuration

- k8-nosdn-nofeature-noha.yml: 1 master + 1 slave
- k8-nosdn-nofeature-ha.yml: 3 masters + 2 slaves

Change-Id: I7cf4bfd7264bfdaf6d89841c8f39daf0d3d6bae2
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

move the update cache after role of setup-k8s-network

If don't setup network, the host cannot connect to the Internet on baremetal pod.
So we should update cache after setting the network.

Change-Id: Ief0eb2d82c67b0ace2cfb233b9792f6e009a1524
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Update Stor4nfv plugin with nbp csi install"

Merge "Auto Generated INFO.yaml file"

Add judgement for k8s stor4nfv

Don't run storage roles when scenario isn't stor4nfv

Change-Id: Ia8e65c90b58533427e74bad225aaa962d2583934
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "modify the intel-pod17 k8s dha file"

Merge "Update Barometer plugin - follow-up patch"

Update Stor4nfv plugin with nbp csi install

Change-Id: Ia32ea3c29b78f18aae258fa89b017e894b09301f
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Merge "Enable CSI plugin for Stor4nfv scenario"

Enable CSI plugin for Stor4nfv scenario

JIRA: -

Add some configurations to enable CSI plugin in k8s v1.9 which
is used by Stor4nfv scenario.

Change-Id: I78e0b39f31ff666eace50921c691107154dcb249
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

modify the intel-pod17 k8s dha file

Change-Id: I06e53449a68d8b4291e5c9c4682f42410f28ef68
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Add dha files

Add the huawei-pod1 and huawei-pod2 k8s dha files

Change-Id: Id191c6d18508f15d9032a2cb3d0f563c059a7d53
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "set the kubernetes variable"

set the kubernetes variable

According to DEPLOY_SCENARIO, we set different nfvi and distro.

Change-Id: I3082923fc7d4a1309c1de83f988f831d67c10d64
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Set storage role optional

JIRA: -

storage_master and storage_node role are
currently required in kubernetes scenario
which cause scenario with no storage_master
or storage_node fails to be deployed.

Change-Id: I0fd28a7fd4a6161be96044382ea509832473dc71
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "doc: add arm deployment guide"

Add plugin for Stor4nfv for k8s deploy

- Adds 'stor4nfv' plugin which installs OpenSDS using stor4nfv.
- Adds k8s-nosdn-stor4nfv-ha scenario file.
- Adds k8s-nosdn-stor4nfv-noha scenario file.

Change-Id: Iee718a48994ad4e55f4b7a01933bd4e7773ac67f
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Merge "build/arm64: separate compass-tasks"

Update Barometer plugin - follow-up patch

Modifies/updates the following:

- Adds Hostname and enables all plugins in default_plugins
- Adds rrdtool conf template
- Adds a check to enable ExtraStats in virt conf
  only when rdt is not available.

Change-Id: I7af7d86fadcaa0ccf3ba2b67d58c37e37ba84a73
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Merge "add a multus with 2 fannel interfaces installation"

Support featrue plugin for k8s

JIRA: COMPASS-587

Enable plugin siwtch list for k8s scenario.

Change-Id: Id9286567faf47be2bbaa7982a6fcadea92e16ad2
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "deploy/conf: add ha role to k8 scenario"

doc: add arm deployment guide

Change-Id: Ib66003003ea4697e9634201802e9169bc53a8ade
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

add a multus with 2 fannel interfaces installation

Support deploying multus multiple flannel CNI plugins by setting
environment "kube_network_plugin" to "2flannel".

Change-Id: I23a3d42452b4a5e0858a18934f508649f5961e7a
Signed-off-by: Di Xu <di.xu@arm.com>

deploy/conf: add ha role to k8 scenario

Only K8s ha scenario is supported now. This noha scenario is broken.
Add minor fixup so we can still use it to deploy K8s on two nodes.

Change-Id: I3a763fe07ea2d31cd3ae049621e3d978c1bca4be
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Update the odl_sfc plugin to use the latest version

JIRA: -

We have upgraded odl version to nitrogen SR1. So this patch
we are going to update the odl_sfc plugin to satisfy the
latest odl version.

Change-Id: I7342fad58c0ae21f918e27e9d72deae214c2af4e
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

build/arm64: separate compass-tasks

Follow up https://gerrit.opnfv.org/gerrit/51227/

Change-Id: I9d86af5fe0c74b4fb06e018e783220ee6b8728ee
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Merge "change k8s version to v1.9.1"

change k8s version to v1.9.1

JIRA: -

1. compass4nfv can deploy v1.9.1  kubernetes
2. end user can use the kubernetes dashboard

Change-Id: I274dda38599da95f382dfcb4159b530da8422fd8
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

Add workaround for horizon image upload issue

JIRA: COMPASS-573

1. With HORIZON_IMAGES_UPLOAD_MODE set to direct
Horizon provides the endpoint for Glance based on
OPENSTACK_ENDPOINT_TYPE. If OPENSTACK_ENDPOINT_TYPE
is set to internalURL any browser outside the internal
network is unable to upload image. Add ansible task to
set HORIZON_IMAGES_UPLOAD_MODE to legacy as a workaround.

2. Add ansible lookup plugin to get openstack release

3. set openstack_release into group_vars/all in config-osa
to make this variable readable for other tasks

Change-Id: I9ef358e1f4acb0c329a032e18359de12284f3b56
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Bug fix for tacker installation on centos7

JIRA: -

Currently there is no variable definition file of tacker
for centos in os_tacker repo. This will lead an error
while including vars on centos deployment. So this patch will
add a file named "redhat-7.yml" for centos.

Change-Id: I965834adb0d2d25e5a68a9c7dbb397342108078f
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Fix some hard coding for some ip assignments"

Merge "deploy: remove gic version in arm vm template"

Merge "Ansible callback support both V2.3 and V2.4"

Merge "Upgrade ODL version to Nitrogen SR1"

Merge "Seperate compass-tasks"

Merge "Compass4nfv virtual deploy support direct connection"

Merge "Update Barometer plugin to install influxdb, grafana"

Merge "Update Barometer plugin to use collectd container"

Auto Generated INFO.yaml file

INFO.yaml meant to be machine readable.
This file was auto generated from an ldap lookup
and your projects INFO file.

Meeting times are not currently filled out.
please ammend this patchset to complete

Going forward comitter promotions should be done
against this file.

PTLs:
Must be merged for you to gain delete access on
testresults.opnfv.org

Change-Id: I3144202a10825e7907be09cc3c66a4227c34064c
Signed-off-by: agardner <agardner@linuxfoundation.org>

Update Barometer plugin to install influxdb, grafana

Adds/updates the following to install influxdb and grafana on the
controller. Configures them to receive collectd data from the compute.

/plugins/barometer/roles/influxdb
/pluigns/barometer/roles/grafana
/deploy/adapters/ansible/openstack/HA-ansible-multinodes.yml

Change-Id: Ie33489e9834da5bb5c77b392451b81cf44a849d6
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Ansible callback support both V2.3 and V2.4

JIRA: COMPASS-585

1. Add conditional branch to support both ansible
versions
2. Keep callback in ansible_plugins directory which
will contains all plugins upcoming in the future

Change-Id: I11f3d9700e07ad5bd7f03ad56f4e0bc061df05ec
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Seperate compass-tasks

JIRA: -

1. Keep openstack-ansible in compass-tasks-osa.
Keep kubespray in compass-tasks-k8s. Build
different compass-tasks in one tar ball. Identify
which one to use during docker-compose.

2. Temporarily using private docker repo.

3. COMPOSE_IMAGES is used to controll which components
to form compass-core regardless of specific repo. Set
default value for openstack and kubernetes when perform
single cluster deploy.

Change-Id: Ief52580e954c602575c9bf8abe5733c100876c7f
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Collect log from rsyslog container"

Upgrade ODL version to Nitrogen SR1

JIRA: -

Currently compass uses ODL Nitrogen, however the latest ODL version
is Nitrogen SR1. So we upgrade to use the latest version to avoid
some bugs.

Change-Id: I8cc04955b9fc828eb3bc6096df6ac5b97438a259
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Collect log from rsyslog container

JIRA: COMPASS-579

the script collect-log.sh would be called by releng,
after all the deploy and tests job are complete.

Change-Id: Ic2604ca0650989bc13310377427694ededf75a9d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Update Barometer plugin to use collectd container

Modifies/updates the following to use a barometer container
from dockerhub for collectd.

/plugins/barometer/roles/collectd/tasks
/pluigns/barometer/roles/collectd/templates
/plugins/barometer/roles/collectd/vars
/plugins/barometer/roles/collectd/files

Change-Id: I627afd8fef12c4aa3ff5ac54a55d00f9567406f2
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Add tacker support in compass4nfv for Fraser

JIRA: COMPASS-577

1. Add tacker service into haproxy configuration file
2. Include tacker installation into setup-openstack.yml

Change-Id: I5a91766e034ec55af711029aac4ba9ed4a388db2
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Change gnocchi storage and increase the capacity of ceph"

Compass4nfv virtual deploy support direct connection

compass4nfv using nat for VM external network currently,
this patch add the direct connection method.
if want to use it ,you need set the NAT_EXTERNAL to false,
and configure the network.yml according to you environment

Change-Id: I5a1a2f96b8c32a00eaef4d591c4452b555f0c9a2
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Change gnocchi storage and increase the capacity of ceph

1. Change the gnocchi storage to ceph.
2. Change the size of loopback to 500GB
3. Change the ceilometer polling yaml
4. Run ceilometer-upgrade command
   and restart ceilometer service

Change-Id: I8948c7b7e340c11e5d05c06a7d54c0e1b807620c
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Enable neutron port trunk

JIRA: COMPASS-571

The network trunk service allows multiple networks to be connected to an
instance using a single virtual NIC (vNIC). Multiple networks can be presented
to an instance by connecting it to a single port. This is a highly relevant
feature for VNFs and hence for OPNFV as a reference NFVI.

This patch is about enabling the trunk port feature in Compass deployments.

Change-Id: I270c3f1d5e4af99578c8e1882fae12ddddaabe78
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Use run_dir instead of hard coding"

Change the scenario file for k8s api ha

1. Change the vm_environment config of k8-nosdn-nofeature-ha.yml
2. Change the hardware_environment  config of k8-nosdn-nofeature-ha.yml

Change-Id: Ia7654daf50c0c4b9f20e0851d41d25bf1051cb2d
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

Merge "spport k8s apiserver HA     compass installer deploy k8s using kubespray for default, but k8s apiserver HA  is not implemented by kubespray, This patch aim  is to achieve the k8s apiserver HA Change-Id: I805b5eb2f4efa7ca82fcef7bfd3f4cad35ed65b5 JIRA: - Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>"

deploy: remove gic version in arm vm template

GIC version is set to v2 in current Arm VM template, but ThunderX
only supports GICv3 which results in the failure to start VM. This
patch removes GIC version definition and let libvirt to figure out
the default value based on host system.

Change-Id: I0e487e13ee4192a705f635781b1071521f610db5
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Merge "Fix subnet create fail when disable ext-net"

Merge "docker-compose: support aarch64"

Merge "deploy/cobbler: drop tcp_tw_recycle in sysctl.conf"

spport k8s apiserver HA
    compass installer deploy k8s using kubespray for default,
but k8s apiserver HA  is not implemented by kubespray, This
patch aim  is to achieve the k8s apiserver HA
Change-Id: I805b5eb2f4efa7ca82fcef7bfd3f4cad35ed65b5
JIRA: -
Signed-off-by: hu xinhui <xinhui_hu@foxmail.com>

Use run_dir instead of hard coding

Cluster name now can be set in DHA file
which makes ansible dir changeable. Use
run_dir variable to point to correct dir.

Change-Id: I673b0b472b86ce505a8ea29ce4fb3666b4b991bd
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Fix some hard coding for some ip assignments

JIRA: COMPASS-570

1. fix hard coding in ip assignments for
install network. support full ip assignments
from network.yml
2. remove some used config item in deploy/conf

Change-Id: I566b74f4a55e6b96af3ee9f41d1e183a73424a91
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Fix subnet create fail when disable ext-net

JIRA: COMPASS-575

Add missing condition check for subnet create
task.

Change-Id: Ibd25a7e7e4edd40be6b0f14bb8bffb828a65f648
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Support multi-cluster deploy"

Support multi-cluster deploy

JIRA: COMPASS-566

1. set DEPLOY_HOST to "true "no longer refresh
compass-core
2. patch depends on merged compass-tasks
3. support assign cluster name in scenario file

Change-Id: I28d201c201cff5baefee9993d195be16ef1e830b
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Using simplejson instead of json

JIRA: COMPASS-574

As Ansible upgrade patch will bring in json
module issue. Using simplejson module to
avoid module confusion.

Change-Id: I752b126e37753187fd74daa4fc6fe202f71eec24
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

docker-compose: support aarch64

Change-Id: I4b1bce45f8412af7076dca90bbb4c1193057d110
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Fetch kubernetes admin.conf for test

from kube_master fetch the admin.conf
to the directory /opt/admin.conf of compass-tasks docker

Change-Id: I1c236414c968f721d04fb6da0dc7a9514c892f93
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Change the ntp server in chrony conf

JIRA: -

Use the ntp server in compass-cobbler.

Change-Id: Ia5d3d8fb32ce51667841cec74622c7f0da929587
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Open log server of OSA

JIRA: -

Open log server of OpenStack Ansible to collect all of the
logs in each LXC. Then it will be very convenient to debug.

Change-Id: Iafd625a2af4eea04ff7528c9d8007bed1b218822
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Update the docker image source to use opnfv dockerhub

JIRA: -

Change the docker image source to opnfv dockerhub.

Change-Id: I5709c99844d5df29d9a429a72db23c8deaf9feb0
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Open fix_pip_version

Due to OSA commit id rollback, open this fix_pip_version
to fix ldap issue

Change-Id: I9d41f0dcb04ecdc3d73b92a5da6fa254b5246045
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "change the failure judgement condition for setup-openstack"

change the failure judgement condition for setup-openstack

1. Don't check failed=1 instead of checking the last task name.
2. comment the fix pip version yml

Change-Id: I3c22074f319a1d0f1ae0f3df43ca6e10ec684aac
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Remove the /var/log/osa directory if exist"

fix the lz4 packages dependence

1. install pkgconfig
2. mv the tasks of fixing pip issue out of the main script

Change-Id: Icc08a3c461690d1d6747455479df0a58d87d22da
Signed-off-by: wutianwei <wutianwei1@huawei.com>

deploy/cobbler: drop tcp_tw_recycle in sysctl.conf

Currently, tcp_tw_recycle is set explicitly in sysctl.conf when
installing OS by cobbler. This option is removed in kernel4.12,
current sysctl.conf breaks sysctl function and K8s deployment.

Actually, tcp_tw_recycle is considered broken and not recommended to
use. We may simply drop this option to be compatible with different
kernel versions.

References:
- https://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux
- https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=4396e46187ca5070219b81773c4e65088dac50cc

Change-Id: I2cd89db3d423c811ba58eb5960f3cc718475be5f
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Add compass-docker-compose

1. Add ansible for docker compose containerized
compass
2. deploy/conf/compass.conf no longer specify
image tags for runtime. build.yaml now is added
into compass tarball to be the only place determine
image tags
3. This patch is based on patch:
https://gerrit.opnfv.org/gerrit/#/c/47393/
use merged compass-tasks
4. Tempoarily using private docker repo for
compass-tasks. Switch to opnfv repo when patch
https://gerrit.opnfv.org/gerrit/#/c/47329/
is merged
5. Modify ansible callback module accrodingly

Change-Id: I0728a9002a1cc7804c9e8f13bd1afdccb684a159
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Bug fix for chrony configuration"

Merge "Update OS pattern for kubernetes"

Merge "deploy/k8s: support k8s deployment on aarch64"

Merge "deploy/conf: separate x86 and AArch64 docker image naming"

Bug fix for chrony configuration

JIRA: -

Set "security_ntp_servers" to use only one server;
Correct the path of chrony key for centos deployment.

Change-Id: I3050018fe07c51912e0b52a1c5c7ce2dd4d3f6ce
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Bug fix for the random failure of nova cell_v2 discovery"

Bug fix for the random failure of pip_install

JIAR: -

For centos deployment, it sometimes fails when
run the role: pip_install due to the network
is not so stable. So we add some retyies here
to avoid the failure.

Change-Id: I9774e5be4d42a66f8cf377ec83161b200266d3d0
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Bug fix for the random failure of nova cell_v2 discovery

JIRA: -

Sometimes nova cell_v2 fails to discovery the compute
hosts. So we add some retries to makr sure cell_v2
discovery success.

Change-Id: I74af78667f2718b10b8cbb1e9c7c8d8d3b4b297e
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Remove the /var/log/osa directory if exist

generate password again to ensure the password is different everytime

Change-Id: I8c88266e724922301f4411b330d7d7154bfb250e
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Update OS pattern for kubernetes

Ubuntu iso has been  updated to 16.04.3 and
Centos iso has been  updated to 7.17. Update
os pattern in adapter conf for kubernetes to
avoid deploy failure

Change-Id: Ib11c738a4917f736326f6003e33b1c4268b0b7cd
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

add the DNS server when run in intel lab

Change-Id: I07a9de2f1ed337e289d19241757db0e128ac595d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Update Barometer's collectd plugin to Pike"

Merge "Add collectd role to compute host only"

Merge "add the barometer dha file for CI running huawei-pod1 huawei-pod2 intel-pod17"

Add collectd role to compute host only

Change-Id: Ibe7d8cb58590da79442a02c4f0e57434eea0e5e4
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

add the barometer dha file for CI running
huawei-pod1
huawei-pod2
intel-pod17

Change-Id: Icc592d070a7835245f706699df6927af296bf5bd
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Bug fix for CentOS BM deployment

JIRA: -

In order to configure network for OSA deployment,
it's needed to install some packages, such as
bridge-utils, iputils, etc. So we configure
external network before using yum to install
packages.

Change-Id: I87864d6bdae79184aa82223f77b6ced1d0e9cf26
Signed-off-by: Yifei Xue <xueyifei@huawei.com>