from controller node fetch os_cert

Change-Id: I2d1cbc6948d2cea1ccb852ed23033d5ddc6393e4
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Support multiple physnet mapping

JIRA: COMPASS-559

1. support multiple mapping in provider_net_mappings
of network.yml and create corresponding ovs bridges
2. support seperate config in sys_intf_mappings
of network.yml
3. remove linux bridges in compute nodes for ovs
port binding convenience
4. support openstack vlan tenant network
5. modify odl and odl_sfc roles to use configurable
provider mapping
6. remove some hard coding

Change-Id: Ib57484ce60d029f89c647fd5baf2c7af37c85d0b
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Support offline deployment for nosdn no feature scenario"

Support offline deployment for nosdn no feature scenario

JIRA: -

Add a repo docker which includes ubuntu PPA and python packages
used for offline deployment.

Change-Id: Iad9b0df7f33f5a7ab974c5deffb408fc93b3f3ad
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Fix install netmask

Netmask of install network is parsed from
netwok.yml now. A var named INSTALL_NETWORK
will be generated in script/deploy_config.sh
and exported. But var of install mask in
deploy/network.sh is called INSTALL_MASK.
This mismatch cause empty netmask of install
network.

Change-Id: I2a468844a74a9c38481615d6353149fa74ccbcd9
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Fix docker install"

Docs update for E release

JIRA: -

Update the structure of docs directory.
Update the docs for E release.
Add some new docs for E release.

Change-Id: Ib4b6aced3d6ac88404d8518b5461e20d26e017e1
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Fix docker install

Docker install only exist in off-line deploy
flow. Add it into normal deploy flow.

Change-Id: I2addf54eb6f74cb8faf799db343d84eaacea9fcb
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

support the noha scenario

1. add parameter to install keepalived when only one controller
2. change the osa code to start keepalived and haproxy
3. add the noha DHA files
4. fix the setup ovs bug
5. fix the pod1 public vip

Change-Id: I19f4e78b9ca834ae3d454e1c8058728ece055f69
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Make the storage use ceph"

Make the storage use ceph

1. ceph.yml define which host install ceph-mon and ceph-osd
2. user_ceph.yml define variables of ceph and cinder backend
3. user_variables_ceph.yml.j2 define variables of ceph for user

Change-Id: Iafea998f4603eb4b5c15a26f2387e6cb04c35d4c
Signed-off-by: wutianwei <wutianwei1@huawei.com>

fix loss of group vars definition

JIRA:-
TASK [moon : configure moon.conf for moon slave]
fatal: [host5]: FAILED! => {"failed": true, "msg": "'moon_slave_name' is undefined"}
https://build.opnfv.org/ci/job/compass-deploy-virtual-daily-master/3311/console

Change-Id: Ic6211ef7017e0ed794718f1705ba566af370ea49
Signed-off-by: chigang <chigang@huawei.com>

Modify moon network

1. modify interface file for moon according
to new network structure
2. modify some ips for pods running master

Change-Id: Idfca20c8e101222d27847fcac4f12ba21a1b5a67
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Adapt network.yml to OpenStack Ansible

JIRA:COMPASS-557

1. modify sys_intf_mappings and ip_settings in
network.yml to synchronize with OSA network.
networks compass build will be mgmt, external,
tenant, storage.
2. modify compass_conf to support new netwok.yml
3. fix some hard coding when transfer ip parameters
4. support heterogeneous network

Change-Id: Ib4a8af1f96a40e6456242e3dc2b456e0c8c17c2e
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Edit Expansion Guide

JIRA: -

mgmt and storage's network ip_ranges start ip needs update as the
first 6 IPs are already taken by the first deployment.

Change-Id: Iee01852c04ea7638999f664d567caaea060bdaf9
Signed-off-by: liyuenan <liyuenan@huawei.com>

Merge "Create endpoint in different region"

yardstick installation for compass4nfv

JIRA: COMPASS-552

This patch adds changes to install yardstick on jump host.

Change-Id: Id389d253f948a19cb682d54bd95bfbc3139ceb39
Signed-off-by: Manjunath Ranganathaiah <manjunath.ranganathaiah@intel.com>

fix bugs for functest and moon baremetal

1. functest change the judgement condition, the DOMAIN_NAME need use Default instead of default
2. making the eth0 down and up to change the route in baremetal deploy

Change-Id: I7dacf59cdd0c4db396b2db8b0a5fdd7003829391
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix OS install bug

There is a missing indent in the judgement
code block for OS installation complete which
cause OS installation complete only affected
by the state of host1

Change-Id: I5d470aef93b65ca77d290e596a4fefd62a82517b
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Switch to compass4nfv docker repo"

Switch to compass4nfv docker repo

Dynamic inventory support for compass4nfv/compass-tasks-osa
is ready, switch docker repo.

Change-Id: I9ad5cd1cc860dd649cf43c6d5f1ea1e7c39e20fc
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

enalbe pass-through cpumode for virtual deployment

JIRA:-

For KVM scenario, each host should set cpumode pass-through,
otherwise instances will fail to launch.

Change-Id: If58dca1ad590203f6e8de36e44c242252350ad19
Signed-off-by: chigang <chigang@huawei.com>

Merge "Configurate moon host"

Merge "Correct the DHA name of SFC scenario"

Configurate moon host

1. configurate  network
2. change the apt sources.list

Change-Id: I93336d48b02846192f47eb1d64a63b50190863e9
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Correct the DHA name of SFC scenario

The DHA name of SFC scenario in compass4nfv repo is "
os-odl_l3-sfc-ha.yml". However, the scenario name on
CI master is "os-odl-sfc-ha.yml". So CI failed when read
DHA file. THis patch is proposed to fix this problem.

Change-Id: Icb8db6c6c023a794bdd803d0365d719a853dc712
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Run odl_l2-moon scenario in compass

Change-Id: I5deff9d6322708e8bf1dfd7d82b5a891334bffca
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Add ODL SFC support

Add SFC support for Ocata and Carbon.
1. Add ovs-nsh package for sfc scenario
2. Add sfc configuration and tasks
3. Add sfc DHA files

Change-Id: Icf8f20220a2c5ac38a5b92d3ca0e24cbb0e89a52
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Change "Default" to "default" in openrc"

Merge "Add moonv4 into Compass4nfv"

Change "Default" to "default" in openrc

when OS_USER_DOMAIN_NAME and OS_PROJECT_DOMAIN_NAME
is Default in openrc, it will cause some issue in
functest.

Change-Id: I39a7a3712ac2311076c45caed70c0c4c2036b561
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Add moonv4 into Compass4nfv

JIRA:-

To deploy moon master, export MOON_CFG env like below compass deploy:
export MOON_CFG="master:flag=Disable,slave:flag=Enable,slave:name=slave1,slave:master_ip=master_ip"

To deploy moon slave, export MOON_CFG env like below compass deploy:
export MOON_CFG="master:flag=Enable,slave:flag=Disable,slave:name=slave1,slave:master_ip=master_ip"

Change-Id: I21c0186a029c508d390c69112b43510d9c5b9c5c
Signed-off-by: chigang <chigang@huawei.com>

Merge "Update notes when OpenStack installaion complete"

Fix plugin switch

Add plugin switch in group_vars/all which missed when
upgrade to dynamic inventory

Change-Id: I71927bce552dca89bc6182abc9f721d5222f2be6
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Update notes when OpenStack installaion complete

JIRA:-

Change-Id: Ie007baa4bbfb3f6860101b0e720315047c497c0d
Signed-off-by: chigang <chigang@huawei.com>

Merge "Functest needs huawei virtual5 to test alpine"

Dynamic Inventory

JIRA: COMPASS-556

1. using dynamic ansible inventory
2. modify Class AnsibleInstaller in compass-tasks
3. modify compass conf to support this behavior
4. specify docker image in /deploy/conf/compass.conf
5. remove clusterhost status update in playbook_done.py

Change-Id: I04079547c8b251571ae4e5b165d3bf425b8913b7
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Functest needs huawei virtual5 to test alpine

They want to use jenkins to trigger the build.
So it need to add the huawei-virtual5 network*.yml

Change-Id: Icb8d5d8f574fbbc4674ab1c61a0e3c0c3325f2d4
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Adjust the plugins directory structure

JIRA:-

Since there may be multiple roles in one plugin, so add
a level of roles to the directory.
Move the copy operation of ODL from configure_osa to
a new setup-opendaylgiht role.
Add excute_order in the plugin description of ODL.

Change-Id: I905fb84b11df201dc1436ec888f511e251bba89c
Signed-off-by: Yifei Xue <xueyifei@huawei.com>
Signed-off-by: chigang <chigang@huawei.com>

Merge "Change the BMC password of POD"

Change the BMC password of POD

For security, we change the password to Opnfv@pod

Change-Id: I647af6db65c89fb0feee7936a3747abbab735ab7
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "To judge download is successful or not"

Merge "Add real time kvm feature from kvmfornfv project"

Add real time kvm feature from kvmfornfv project

JIRA: COMPASS-549

1. Add rt_kvm plugin and os-nosdn-kvm-ha scenario in vm_enviroment
2. Add rt_kvm in compass4nfv playbook
3. Disable kernel update in KVM scenarios

Signed-off-by: davidjchou <david.j.chou@intel.com>
Change-Id: Ie164fe7ea28ebcb1e41299e92dc51b8ec16310eb
Signed-off-by: chigang <chigang@huawei.com>

To judge download is successful or not

if download fialed then exit

Change-Id: I40d847523ac5448c51d0788f79e4af9737bb5944
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Adjust redeploy

When deployment is interrupted (e.g. ctrl+c kill deploy.sh),
ansible processes in compass-tasks are still running. Redeploy
at this situation new ansible process will be affacted by
remained ones which cause errors.

Change-Id: I821445bd53397c7030145bf6dc925032cb42519c
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "change the public endpoint protocol with https"

Merge "fix some error in functest"

Merge "Modify deploy/client.py"

change the public endpoint protocol with https

Fetch the os_cacerts for funtest
replace the internalURL with publicURL

Change-Id: Iff4fe2c998f3b5e723e826cf27e8901208988785
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Add deployment timeout to 300 mins"

Merge "Fix bug the controller node when baremetal deploy"

Modify deploy/client.py

Bug:
1. when ansible_print process encounter runtime error
e.g. ansible.log doesn't exist, whole client.py
process stucks.
2. cobbler status encounters error when deploy timeout
happens.

Solution:
1. add ansible_print process alive check in function
get_installing_progress to exit parent process
when child process encounter runtime error.
2. remove unnecessary code in calling cobbler status
which cause error.

Change-Id: Ie04d45fd612e7273a6d584e3efb69e1506cdd0f9
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Add deployment timeout to 300 mins

JIRA:-

Deployment timeout in Intel POD, so add more timeout.
Reduce it when offline deployment support.

Change-Id: I244033ceb6d32ef1e3966716be9303c58c662d80
Signed-off-by: chigang <chigang@huawei.com>

Bug fix for odl_l2

The "external_network_bridge" should be configured in neutron-server's
LXC container. Currently we configure it in agents' LXC container.
So in ODL L2 scenario, the DNAT failed.
This patch will fix this.

Change-Id: Ifca005d8cdb901d114838ec88d2f24bcee73abf7
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Fix bug the controller node when baremetal deploy

We need to flush the handle to restart network,
before checking network.

improve the message when failed

Change-Id: If38198c62b4bf81d38b294264db30514998fe086
Signed-off-by: wutianwei <wutianwei1@huawei.com>

fix some error in functest

1. Remove the --share when create network
   to fix the error in tempest network visibility
2. create the cinder-volums to fix issue in test volumes

Change-Id: I8bf7197ac33271eb6856e542da114249b79a391d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix docker-compose

Add sudo when install docker-compose

Change-Id: I7025919889d543c860bf49bbbaf9665030437160
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Utilize yaml.safe_load

The patch changes instances of yaml.load with yaml.safe_load
which is more secure at blocking arbitrary code execution.

The following blog has a decent explaination:

https://www.kevinlondon.com/2015/08/15/dangerous-python-functions-pt2.html

Change-Id: I8201baab6cb31ab31228eca83134f87a57c2f5d2
Signed-off-by: lhinds <lhinds@redhat.com>

Bug fix for physnet name in ODL

The physnet name used in ODL should be the same the one used in
those none odl scenarios.

Change-Id: I5afc9196d8365b649eb088f29bac4f94d9d12d16
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Upgrade ODL from boron to carbon

JIRA: -

Change-Id: I031444d1094af646ae39a9c0c3fbfc30548e6ee4
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Add opendaylight switch

Add key plugins in DHA file and declare opendaylight
as a plugin in odl scenario.

Change-Id: Iefc07b691d5052a9980d8c87f23a9f82be61ed6e
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Change docker repo in build

1. change docker repo to compass4nfv
2. change compass-docker-compose github to Compass4NFV

Change-Id: I81803ec3123c681e023f6e38456f431c6fc2e346
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

fetch openrc for functest

We use openstack-ansible to deploy the openstack,
the position of openrc is different from the before.
change the apt source when use local apt repository

Change-Id: I1c5492b294a8645f452868c9cf2fec2e0802f823
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "add plugins template"

add plugins template

JIRA: -

add a plugin template for compass4nfv

Change-Id: Iec767a7fab43617633238f9c5e326896dd6ce82e
Signed-off-by: chigang <chigang@huawei.com>

Fix keepalived ping address

JIRA:-

Replace OSA default address with  ntp_server address.
OSA will use it to check internet connection.
Rename some roles that make users confused.

Change-Id: I4dd7e242e427e5bc3a611450a3bc436e44a8fefe
Signed-off-by: chigang <chigang@huawei.com>

Remove obsoleted code

JIRA:-

use OpenStack-ansible deploy openstack, so remove obsoleted code.
Some of the enhanced features will be added in later versions

Change-Id: Ie92b92b5de234a7d7d03b578b0bc15fd0218b3b3
Signed-off-by: chigang <chigang@huawei.com>

Fix DNS flush

JIRA:-

It doesn't need to config DNS in ansible roles, just need to
set NAMESERVERS variable

Change-Id: I37a70b32c766c1fad7afa5289ffbbc27b956b2d5
Signed-off-by: chigang <chigang@huawei.com>

Change the apt source

1. change the apt sorce from http://hk.archive.ubuntu.com
to http://archive.ubuntu.com
2. if setup host failed, destroy the failed lxc. then retry to setup.
3. fix the dns-nameserver bug

Change-Id: Ic609c75b50496e2174ab09425bce45a0ec2c09c0
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: chigang <chigang@huawei.com>

Merge "setup ovs create network flavor"

setup ovs create network flavor

1. replace the linuxbridge with openvswitch
2. create the network and flavors
3. fix the haproxy when public endpoint using http

Change-Id: I6fe93d0c4d5305e5dcab8d2e6c628eb5fa23ab56
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix python pkg issue

1 add install pyyaml in build process
2 fix python pkg version

Change-Id: Icb40bd52aa6cd22874894047561acb9211abfa22
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Support Centos7

1. install the yum packages
2. add the ifcfg scripts to adapt Centos7
3. change MaxSession to 100
4. if setup-host failed, retry to run the failed container

Change-Id: I57589d38f6af1677cb889875c85d6b8bac5c80d0
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix config-compute handler

The network restart handler comes at the end
of all tasks which cause pkg install task be
executed when network is not ready. Flush this
handler right after configure network tasks.

Change-Id: I98b9f6f0f2ec0b79632188a481673529a1b522bb
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "replace build.conf with yaml"

replace build.conf with yaml

JIRA: -

use build.yaml as config file
from Euphrates openstack deb/rpm/pip packages download from compass
repo containers, not from compass.iso. so delete these packages from
build.cfg

Change-Id: Id254852ece0d738b3ec543efe68216206bd7daf2
Signed-off-by: chigang <chigang@huawei.com>

Install network pkgs during OS installation

Before network is setup, host can't access to internet.
Install bridge-utils, ifenslave and vlan when cobbler
managing OS installation so when network restart all pkgs
needed is ready.

Change-Id: Idaa880ed0abfb50f417d67fe55e964992a185c80
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

fix baremetal deploy

1. delete package part when external network is not ready
2. modify some vm_environment ip to adapt with containerized
   compass4nfv code

Change-Id: I9d777675e7ca9d6f9b12a885df8677b2446e6917
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Merge "support Containerized compass-core"

support Containerized compass-core

JIRA: COMPASS-534

1. rm compass vm and add ansible to bring up 5 compass
   containers
2. use tar package instead of compass.iso which contains
   compass docker images, OS ISO, PPA, pip packages.
3. modify client.py to communicate with containerized
   compass-core
4. modify cobbler files and ansible callback files
   to adapt with containerized compass-core
5. upgrade openstack version to ocata
6. use the openstack-ansible to deploy openstack
7. virtual deploy external use nat

Change-Id: Ifa2a3f5b8c7c32224ac4276fd3d4cc2b0d270a26
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

FIX compass-core vm panic issue

JIRA: -

Update compass-core vm cpu mode in libvirt xml to let
compass-core vm support most instruction set that host support.

Change-Id: I654672f441c18e0da87509d3c492ceae2bf9ba95
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "huawei-pod6 added to sandbox CI so, all config files are added for huawei-pod6"

Merge "Fix vlan network can't deploy instance"

huawei-pod6 added to sandbox CI
so, all config files are added for huawei-pod6

Change-Id: Ic11ca7de4787a67e52ac75784f760347bcb42315
Signed-off-by: Thaj <Thajudheen.rajak@huawei.com>

tempest test case failed in Functest smoke

JIRA: COMPASS-545

1. LVMISCSIDriver has been removed but LVMVolumeDriver is what actually exists.
Updating the LVM driver name in cinder.conf will solve this.

2. Add tgt to cinder-volume's service list

3. Add section of ceph in cinder.conf for cinder backend

4. Add enable_backends in cinder.conf

Change-Id: I477d2b17ce9e10871a7b96c1a98a49506b36a6ef
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Change the default packages url from compass http server to opnfv artifacts"

Merge "Up br-external after its creation"

Merge "Fix memcached doesn't start issue"

Change the default packages url from compass http server to opnfv artifacts

JIRA: COMPASS-544

Currently compass4nfv uses compass http server to store those packages used in
building ISO. This is not propriate in OPNFV community. So we push all the packages
into opnfv artifacts repo and change the package url used in compass to opnfv
artifacts repo url.

Change-Id: I9661f2d893767e18c037ba9de5f54933f48ce466
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Up br-external after its creation

JIRA: -

On a clean env run compass4nfv deploy script will cause the jumpserver
network unreachable. This patch fix this issue.

Change-Id: Ib04762c5cf745ab40adcf05497d518e6d86ad97c
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "change the package url"

Fix vlan network can't deploy instance

JIRA: COMPASS-533

Bug:
When a vlan network is created and bind to a physical network,
the instances launched on this network will fail to get ip
address from openstack dhcp server.

Solution:
Set enable_isolated_metadata to True in dhcp_agent.in

Change-Id: I97cf8684d1ec9beeaa30e0ffa290150046ebcab1
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Create endpoint in different region

JIRA: -

Edit keystone_endpoint module to support different region. Before this patch,
endpoint will be update when you use regiontwo or some other region.

Change-Id: Ib37b87892cfa485b468f7500fdabe05ad3b6be4b
Signed-off-by: liyuenan <liyuenan@huawei.com>

Update release notes for Danube release

JIRA: -

  1. Add known issues and workaroud instructions
  2. Update Danube release date

Change-Id: I6058dcf7db478d680999f451f5959ec4f998036f
Signed-off-by: Justin chi <chigang@huawei.com>
Signed-off-by: chigang <chigang@huawei.com>

Fix memcached doesn't start issue

JIRA: -

Sometimes memcached does not start after installation finished,
which will cause issues like openstack dashboard open instance
console failure.

This patch add memcached restart notify during package installation
and add memcached to cron service-status-check task's config file:
/opt/service

Change-Id: I625899348fb447875fcca7beedb619b5490ce567
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "opera adapter fix2"

Merge "FIX access database failed"

Merge "Support bond created"

Merge "Fix preseed MAC address fetch method"