Adapt network.yml to OpenStack Ansible

JIRA:COMPASS-557

1. modify sys_intf_mappings and ip_settings in
network.yml to synchronize with OSA network.
networks compass build will be mgmt, external,
tenant, storage.
2. modify compass_conf to support new netwok.yml
3. fix some hard coding when transfer ip parameters
4. support heterogeneous network

Change-Id: Ib4a8af1f96a40e6456242e3dc2b456e0c8c17c2e
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Edit Expansion Guide

JIRA: -

mgmt and storage's network ip_ranges start ip needs update as the
first 6 IPs are already taken by the first deployment.

Change-Id: Iee01852c04ea7638999f664d567caaea060bdaf9
Signed-off-by: liyuenan <liyuenan@huawei.com>

Merge "Create endpoint in different region"

yardstick installation for compass4nfv

JIRA: COMPASS-552

This patch adds changes to install yardstick on jump host.

Change-Id: Id389d253f948a19cb682d54bd95bfbc3139ceb39
Signed-off-by: Manjunath Ranganathaiah <manjunath.ranganathaiah@intel.com>

fix bugs for functest and moon baremetal

1. functest change the judgement condition, the DOMAIN_NAME need use Default instead of default
2. making the eth0 down and up to change the route in baremetal deploy

Change-Id: I7dacf59cdd0c4db396b2db8b0a5fdd7003829391
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix OS install bug

There is a missing indent in the judgement
code block for OS installation complete which
cause OS installation complete only affected
by the state of host1

Change-Id: I5d470aef93b65ca77d290e596a4fefd62a82517b
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Switch to compass4nfv docker repo"

Switch to compass4nfv docker repo

Dynamic inventory support for compass4nfv/compass-tasks-osa
is ready, switch docker repo.

Change-Id: I9ad5cd1cc860dd649cf43c6d5f1ea1e7c39e20fc
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

enalbe pass-through cpumode for virtual deployment

JIRA:-

For KVM scenario, each host should set cpumode pass-through,
otherwise instances will fail to launch.

Change-Id: If58dca1ad590203f6e8de36e44c242252350ad19
Signed-off-by: chigang <chigang@huawei.com>

Merge "Configurate moon host"

Merge "Correct the DHA name of SFC scenario"

Configurate moon host

1. configurate  network
2. change the apt sources.list

Change-Id: I93336d48b02846192f47eb1d64a63b50190863e9
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Correct the DHA name of SFC scenario

The DHA name of SFC scenario in compass4nfv repo is "
os-odl_l3-sfc-ha.yml". However, the scenario name on
CI master is "os-odl-sfc-ha.yml". So CI failed when read
DHA file. THis patch is proposed to fix this problem.

Change-Id: Icb8db6c6c023a794bdd803d0365d719a853dc712
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Run odl_l2-moon scenario in compass

Change-Id: I5deff9d6322708e8bf1dfd7d82b5a891334bffca
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Add ODL SFC support

Add SFC support for Ocata and Carbon.
1. Add ovs-nsh package for sfc scenario
2. Add sfc configuration and tasks
3. Add sfc DHA files

Change-Id: Icf8f20220a2c5ac38a5b92d3ca0e24cbb0e89a52
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Change "Default" to "default" in openrc"

Merge "Add moonv4 into Compass4nfv"

Change "Default" to "default" in openrc

when OS_USER_DOMAIN_NAME and OS_PROJECT_DOMAIN_NAME
is Default in openrc, it will cause some issue in
functest.

Change-Id: I39a7a3712ac2311076c45caed70c0c4c2036b561
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Add moonv4 into Compass4nfv

JIRA:-

To deploy moon master, export MOON_CFG env like below compass deploy:
export MOON_CFG="master:flag=Disable,slave:flag=Enable,slave:name=slave1,slave:master_ip=master_ip"

To deploy moon slave, export MOON_CFG env like below compass deploy:
export MOON_CFG="master:flag=Enable,slave:flag=Disable,slave:name=slave1,slave:master_ip=master_ip"

Change-Id: I21c0186a029c508d390c69112b43510d9c5b9c5c
Signed-off-by: chigang <chigang@huawei.com>

Merge "Update notes when OpenStack installaion complete"

Fix plugin switch

Add plugin switch in group_vars/all which missed when
upgrade to dynamic inventory

Change-Id: I71927bce552dca89bc6182abc9f721d5222f2be6
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Update notes when OpenStack installaion complete

JIRA:-

Change-Id: Ie007baa4bbfb3f6860101b0e720315047c497c0d
Signed-off-by: chigang <chigang@huawei.com>

Merge "Functest needs huawei virtual5 to test alpine"

Dynamic Inventory

JIRA: COMPASS-556

1. using dynamic ansible inventory
2. modify Class AnsibleInstaller in compass-tasks
3. modify compass conf to support this behavior
4. specify docker image in /deploy/conf/compass.conf
5. remove clusterhost status update in playbook_done.py

Change-Id: I04079547c8b251571ae4e5b165d3bf425b8913b7
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Functest needs huawei virtual5 to test alpine

They want to use jenkins to trigger the build.
So it need to add the huawei-virtual5 network*.yml

Change-Id: Icb8d5d8f574fbbc4674ab1c61a0e3c0c3325f2d4
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Adjust the plugins directory structure

JIRA:-

Since there may be multiple roles in one plugin, so add
a level of roles to the directory.
Move the copy operation of ODL from configure_osa to
a new setup-opendaylgiht role.
Add excute_order in the plugin description of ODL.

Change-Id: I905fb84b11df201dc1436ec888f511e251bba89c
Signed-off-by: Yifei Xue <xueyifei@huawei.com>
Signed-off-by: chigang <chigang@huawei.com>

Merge "Change the BMC password of POD"

Change the BMC password of POD

For security, we change the password to Opnfv@pod

Change-Id: I647af6db65c89fb0feee7936a3747abbab735ab7
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "To judge download is successful or not"

Merge "Add real time kvm feature from kvmfornfv project"

Add real time kvm feature from kvmfornfv project

JIRA: COMPASS-549

1. Add rt_kvm plugin and os-nosdn-kvm-ha scenario in vm_enviroment
2. Add rt_kvm in compass4nfv playbook
3. Disable kernel update in KVM scenarios

Signed-off-by: davidjchou <david.j.chou@intel.com>
Change-Id: Ie164fe7ea28ebcb1e41299e92dc51b8ec16310eb
Signed-off-by: chigang <chigang@huawei.com>

To judge download is successful or not

if download fialed then exit

Change-Id: I40d847523ac5448c51d0788f79e4af9737bb5944
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Adjust redeploy

When deployment is interrupted (e.g. ctrl+c kill deploy.sh),
ansible processes in compass-tasks are still running. Redeploy
at this situation new ansible process will be affacted by
remained ones which cause errors.

Change-Id: I821445bd53397c7030145bf6dc925032cb42519c
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "change the public endpoint protocol with https"

Merge "fix some error in functest"

Merge "Modify deploy/client.py"

change the public endpoint protocol with https

Fetch the os_cacerts for funtest
replace the internalURL with publicURL

Change-Id: Iff4fe2c998f3b5e723e826cf27e8901208988785
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Add deployment timeout to 300 mins"

Merge "Fix bug the controller node when baremetal deploy"

Modify deploy/client.py

Bug:
1. when ansible_print process encounter runtime error
e.g. ansible.log doesn't exist, whole client.py
process stucks.
2. cobbler status encounters error when deploy timeout
happens.

Solution:
1. add ansible_print process alive check in function
get_installing_progress to exit parent process
when child process encounter runtime error.
2. remove unnecessary code in calling cobbler status
which cause error.

Change-Id: Ie04d45fd612e7273a6d584e3efb69e1506cdd0f9
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Add deployment timeout to 300 mins

JIRA:-

Deployment timeout in Intel POD, so add more timeout.
Reduce it when offline deployment support.

Change-Id: I244033ceb6d32ef1e3966716be9303c58c662d80
Signed-off-by: chigang <chigang@huawei.com>

Bug fix for odl_l2

The "external_network_bridge" should be configured in neutron-server's
LXC container. Currently we configure it in agents' LXC container.
So in ODL L2 scenario, the DNAT failed.
This patch will fix this.

Change-Id: Ifca005d8cdb901d114838ec88d2f24bcee73abf7
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Fix bug the controller node when baremetal deploy

We need to flush the handle to restart network,
before checking network.

improve the message when failed

Change-Id: If38198c62b4bf81d38b294264db30514998fe086
Signed-off-by: wutianwei <wutianwei1@huawei.com>

fix some error in functest

1. Remove the --share when create network
   to fix the error in tempest network visibility
2. create the cinder-volums to fix issue in test volumes

Change-Id: I8bf7197ac33271eb6856e542da114249b79a391d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix docker-compose

Add sudo when install docker-compose

Change-Id: I7025919889d543c860bf49bbbaf9665030437160
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Utilize yaml.safe_load

The patch changes instances of yaml.load with yaml.safe_load
which is more secure at blocking arbitrary code execution.

The following blog has a decent explaination:

https://www.kevinlondon.com/2015/08/15/dangerous-python-functions-pt2.html

Change-Id: I8201baab6cb31ab31228eca83134f87a57c2f5d2
Signed-off-by: lhinds <lhinds@redhat.com>

Bug fix for physnet name in ODL

The physnet name used in ODL should be the same the one used in
those none odl scenarios.

Change-Id: I5afc9196d8365b649eb088f29bac4f94d9d12d16
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Upgrade ODL from boron to carbon

JIRA: -

Change-Id: I031444d1094af646ae39a9c0c3fbfc30548e6ee4
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Add opendaylight switch

Add key plugins in DHA file and declare opendaylight
as a plugin in odl scenario.

Change-Id: Iefc07b691d5052a9980d8c87f23a9f82be61ed6e
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Change docker repo in build

1. change docker repo to compass4nfv
2. change compass-docker-compose github to Compass4NFV

Change-Id: I81803ec3123c681e023f6e38456f431c6fc2e346
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

fetch openrc for functest

We use openstack-ansible to deploy the openstack,
the position of openrc is different from the before.
change the apt source when use local apt repository

Change-Id: I1c5492b294a8645f452868c9cf2fec2e0802f823
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "add plugins template"

add plugins template

JIRA: -

add a plugin template for compass4nfv

Change-Id: Iec767a7fab43617633238f9c5e326896dd6ce82e
Signed-off-by: chigang <chigang@huawei.com>

Fix keepalived ping address

JIRA:-

Replace OSA default address with  ntp_server address.
OSA will use it to check internet connection.
Rename some roles that make users confused.

Change-Id: I4dd7e242e427e5bc3a611450a3bc436e44a8fefe
Signed-off-by: chigang <chigang@huawei.com>

Remove obsoleted code

JIRA:-

use OpenStack-ansible deploy openstack, so remove obsoleted code.
Some of the enhanced features will be added in later versions

Change-Id: Ie92b92b5de234a7d7d03b578b0bc15fd0218b3b3
Signed-off-by: chigang <chigang@huawei.com>

Fix DNS flush

JIRA:-

It doesn't need to config DNS in ansible roles, just need to
set NAMESERVERS variable

Change-Id: I37a70b32c766c1fad7afa5289ffbbc27b956b2d5
Signed-off-by: chigang <chigang@huawei.com>

Change the apt source

1. change the apt sorce from http://hk.archive.ubuntu.com
to http://archive.ubuntu.com
2. if setup host failed, destroy the failed lxc. then retry to setup.
3. fix the dns-nameserver bug

Change-Id: Ic609c75b50496e2174ab09425bce45a0ec2c09c0
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: chigang <chigang@huawei.com>

Merge "setup ovs create network flavor"

setup ovs create network flavor

1. replace the linuxbridge with openvswitch
2. create the network and flavors
3. fix the haproxy when public endpoint using http

Change-Id: I6fe93d0c4d5305e5dcab8d2e6c628eb5fa23ab56
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix python pkg issue

1 add install pyyaml in build process
2 fix python pkg version

Change-Id: Icb40bd52aa6cd22874894047561acb9211abfa22
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Support Centos7

1. install the yum packages
2. add the ifcfg scripts to adapt Centos7
3. change MaxSession to 100
4. if setup-host failed, retry to run the failed container

Change-Id: I57589d38f6af1677cb889875c85d6b8bac5c80d0
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix config-compute handler

The network restart handler comes at the end
of all tasks which cause pkg install task be
executed when network is not ready. Flush this
handler right after configure network tasks.

Change-Id: I98b9f6f0f2ec0b79632188a481673529a1b522bb
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "replace build.conf with yaml"

replace build.conf with yaml

JIRA: -

use build.yaml as config file
from Euphrates openstack deb/rpm/pip packages download from compass
repo containers, not from compass.iso. so delete these packages from
build.cfg

Change-Id: Id254852ece0d738b3ec543efe68216206bd7daf2
Signed-off-by: chigang <chigang@huawei.com>

Install network pkgs during OS installation

Before network is setup, host can't access to internet.
Install bridge-utils, ifenslave and vlan when cobbler
managing OS installation so when network restart all pkgs
needed is ready.

Change-Id: Idaa880ed0abfb50f417d67fe55e964992a185c80
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

fix baremetal deploy

1. delete package part when external network is not ready
2. modify some vm_environment ip to adapt with containerized
   compass4nfv code

Change-Id: I9d777675e7ca9d6f9b12a885df8677b2446e6917
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Merge "support Containerized compass-core"

support Containerized compass-core

JIRA: COMPASS-534

1. rm compass vm and add ansible to bring up 5 compass
   containers
2. use tar package instead of compass.iso which contains
   compass docker images, OS ISO, PPA, pip packages.
3. modify client.py to communicate with containerized
   compass-core
4. modify cobbler files and ansible callback files
   to adapt with containerized compass-core
5. upgrade openstack version to ocata
6. use the openstack-ansible to deploy openstack
7. virtual deploy external use nat

Change-Id: Ifa2a3f5b8c7c32224ac4276fd3d4cc2b0d270a26
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

FIX compass-core vm panic issue

JIRA: -

Update compass-core vm cpu mode in libvirt xml to let
compass-core vm support most instruction set that host support.

Change-Id: I654672f441c18e0da87509d3c492ceae2bf9ba95
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "huawei-pod6 added to sandbox CI so, all config files are added for huawei-pod6"

Merge "Fix vlan network can't deploy instance"

huawei-pod6 added to sandbox CI
so, all config files are added for huawei-pod6

Change-Id: Ic11ca7de4787a67e52ac75784f760347bcb42315
Signed-off-by: Thaj <Thajudheen.rajak@huawei.com>

tempest test case failed in Functest smoke

JIRA: COMPASS-545

1. LVMISCSIDriver has been removed but LVMVolumeDriver is what actually exists.
Updating the LVM driver name in cinder.conf will solve this.

2. Add tgt to cinder-volume's service list

3. Add section of ceph in cinder.conf for cinder backend

4. Add enable_backends in cinder.conf

Change-Id: I477d2b17ce9e10871a7b96c1a98a49506b36a6ef
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Change the default packages url from compass http server to opnfv artifacts"

Merge "Up br-external after its creation"

Merge "Fix memcached doesn't start issue"

Change the default packages url from compass http server to opnfv artifacts

JIRA: COMPASS-544

Currently compass4nfv uses compass http server to store those packages used in
building ISO. This is not propriate in OPNFV community. So we push all the packages
into opnfv artifacts repo and change the package url used in compass to opnfv
artifacts repo url.

Change-Id: I9661f2d893767e18c037ba9de5f54933f48ce466
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Up br-external after its creation

JIRA: -

On a clean env run compass4nfv deploy script will cause the jumpserver
network unreachable. This patch fix this issue.

Change-Id: Ib04762c5cf745ab40adcf05497d518e6d86ad97c
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "change the package url"

Fix vlan network can't deploy instance

JIRA: COMPASS-533

Bug:
When a vlan network is created and bind to a physical network,
the instances launched on this network will fail to get ip
address from openstack dhcp server.

Solution:
Set enable_isolated_metadata to True in dhcp_agent.in

Change-Id: I97cf8684d1ec9beeaa30e0ffa290150046ebcab1
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Create endpoint in different region

JIRA: -

Edit keystone_endpoint module to support different region. Before this patch,
endpoint will be update when you use regiontwo or some other region.

Change-Id: Ib37b87892cfa485b468f7500fdabe05ad3b6be4b
Signed-off-by: liyuenan <liyuenan@huawei.com>

Update release notes for Danube release

JIRA: -

  1. Add known issues and workaroud instructions
  2. Update Danube release date

Change-Id: I6058dcf7db478d680999f451f5959ec4f998036f
Signed-off-by: Justin chi <chigang@huawei.com>
Signed-off-by: chigang <chigang@huawei.com>

Fix memcached doesn't start issue

JIRA: -

Sometimes memcached does not start after installation finished,
which will cause issues like openstack dashboard open instance
console failure.

This patch add memcached restart notify during package installation
and add memcached to cron service-status-check task's config file:
/opt/service

Change-Id: I625899348fb447875fcca7beedb619b5490ce567
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "opera adapter fix2"

Merge "FIX access database failed"

Merge "Support bond created"

Merge "Fix preseed MAC address fetch method"

Merge "Support compute node restart on CentOS"

opera adapter fix2

* opera_adapter need sshpass which may cause deploy
fail
* compass log redirection is the last command which
always return 0 and thus cover deploy error

1. add installation of sshpass in prepare.sh
2. echo a string at the end of deploy/launch.sh into
log file to judge if deployment is complete
3. fix typing error in util/check_valid.py

Change-Id: Ic4bca50b2c316bf46cace45b9b3317ef9452a0ba
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

change the package url

We moved the master package repository from <http://205.177.226.237:9999>
to <http://205.177.226.237:9999/master>. When we build the master ISO,
we need download the package from new URL.
Add md5 checksum after downloading package.

Change-Id: Ia6d8a217569e6e8dc676b1290e583348a7b9c347
Signed-off-by: wutianwei <wutianwei1@huawei.com>

[compass-docs] correct some minor mistake

Change-Id: I0e065552cbcaeffde83daeac9d1c27445f6cfcbb
Signed-off-by: meimei <meimei@huawei.com>

Support compute node restart on CentOS

JIRA: -

Openvswitch service in Ubuntu named openvswitch-switch, but it named
openvswitch in CentOS.

Change-Id: I2a4d3d0ae0a646971696bae798b623da059a3781
Signed-off-by: liyuenan <liyuenan@huawei.com>

Opera adapter fix 1

After adding sudo opera_adapter can't get $COMPASS_DIR
and still has the issue returning 0 when launch opera
fail.

Changing the way opera_adapter gets $COMPASS_DIR and
add judgement inside opera_adapter to get opera launch
error.

Change-Id: I59d0d496f47b38e474de3dfc1277877dbe8ed840
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Opera adapter fix

* CI return 0 when opera_adapter fails which cover the error.
* opera_adapter runs with no sudo will fail when generate ssh
key.
* opera_adapter.py use simple ip replacement for openrc file
will lead to error when openrc file changed in compass.

1. add judgement to tell if opera_adapter fails
2. add sudo when run opera_adapter
3. pass data in openrc files to opera openrc instead of ip
rewriting

Change-Id: I681717947746b768791529975a5b0d2a23c6069a
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

update opera fix

opera codes has been updated and network_openo.yml is modified
according to new opera net config. open-o related keys in
deploy/compass_conf/package_metadata/openstack.conf should be
modified as well

Change-Id: I55f8ed3dedcbfd30a3f01b70c958258199f600e6
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "update opera related files"

Add ONOS scenario to daily master

Currently ONOS scenario only runs when OpenStack version is set to Mitaka.
This patch is going to change daily ONOS scenario to run with OpenStack Newton.

Change-Id: I6595d23778bb50772531e1419d2c7b7b72988967
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

update opera related files

1. update opera_adapter.py to sync new opera config
2. modify all os-nosdn-openo-ha.yml, add open-o version
   and vnf type
3. modify all network_openo.yml, using only one external
   ip and assign open-o docker ips

Change-Id: Iadcba8cc2fc17ddf32dfea9fe52c471a6bfadde8
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "onos 1.8 upgradation for danube"

Fix preseed MAC address fetch method

JIRA: -

e.g.:

root@host1:~# ip link show eth4
6: eth4: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ec:38:8f:79:fa:5c brd ff:ff:ff:ff:ff:ff
root@host1:~# echo $(echo $@ | cut -d' ' -f17)
ec:38:8f:79:fa:5c

root@host4:~# ip link show eth4
6: eth4: <BROADCAST,MULTICAST> mtu 1500 qdisc noop portid 0100000000000000000000000000003000 state DOWN mode DEFAULT group default qlen 1000
    link/ether e0:36:76:d2:34:73 brd ff:ff:ff:ff:ff:ff
root@host4:~# echo $(echo $@ | cut -d' ' -f17)
1000
root@host4:~# echo $(echo $@ | cut -d' ' -f19)
e0:36:76:d2:34:73

Change-Id: I916c19807da724e9ba471376f81f3c763b9340d5
Signed-off-by: QiLiang <liangqi1@huawei.com>