Merge "Functest needs huawei virtual5 to test alpine"

Dynamic Inventory

JIRA: COMPASS-556

1. using dynamic ansible inventory
2. modify Class AnsibleInstaller in compass-tasks
3. modify compass conf to support this behavior
4. specify docker image in /deploy/conf/compass.conf
5. remove clusterhost status update in playbook_done.py

Change-Id: I04079547c8b251571ae4e5b165d3bf425b8913b7
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Functest needs huawei virtual5 to test alpine

They want to use jenkins to trigger the build.
So it need to add the huawei-virtual5 network*.yml

Change-Id: Icb8d5d8f574fbbc4674ab1c61a0e3c0c3325f2d4
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Adjust the plugins directory structure

JIRA:-

Since there may be multiple roles in one plugin, so add
a level of roles to the directory.
Move the copy operation of ODL from configure_osa to
a new setup-opendaylgiht role.
Add excute_order in the plugin description of ODL.

Change-Id: I905fb84b11df201dc1436ec888f511e251bba89c
Signed-off-by: Yifei Xue <xueyifei@huawei.com>
Signed-off-by: chigang <chigang@huawei.com>

Merge "Change the BMC password of POD"

Change the BMC password of POD

For security, we change the password to Opnfv@pod

Change-Id: I647af6db65c89fb0feee7936a3747abbab735ab7
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "To judge download is successful or not"

Merge "Add real time kvm feature from kvmfornfv project"

Add real time kvm feature from kvmfornfv project

JIRA: COMPASS-549

1. Add rt_kvm plugin and os-nosdn-kvm-ha scenario in vm_enviroment
2. Add rt_kvm in compass4nfv playbook
3. Disable kernel update in KVM scenarios

Signed-off-by: davidjchou <david.j.chou@intel.com>
Change-Id: Ie164fe7ea28ebcb1e41299e92dc51b8ec16310eb
Signed-off-by: chigang <chigang@huawei.com>

To judge download is successful or not

if download fialed then exit

Change-Id: I40d847523ac5448c51d0788f79e4af9737bb5944
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Adjust redeploy

When deployment is interrupted (e.g. ctrl+c kill deploy.sh),
ansible processes in compass-tasks are still running. Redeploy
at this situation new ansible process will be affacted by
remained ones which cause errors.

Change-Id: I821445bd53397c7030145bf6dc925032cb42519c
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "change the public endpoint protocol with https"

Merge "fix some error in functest"

Merge "Modify deploy/client.py"

change the public endpoint protocol with https

Fetch the os_cacerts for funtest
replace the internalURL with publicURL

Change-Id: Iff4fe2c998f3b5e723e826cf27e8901208988785
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Add deployment timeout to 300 mins"

Merge "Fix bug the controller node when baremetal deploy"

Modify deploy/client.py

Bug:
1. when ansible_print process encounter runtime error
e.g. ansible.log doesn't exist, whole client.py
process stucks.
2. cobbler status encounters error when deploy timeout
happens.

Solution:
1. add ansible_print process alive check in function
get_installing_progress to exit parent process
when child process encounter runtime error.
2. remove unnecessary code in calling cobbler status
which cause error.

Change-Id: Ie04d45fd612e7273a6d584e3efb69e1506cdd0f9
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Add deployment timeout to 300 mins

JIRA:-

Deployment timeout in Intel POD, so add more timeout.
Reduce it when offline deployment support.

Change-Id: I244033ceb6d32ef1e3966716be9303c58c662d80
Signed-off-by: chigang <chigang@huawei.com>

Bug fix for odl_l2

The "external_network_bridge" should be configured in neutron-server's
LXC container. Currently we configure it in agents' LXC container.
So in ODL L2 scenario, the DNAT failed.
This patch will fix this.

Change-Id: Ifca005d8cdb901d114838ec88d2f24bcee73abf7
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Fix bug the controller node when baremetal deploy

We need to flush the handle to restart network,
before checking network.

improve the message when failed

Change-Id: If38198c62b4bf81d38b294264db30514998fe086
Signed-off-by: wutianwei <wutianwei1@huawei.com>

fix some error in functest

1. Remove the --share when create network
   to fix the error in tempest network visibility
2. create the cinder-volums to fix issue in test volumes

Change-Id: I8bf7197ac33271eb6856e542da114249b79a391d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix docker-compose

Add sudo when install docker-compose

Change-Id: I7025919889d543c860bf49bbbaf9665030437160
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Utilize yaml.safe_load

The patch changes instances of yaml.load with yaml.safe_load
which is more secure at blocking arbitrary code execution.

The following blog has a decent explaination:

https://www.kevinlondon.com/2015/08/15/dangerous-python-functions-pt2.html

Change-Id: I8201baab6cb31ab31228eca83134f87a57c2f5d2
Signed-off-by: lhinds <lhinds@redhat.com>

Bug fix for physnet name in ODL

The physnet name used in ODL should be the same the one used in
those none odl scenarios.

Change-Id: I5afc9196d8365b649eb088f29bac4f94d9d12d16
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Upgrade ODL from boron to carbon

JIRA: -

Change-Id: I031444d1094af646ae39a9c0c3fbfc30548e6ee4
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Add opendaylight switch

Add key plugins in DHA file and declare opendaylight
as a plugin in odl scenario.

Change-Id: Iefc07b691d5052a9980d8c87f23a9f82be61ed6e
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Change docker repo in build

1. change docker repo to compass4nfv
2. change compass-docker-compose github to Compass4NFV

Change-Id: I81803ec3123c681e023f6e38456f431c6fc2e346
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

fetch openrc for functest

We use openstack-ansible to deploy the openstack,
the position of openrc is different from the before.
change the apt source when use local apt repository

Change-Id: I1c5492b294a8645f452868c9cf2fec2e0802f823
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "add plugins template"

add plugins template

JIRA: -

add a plugin template for compass4nfv

Change-Id: Iec767a7fab43617633238f9c5e326896dd6ce82e
Signed-off-by: chigang <chigang@huawei.com>

Fix keepalived ping address

JIRA:-

Replace OSA default address with  ntp_server address.
OSA will use it to check internet connection.
Rename some roles that make users confused.

Change-Id: I4dd7e242e427e5bc3a611450a3bc436e44a8fefe
Signed-off-by: chigang <chigang@huawei.com>

Remove obsoleted code

JIRA:-

use OpenStack-ansible deploy openstack, so remove obsoleted code.
Some of the enhanced features will be added in later versions

Change-Id: Ie92b92b5de234a7d7d03b578b0bc15fd0218b3b3
Signed-off-by: chigang <chigang@huawei.com>

Fix DNS flush

JIRA:-

It doesn't need to config DNS in ansible roles, just need to
set NAMESERVERS variable

Change-Id: I37a70b32c766c1fad7afa5289ffbbc27b956b2d5
Signed-off-by: chigang <chigang@huawei.com>

Change the apt source

1. change the apt sorce from http://hk.archive.ubuntu.com
to http://archive.ubuntu.com
2. if setup host failed, destroy the failed lxc. then retry to setup.
3. fix the dns-nameserver bug

Change-Id: Ic609c75b50496e2174ab09425bce45a0ec2c09c0
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: chigang <chigang@huawei.com>

Merge "setup ovs create network flavor"

setup ovs create network flavor

1. replace the linuxbridge with openvswitch
2. create the network and flavors
3. fix the haproxy when public endpoint using http

Change-Id: I6fe93d0c4d5305e5dcab8d2e6c628eb5fa23ab56
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix python pkg issue

1 add install pyyaml in build process
2 fix python pkg version

Change-Id: Icb40bd52aa6cd22874894047561acb9211abfa22
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Support Centos7

1. install the yum packages
2. add the ifcfg scripts to adapt Centos7
3. change MaxSession to 100
4. if setup-host failed, retry to run the failed container

Change-Id: I57589d38f6af1677cb889875c85d6b8bac5c80d0
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix config-compute handler

The network restart handler comes at the end
of all tasks which cause pkg install task be
executed when network is not ready. Flush this
handler right after configure network tasks.

Change-Id: I98b9f6f0f2ec0b79632188a481673529a1b522bb
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "replace build.conf with yaml"

replace build.conf with yaml

JIRA: -

use build.yaml as config file
from Euphrates openstack deb/rpm/pip packages download from compass
repo containers, not from compass.iso. so delete these packages from
build.cfg

Change-Id: Id254852ece0d738b3ec543efe68216206bd7daf2
Signed-off-by: chigang <chigang@huawei.com>

Install network pkgs during OS installation

Before network is setup, host can't access to internet.
Install bridge-utils, ifenslave and vlan when cobbler
managing OS installation so when network restart all pkgs
needed is ready.

Change-Id: Idaa880ed0abfb50f417d67fe55e964992a185c80
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

fix baremetal deploy

1. delete package part when external network is not ready
2. modify some vm_environment ip to adapt with containerized
   compass4nfv code

Change-Id: I9d777675e7ca9d6f9b12a885df8677b2446e6917
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Merge "support Containerized compass-core"

support Containerized compass-core

JIRA: COMPASS-534

1. rm compass vm and add ansible to bring up 5 compass
   containers
2. use tar package instead of compass.iso which contains
   compass docker images, OS ISO, PPA, pip packages.
3. modify client.py to communicate with containerized
   compass-core
4. modify cobbler files and ansible callback files
   to adapt with containerized compass-core
5. upgrade openstack version to ocata
6. use the openstack-ansible to deploy openstack
7. virtual deploy external use nat

Change-Id: Ifa2a3f5b8c7c32224ac4276fd3d4cc2b0d270a26
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

FIX compass-core vm panic issue

JIRA: -

Update compass-core vm cpu mode in libvirt xml to let
compass-core vm support most instruction set that host support.

Change-Id: I654672f441c18e0da87509d3c492ceae2bf9ba95
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "huawei-pod6 added to sandbox CI so, all config files are added for huawei-pod6"

Merge "Fix vlan network can't deploy instance"

huawei-pod6 added to sandbox CI
so, all config files are added for huawei-pod6

Change-Id: Ic11ca7de4787a67e52ac75784f760347bcb42315
Signed-off-by: Thaj <Thajudheen.rajak@huawei.com>

tempest test case failed in Functest smoke

JIRA: COMPASS-545

1. LVMISCSIDriver has been removed but LVMVolumeDriver is what actually exists.
Updating the LVM driver name in cinder.conf will solve this.

2. Add tgt to cinder-volume's service list

3. Add section of ceph in cinder.conf for cinder backend

4. Add enable_backends in cinder.conf

Change-Id: I477d2b17ce9e10871a7b96c1a98a49506b36a6ef
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "Change the default packages url from compass http server to opnfv artifacts"

Merge "Up br-external after its creation"

Merge "Fix memcached doesn't start issue"

Change the default packages url from compass http server to opnfv artifacts

JIRA: COMPASS-544

Currently compass4nfv uses compass http server to store those packages used in
building ISO. This is not propriate in OPNFV community. So we push all the packages
into opnfv artifacts repo and change the package url used in compass to opnfv
artifacts repo url.

Change-Id: I9661f2d893767e18c037ba9de5f54933f48ce466
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Up br-external after its creation

JIRA: -

On a clean env run compass4nfv deploy script will cause the jumpserver
network unreachable. This patch fix this issue.

Change-Id: Ib04762c5cf745ab40adcf05497d518e6d86ad97c
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "change the package url"

Fix vlan network can't deploy instance

JIRA: COMPASS-533

Bug:
When a vlan network is created and bind to a physical network,
the instances launched on this network will fail to get ip
address from openstack dhcp server.

Solution:
Set enable_isolated_metadata to True in dhcp_agent.in

Change-Id: I97cf8684d1ec9beeaa30e0ffa290150046ebcab1
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Update release notes for Danube release

JIRA: -

  1. Add known issues and workaroud instructions
  2. Update Danube release date

Change-Id: I6058dcf7db478d680999f451f5959ec4f998036f
Signed-off-by: Justin chi <chigang@huawei.com>
Signed-off-by: chigang <chigang@huawei.com>

Fix memcached doesn't start issue

JIRA: -

Sometimes memcached does not start after installation finished,
which will cause issues like openstack dashboard open instance
console failure.

This patch add memcached restart notify during package installation
and add memcached to cron service-status-check task's config file:
/opt/service

Change-Id: I625899348fb447875fcca7beedb619b5490ce567
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "opera adapter fix2"

Merge "FIX access database failed"

Merge "Support bond created"

Merge "Fix preseed MAC address fetch method"

Merge "Support compute node restart on CentOS"

opera adapter fix2

* opera_adapter need sshpass which may cause deploy
fail
* compass log redirection is the last command which
always return 0 and thus cover deploy error

1. add installation of sshpass in prepare.sh
2. echo a string at the end of deploy/launch.sh into
log file to judge if deployment is complete
3. fix typing error in util/check_valid.py

Change-Id: Ic4bca50b2c316bf46cace45b9b3317ef9452a0ba
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

change the package url

We moved the master package repository from <http://205.177.226.237:9999>
to <http://205.177.226.237:9999/master>. When we build the master ISO,
we need download the package from new URL.
Add md5 checksum after downloading package.

Change-Id: Ia6d8a217569e6e8dc676b1290e583348a7b9c347
Signed-off-by: wutianwei <wutianwei1@huawei.com>

[compass-docs] correct some minor mistake

Change-Id: I0e065552cbcaeffde83daeac9d1c27445f6cfcbb
Signed-off-by: meimei <meimei@huawei.com>

Support compute node restart on CentOS

JIRA: -

Openvswitch service in Ubuntu named openvswitch-switch, but it named
openvswitch in CentOS.

Change-Id: I2a4d3d0ae0a646971696bae798b623da059a3781
Signed-off-by: liyuenan <liyuenan@huawei.com>

Opera adapter fix 1

After adding sudo opera_adapter can't get $COMPASS_DIR
and still has the issue returning 0 when launch opera
fail.

Changing the way opera_adapter gets $COMPASS_DIR and
add judgement inside opera_adapter to get opera launch
error.

Change-Id: I59d0d496f47b38e474de3dfc1277877dbe8ed840
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Opera adapter fix

* CI return 0 when opera_adapter fails which cover the error.
* opera_adapter runs with no sudo will fail when generate ssh
key.
* opera_adapter.py use simple ip replacement for openrc file
will lead to error when openrc file changed in compass.

1. add judgement to tell if opera_adapter fails
2. add sudo when run opera_adapter
3. pass data in openrc files to opera openrc instead of ip
rewriting

Change-Id: I681717947746b768791529975a5b0d2a23c6069a
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

update opera fix

opera codes has been updated and network_openo.yml is modified
according to new opera net config. open-o related keys in
deploy/compass_conf/package_metadata/openstack.conf should be
modified as well

Change-Id: I55f8ed3dedcbfd30a3f01b70c958258199f600e6
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "update opera related files"

Add ONOS scenario to daily master

Currently ONOS scenario only runs when OpenStack version is set to Mitaka.
This patch is going to change daily ONOS scenario to run with OpenStack Newton.

Change-Id: I6595d23778bb50772531e1419d2c7b7b72988967
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

update opera related files

1. update opera_adapter.py to sync new opera config
2. modify all os-nosdn-openo-ha.yml, add open-o version
   and vnf type
3. modify all network_openo.yml, using only one external
   ip and assign open-o docker ips

Change-Id: Iadcba8cc2fc17ddf32dfea9fe52c471a6bfadde8
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "onos 1.8 upgradation for danube"

Fix preseed MAC address fetch method

JIRA: -

e.g.:

root@host1:~# ip link show eth4
6: eth4: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ec:38:8f:79:fa:5c brd ff:ff:ff:ff:ff:ff
root@host1:~# echo $(echo $@ | cut -d' ' -f17)
ec:38:8f:79:fa:5c

root@host4:~# ip link show eth4
6: eth4: <BROADCAST,MULTICAST> mtu 1500 qdisc noop portid 0100000000000000000000000000003000 state DOWN mode DEFAULT group default qlen 1000
    link/ether e0:36:76:d2:34:73 brd ff:ff:ff:ff:ff:ff
root@host4:~# echo $(echo $@ | cut -d' ' -f17)
1000
root@host4:~# echo $(echo $@ | cut -d' ' -f19)
e0:36:76:d2:34:73

Change-Id: I916c19807da724e9ba471376f81f3c763b9340d5
Signed-off-by: QiLiang <liangqi1@huawei.com>

onos 1.8 upgradation for danube

Change-Id: I6242b9fc09749ca83f446ef5456eaad72f248012
Signed-off-by: rssaravana <saravanakumar.somaskandan@huawei.com>

Merge "Adding Labels"

Support bond created

JIRA: -

You can add bond according to deploy/conf/network_cfg.yaml.

Change-Id: I70f2f03581cf763dbaf7a8a47bdbd46b66620fcb
Signed-off-by: liyuenan <liyuenan@huawei.com>

Merge "Add vm live migration support"

Add vm live migration support

JIRA: -

Add libvirtd configure to support vm live migration.

Test cmd:

    nova live-migration <vm-id> <dest-host-name>

Change-Id: Ic7f47f1e13a7cd84a2d1c67089fedf76662bf412
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "Add deploy log to file"

Add deploy log to file

JIRA: -

The default log file path is: work/deploy/log/compass-deploy.log

Change-Id: I6f8ebb028d169a0da88f2a588e4563db4f2f1f76
Signed-off-by: QiLiang <liangqi1@huawei.com>

Add network_openo.yml in all virtual pods

add network_openo.yml to adapt with open-o scenario in:
1. huawei-virtual1
2. huawei-virtual2
3. huawei-virtual3
4. huawei-virtual4
5. huawei-virtual7

Change-Id: I96046470ddb05f8f613489db35f4a6b623a5cf4c
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

FIX access database failed

JIRA: COMPASS-521

Use a hard value to set number of workers for Openstack API
service. This way only fix E9000 failed temporarily. Database need
to update in a late patch.

Change-Id: Ie03f6a758e1e458567054470962b5be4f6ee630e
Signed-off-by: liyuenan <liyuenan@huawei.com>

Upgrade tacker from mitaka to newton

JIRA: COMPASS-528

Add tacker package making scripts into repo/pip/ directory.
Compass will install tacker using pip in this release.
Upgrade tacker role including tasks, templates and vars.
Modify the installation method from using source code to using whl package.

Change-Id: Iead323c7b46d8d1df084ed868d0e01bc1b0f7e55
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Merge "add open-o scenario"

Adding Labels

Labels serve as anchors/ refs when referenced from other documents
This patch adds labels to docs/*/*/index.rst

Change-Id: I66414622edcb73d22142d03d55c2040c3ff70d68
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

add open-o scenario

add os-nosdn-openo-ha.yml and network_openo.yml in:
1. huawei-pod1
2. huawei-pod2
3. intel-pod8

Change-Id: I89ad426c1e3006bf2ef218cd9b55d97e53aa8721
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "Development documentations update"

Merge "Add License header for files without it"

Merge "add ntp for compass-core"

Development documentations update

JIRA: DOCS-165

Add the document for feature integration which introduces how
to integrate a feature into compass4nfv including creating a role,
making repo and building a feature included ISO.

Change-Id: I8ea70a298cbf079ed30e318ce2cfc4b803218434
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Add License header for files without it

JIRA: -

use the first author's company for license holder
use the latest year for license year
add license for yml,c,cpp,shell,python,java.
don't add license for template files such as config and j2
patch for auto add license:
https://github.com/Justin-chi/Lab/blob/master/add_license.sh
delete the files with the Eclipse License

Change-Id: I4f17da4ebb36a074c0b6722a2a4154e6c235d4bb
Signed-off-by: chigang <chigang@huawei.com>

Merge "Bug fix for odl l2"

Merge "Update deploy.sh"

Update deploy.sh

JIRA: -

Remove some environment variables in deploy.sh, such as EXPANSION
DEPLOY_COMPASS DEPLOY_HOST DEPLOY_RECOVERY. Those environment
variables's instructions can be found in installation guide document.

Change-Id: I1a7a2e1ad48d7488793ef80742bad1dab47b4270
Signed-off-by: liyuenan <liyuenan@huawei.com>

Bug fix for odl l2

JIRA: COMPASS-512

1. Correct the script of unarchiving odl package for rerunnable
2. Delete the useless code in the script of installing networking-odl
3. Correct the variable "odl_pip" in vars/main.yml

Change-Id: I5488dd4caedcbda735de24fd594207d66310e828
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Installation and release documentations update

JIRA: DOCS-165

update document for Danube release according to new doc guide;
https://wiki.opnfv.org/display/DOC/Documentation+Guide
add network topology for virtual and bm deployment;
add a section for network_cfg.yaml configuration;
add feature section, listing supported openstack version and features
update installation for deployment and expansion.

Change-Id: If43d94554bebc78bbd56cdf889c8c34dda926218
Signed-off-by: Qingyu <qingyuwang33@gmail.com>
Signed-off-by: Justin <chigang@huawei.com>