resolve controller cannot talk to consumer in fuel

Change-Id: I0d5aac135d66bb41b4ecfe651f071800c323902d
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

string compare use `!=` not `-ne`

Change-Id: I1e3ef0ed1483de6e0b4c4a4101b509a3a3ec2465
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

add modify ceilometer config in fuel env

Change-Id: I59a2b3893272c8cb44d92babb8d2d7b0c0cf3302
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

refactor some commmon function

get installer info and get key to access cloud can be picked
up as common function for prepare env before test

Change-Id: I1a96c4ad12f3f36dec0291c2f458e97e85f3ca27
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Test Congress Doctor driver support

When running Congress as Inspector implementation, the Monitor has to be
started after starting the Inspector because we need to first ensure the
Doctor datasource is created, otherwise the Monitor cannot get the
Doctor datasource ID at init.

This patch defaults the Inspector to 'sample' and for the time being
functest will run only against 'sample',  not all supported Inspector
types ('sample' and 'congress'). Testing multiple Inspectors in single
functest run would require major additional changes to our test scripts.
It should still be done and addressed in a future patch. This patch
focus on adding testing support against Congress as first step.

One can test against Congress executing for example:
$ INSPECTOR_TYPE=congress INSTALLER_TYPE=local COMPUTE_HOST=compute1 ./run.sh

JIRA: DOCTOR-56

Change-Id: Icebd6fd6ad0c01d511c97e804727ad2a71f742e8
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

fix login to controller nodes

Change-Id: I9a85923b1b1766435280aeddfcebfaccbbb4e098
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

fix the way to get controller IPs

Change-Id: I5c449ac13d804aa1a65c703fc1e6b0caa70ff142
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

update workaround for notification from OpenStack

Now ssh tunnels will be created from each controller node to
functest container, so that aodh can send message to doctor
consumer in functest VM.

Change-Id: Ia4360e78caa99b17a27802477765ec055c1144d7
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "fix ssh tunnel creation"

fix ssh tunnel creation

this patch removes unnecessary single quotes

JIRA: DOCTOR-63

Change-Id: Ie24cb4c3c8fcae43371e58068cf03ee74ce9962e
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "add project when create user"

workaround for issue controller cannot talk to consumer

The doctor test kick by functest fails in some deployment due to no
connectivity from controller to the doctor consumer.

To avoid this issue, this patch add ssh tunnel from installer node to
the functest contatiner.

JIRA: DOCTOR-63

Change-Id: Ide85137767382a53ebd15b875fd216aeed632705
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

add project when create user

sometimes after create `admin` role, we use `openstack user role list doctor
--project doctor` cli can't get the `admin` role. We should add project when
we create user.

Change-Id: Ib3ee8a3009600aa2c88de2350b483f295c12d8d5
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

misuse `ssh_options`

misuse `ssh_options` which is not define in script

Change-Id: I932859750d7fbe7cd4b69e3f3aceb5d84fa8f485
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

improve log printings

Now, we can see log messages in INFO level, but it's not clear from
where to where comes from which log file.

This patch adding file names in INFO level.

Change-Id: I3c8fa9f28c2c9ca3e758536243a8110849591825
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Adding comparison of NFV, Doctor and AODH alarms"

Adding comparison of NFV, Doctor and AODH alarms

Change-Id: I07bb2317b3ef911302dc06182b112dfb47ffe6d5
JIRA: DOCTOR-46
Signed-off-by: TommyLindgren@gerrit.opnfv.org <tommy.lindgren@ericsson.com>

test scenario support fuel installer

This patch extends support for fuel OPNFV installer for the test
scenario.

JIRA: DOCTOR-62

Change-Id: I09746b0e64b3999363db53c318027b81c471e2c4
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Revert role of doctor user to admin

JIRA: DOCTOR-55

Change-Id: I41dc85fe43c2c8f9c5d98ff33770a59483caa19a
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Merge "Add newest Colorado feature"

Merge "Add a subsection under "Doctor capabilities and usage" section"

Add newest Colorado feature

Change-Id: I883098f5a7b7c84ce9ddda8694480f8912f1b6de
Signed-off-by: Yuanzhen Li <li.yuanzhen@zte.com.cn>

Add a subsection under "Doctor capabilities and usage" section

Change-Id: I6ec7a89e9dad8b72cf6e8956b45924e3685b6c14
Signed-off-by: Yuanzhen Li <li.yuanzhen@zte.com.cn>

Change type of nova_api_version from float to str

Recently functest container had its python requests lib updated to version
2.8.0 and it no longer supports passing in header values of float type.

Change-Id: I31da351d7f5c7c1c3ff5121b7b000f3bab1d76bf
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Change role of doctor user to _member_

JIRA: DOCTOR-55

Change-Id: I36a8a3eaeceb3a6baacad44f410b8464ba7704d5
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Merge "fix doctor test"

fix doctor test

- support CI_DEBUG=true and CI_DEBUG=True

- use fqdn for hostname matching in overcloud, but keep using short
  hostname for undercloud

- add printing of paramters, so that we can see them in info level

- make a result failed if the consumer didn't get message

- allow host_state=UNKNOWN after failure injected

JIRA: DOCTOR-63

Change-Id: Ib9bf02df3a68bec03e53db9d51c201545cf5a912
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Port status update"

Port status update

A blueprint spec for RFE https://bugs.launchpad.net/neutron/+bug/1598081

[UPSTREAM] Closes-Bug: #1598081
[UPSTREAM] Partial-Bug: #1575146

Change-Id: I7a01b728a1fa40d89bb11ec02b4e21df04e54464
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Add Bertrand to Doctor Committer list

Change-Id: I86f5b01b670dd7aedd99ec4eb88a745379968599
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Update Peter Lee's contact info

Change-Id: I54d8a25762aebbb4230592b4ad9bcf03f22df2d3
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

fix the description of Doctor Scenario

fix the description of Doctor Scenario in Functest

Change-Id: If5b128c9ff395c5a939610419937e1e7e47b2654
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "fix bugs to get `CONSUMER_IP`"

fix bugs to get `CONSUMER_IP`

use `ip route get $COMPUTE_IP` to get CONSUMER_IP. And add script
fail if it failed to get CONSUMER_IP.

Change-Id: I2e330c9be6e00f31e6c3e27dd674f9aabbb74a41
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Increase sleep time before re-checking host status

JIRA: DOCTOR-63

Change-Id: I4bc932dac22aca746489910bccb87f6571e3200b
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Increase sleep time at cleanup phase

Extending sleep time by 60 seconds to allow Nova server to sync-up
states with nova-compute service.

JIRA: DOCTOR-66

Change-Id: I71c2f186fb3faf5550c7aede465c93c0674943e2
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Merge "Delete $VM_NAME and alrms with doctor user creds"

Delete $VM_NAME and alrms with doctor user creds

'openstack server delete' tries to delete VM with admin credentials
which fails because $VM_NAME is under a different tenant.

Same for ceilometer alarms that we created with doctor creds.

Change-Id: Ibba3b842dc8fa160137bb04316d285e52d776641
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

add `debug=True` in consumer

We need to add the `debug=True` in consumer to get the debug log
to get the time of consumer received the notifier

Change-Id: I90f2f8167a8670e28a3a5bcb5af054d378ef9b5b
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

fix doctor test

- revert to use nova command to get IP address of compute host

- disable interface which has the IP address of target compute host

JIRA: DOCTOR-63

Change-Id: Ic5dc7706476a542f13a942fdae5b347ce28d3f72
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Move block code inside Apex section"

Merge "Exclude .img and .log files"

Merge "Fix typo in monitor to correctly print IP address"

Merge "Unset default COMPUTE_USER at the beginning of tests"

use --os-* options instead of env param

Parameters defined in another shell cannot be used in the main shell.
This leads bug in funcsion which execute another shell to performe
openstack command as doctor test user.

This patch makes the test script use --os-* options to performe as
doctor test user, so that we don't have to execute new shells in
the test script.

Change-Id: If148f00acae919a926bb5e9f2af8dd433a4110f5
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Unset default COMPUTE_USER at the beginning of tests

Each installer has different compute users and we set a default for each
in get_compute_host_info. Having COMPUTE_USER set at the beginning as is
and not passing in a value will default to 'none' and thus overriding
the default user of the installer. For example, COMPUTE_USER would be
set to 'none' instead of 'heat-admin' for Apex installer.

Change-Id: Ia60a88f68c52604bac6b7eef18e97e11328f1a6e
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

make script fail if it failed to get COMPUTE_HOST

This patch is to make sure the test will be stop and report it failed.

JIRA: DOCTOR-63

Change-Id: Ibab577a100dee784df14e8b129fbde626d04fce9
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

use specify host_ip in alarm_action

we can not use `localhost` in `--alarm-action`, it should be the IP
which the consumer started on.

Change-Id: I50b99e4ff7609c474fb569049b3b8cd216c9178b
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Fix typo in monitor to correctly print IP address

Change-Id: I335cf82f3996359327d0cacfcdc53eda8a709f86
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Exclude .img and .log files

Change-Id: I4bb4c53d7b42333a16dda05c25d947256168d4b9
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Move block code inside Apex section

Change-Id: I87c971fedc6106165bfe0716a475edad5c43640c
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

check host status before deleting doctor project

In `cleanup` function, we can't delete doctor project and doctor user
before checking host status. Because we use API to get the `host status`
under the doctor project.

Change-Id: I38c0929eeff9378051e0dcda308734ab7b353509
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "get compute host info after vm boot"

get compute host info after vm boot

If there are multi-compute node, vm may not be scheduled to the
specified compute host. So get the compute host after vm is started.

Change-Id: I1bc3caaf8305beded9eb297b116968a190fd9751
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

add version para to use `openstack server show` cli

We should add the version para to use `openstack server show` cli
to get `host_status`

Change-Id: Ie0332e3766cb88f687fa66bcd5d8218f311e8add
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Move from legacy CLI to openstack CLI

openstack CLI does not support Ceilometer/Aodh calls yet.

Change-Id: I2074c794c00d0307421839acfa86e9f63f80ca5d
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

fix check host states

Fix the check_host_status, modify the `TEST_ROLE`
as `admin` temporary.

Change-Id: I7260ef027cc75fe71db3a3b706f3720a93821e10
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "get doctor vm info under doctor project"

get doctor vm info under doctor project

get doctor vm state and vm_id should be in the doctor project

Change-Id: I7020b034264da7c9b035d37c44c57b952bed4271
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "Pointer to "Port status update" RFE in upstream"

Pointer to "Port status update" RFE in upstream

Change-Id: Ic45abcf3d888613b74a5b4d5b61f3eb5c6de0873
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Merge "Neutron RFE: Port Status Update"

Neutron RFE: Port Status Update

Change-Id: I7c68afe93f38553707bf413e493e1f8aa5dcfae4
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Merge "Description of Doctor Scenario in Functest"

Merge "Add Dong Wenjuan as committer"

Merge "add timeout handle"

Add Dong Wenjuan as committer

Change-Id: I187121450d2d0dfa6f9732f15f8b8cd84d8069fb
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Description of Doctor Scenario in Functest

JIRA: DOCTOR-53
Change-Id: Ie8a1b2f8f49761cf455514923761d39efc2bbce8
Co-Authored-By: Gerald Kunzmann <kunzmann@docomolab-euro.com>
Signed-off-by: Yuanzhen Li <li.yuanzhen@zte.com.cn>

add timeout handle

If create instance don't success, it will have a
endless loop for waiting instance to change to
`active` state.

Change-Id: I6eff3cbaefaf1ba7e30ae7fddcec62ac5c1544de
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "Add SB Event API specification"

Merge "Before deleting the instance, check if the instance exists"

Before deleting the instance, check if the instance exists

The instance may not exist if there is a error before creating
instance or it failed to create, run the `cleanup` to delete the
non-existent instance will raise an error

Change-Id: I13e4b63be952967605093a4427f5b0ac4be280c3
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

use `openstack` cli instead of `keystone`cli

As in OpenStack, `keystone` cli is not used,
change `openstack` cli instead of `keystone`cli

Change-Id: I2c4679cba7fd80ea33098f89fbd9eecf65abdd8a
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Add SB Event API specification

This patch adds unified event api as southbound interface specification
between Monitors and Inspector.

JIRA: DOCTOR-17

Change-Id: I80a69a6735bcc68d55851a5524fc0c01b9cb35c5
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Fix a word spell in docs:02-use_cases.rst

Change-Id: I6ae339b0cd228c2b2f2c49d36422a1b13a9ffe23
Signed-off-by: Yuanzhen Li <li.yuanzhen@zte.com.cn>

Merge "Revisit fault table"

Revisit fault table

- add storage fault (same content as compute)
- add example of mainboard error
- rename fault Hypervisor status not retrievable
- editorial fix
- complete "how to detect"

Change-Id: I9ec849014d18823f9a309396542e89a4e6da8b6c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

test: respect 'CI_DEBUG' set by functest

In current bash script for doctor test, '-x' option is enabled and all
executing commands will be printed in the console.

Functest has a configuration to enable/disable this '-x' option. It is
environment variable 'CI_DEBUG'.

This patch makes doctor test script to set '-x' option according to
'CI_DEBUG'. If it's not set, '-x' option will be enabled as it was
enabled before this change.

JIRA: FUNCTEST-212

Change-Id: I9fa5036aad7a0f5c88378337d946439a6ee6108c
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Fix typo and inconsistency"

Merge "Adding checking of host_status"

Adding checking of host_status

Checking of host_status is added for non-admin user to see that
installer have properly set the Nova policy.json like:
"os_compute_api:servers:show:host_status": "rule:admin_or_owner"

JIRA: DOCTOR-61

Change-Id: Ieee997951b54f25b698ef0b70a628cfcf87b396a
Signed-off-by: Tomi Juvonen <tomi.juvonen@nokia.com>

Fix typo and inconsistency

JIRA: DOCTOR-37

Change-Id: I67a38611a828a5d293cdfd1702b37fc89f5229a0
Signed-off-by: Zhang Yujun <zhang.yujunz@zte.com.cn>

Merge "Manual for get-valid-server-state"

Manual for get-valid-server-state

Change-Id: I684b94c18bc1961859907b5565f8498b97987092
JIRA: DOCTOR-47
Signed-off-by: Tomi Juvonen <tomi.juvonen@nokia.com>

Run 'ip' with sudo

Change-Id: I3de7749746dfd2eb0a67a428b7f0ae4503c14123
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Fix disable_network.sh and 'ip' path

The 'ip' bin file can be located in different paths depending on the Linux
distribution so better not hardcode it to a specific path.

CentOS 6:     /sbin/ip
CentOS 7:     /usr/sbin/ip
Ubuntu 14.04: /sbin/ip

Change-Id: I0b02a221d3367ed4bfd8596992a2774f22138b54
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Add support to multi-installers and local envs

As of now, only support for Apex is available. This patch makes things easier
to extend support for other OPNFV installers. The patch also adds explicit
support for local OpenStack environments (e.g. deployed via devstack).

Change-Id: Ib36e8fef2418dfabbaa56b933f533650d184d4e3
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Merge "Output log when compute node is back online"

Fix typos in strings

Change-Id: I1fe3adf5db8539178c0e068b73b22948d0e574d2
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Output log when compute node is back online

The network interface of the compute node is set to down for 180 seconds, and
then brought up back again. While it's unreachable we cannot call out the
COMPUTE_IP:disable_network.log

Change-Id: Iaa90339093c8fda88d883b688a4c8495e78414b7
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

docs: add index.rst files to component docs

Change-Id: I1256d21bc01c7f1343859e28b47c15d9d284bddf
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

test: add nova_force_down client

New force_down API is not available due to rack of support in default
configuration of keystone service catalog and limit of novaclient,
so this patch adds nova_force_down client to operate the new API.

Change-Id: I2545f4448313b334d4c0a12f1638e64ecfafdf41
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

test: fix bugs (ssh args and force-down in cleanup)

This patch fixes two bugs:

- ssh target hostname is wrong (it trailing by ':')

- novaclient cannot execute 'force-down' since it tries
  to use v2.0 endpoint which doesn't spport the new API,

Change-Id: I5ef3a8eda5fa7a6730b4eb456d0441d40718a010
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

test: fix bugs (scp -l and trap ERR)

This patch fixes bugs:

- '-l' option for scp is different from that of ssh, so remove
  this option from the common param for scp and ssh.

- trap ERR was not executed, so replace it by trap EXIT

Change-Id: Id50ff29656fa100f420ae9ccc7a8a19a65a941c8
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

test: fix bug: missing installer_ip in scp args

Change-Id: Ia9bf6ffb8a6bd4f2672aa50bb7841a7dc37e48ea
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

test: fix DNS issue in test scenario

Doctor test was failed due to failure in resolving hostname at [1].

This patch replaces hostname by ip address, and also changes ssh route
from relaying instack VM to direct access from functest container to
the target compute host.

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-opnfv-jump-1-daily-brahmaputra/38/

Change-Id: I9d4f115cb43ec16540f7d9300d652625685477d5
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

tests: enable doctor test scenario with fixes

Change-Id: I2c0c939b41f28684a1697b0099f2df62ce27c6a3
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

docs: fix filename

See https://wiki.opnfv.org/documentation/userguide .

Change-Id: I2d03406de585785d13a58a8181efeaa674f97e31
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

tests: collect infra IPs

Change-Id: I2f1df56632827925784441c03aadc544c1e3c891
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

docs: fix filename and test4composite

Change-Id: I78366611efd26987a71c3ecf25d2406e6f489cca
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>