Fix retrieval of log filename path

Change-Id: I0dd61a020827e7ba9ec7a2e0300bf50dd7175e86
Signed-off-by: Carlos Goncalves <mail@cgoncalves.pt>
(cherry picked from commit 4f6132978ad548ee1e696016d450d0b4a4cbab9f)

fix the way to get log filename

Change-Id: I9ce494c408c99e1a76a6b485db29a72c3134e487
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>
(cherry picked from commit 589a60fcd004ee59716273b30cea69aa7b5d102b)

fix referring neutron option in inspector

Change-Id: I01173cdf301f168edebfc2ec6df82b015adebca7
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>
(cherry picked from commit 1bec48cd10057821828ffca3f5ecf31b853c66f7)

option: "update_neutron_port_dp_status"

This patch introduces new boolean option "update_neutron_port_dp_status",
which disabled by default.

Change-Id: Iaf7503d5854251fabf816b9bf3fcc1964c231a68
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>
(cherry picked from commit 9f91aba7ef33d7ad88c3bd004fdf7c5fef65f151)

Merge "Add parallel execution and shortcut notification to inspector design guideline" into stable/euphrates

Merge "fix collectd's bug" into stable/euphrates

fix the path of log file

Change-Id: I823bdc453c32decb0160f0915d749af4ac664908
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>
(cherry picked from commit 1336b9add0dc6fb91fbf71431e3bfa1cd0dd89d6)

Add parallel execution and shortcut notification to inspector design guideline

JIRA: DOCTOR-73
Change-Id: Ic412b0c5e966f4391bc0f9e5e71d64e23e2eba68
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>
(cherry picked from commit 1f00955295c2461a181aa1fa5d8587f12832bf4d)

fix collectd's bug

After we move files under doctor_tests and install doctor package,
the tests/lib/monitors/collectd/collectd_plugin.py file will not be
in the doctor_tests package.

Change-Id: I24a098e26ea3cd257f2376458d5c31ecc87aac68
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>
(cherry picked from commit a321477d00ccb84b0d99e7476e4306605498409d)

add __init__.py file in doctor_tests dir

Change-Id: I43bd8aaadec893114b00d10c3f36dafd8bcef21e
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "fix package path and move files under doctor_tests"

fix package path and move files under doctor_tests

Change-Id: Ibde6a36c43064e5fbea1a0b7a9b49349c343e42f
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "add python test indication"

Merge "Add host specific VM list to inspector design guide line"

add python test indication

Change-Id: I2c56ce653e05727d13a26bf7bdd2595107a6ffba
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Select stable/ocata packages

It also protects if flask is already installed.

Change-Id: Iec5d65fe307d702ec6f600333d6bc9cc3ab2ee33
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add host specific VM list to inspector design guide line

JIRA: DOCTOR-73
Change-Id: I163b97ec87761538594034e926055646223af327
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Add doctor-test package"

add running profiler in python

For support bash and python both, I don't refactor the profiler_poc file,
just call the func in python main.

JIRA: DOCTOR-117

Change-Id: I5f06ecbd673c6a21acc94cc359a3f2b749b77b13
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

refactor failure inject

JIRA: DOCTOR-116

Change-Id: I14deda4ccb47414cff139a522a9196b68e92500e
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "Test port data plane status on Sample Inspector"

delete workaroud of doctor driver in congress for Apex installer

Change-Id: I767777fd3c07998170b0957400a3e2a00ebe62a9
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Specify the filename for 'w' filemode

FileHandler use 'a' mode in default for writing the file.

Change-Id: Ie19d80e5ff286da2722634787dcffe36234c0119
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "add maintenance detailed spec"

add maintenance detailed spec

JIRA: DOCTOR-52

Change-Id: I43c2d224fcd188946049d89fe266c541ea268dea
Signed-off-by: Tomi Juvonen <tomi.juvonen@nokia.com>

Test port data plane status on Sample Inspector

Exercise the Neutron port data plane status API on the Sample Inspector.

Setting the data_plane_status field of Neutron Port objects to 'DOWN'
when a network failure on a node is detected.

To keep the test simple enough to verify the Neutron API, we don't
consider a scenario where multiple NIC ports could be present on that
particular node. It could still be done, though.

JIRA: DOCTOR-107

Change-Id: I9ffa0a23626b7edfaeb601dc90d55c756216cc41
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Merge "Decode received data in byte type to str type"

Merge "fix some bugs in monitor"

fix some bugs in monitor

1.send bytes data to the socket
see https://docs.python.org/3/library/socket.html
2.fix a endless loop

Change-Id: I880e713266347d8836cec45ebf9a500bb7c813f4
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Decode received data in byte type to str type

json.loads in Python 3.5 doesn't accept a byte-type values so we need to
decode it. Note that this is specific to Python 3.5; Python 2.7 and 3.6
accept byte-type values.

Change-Id: I490f8e0f02a6ce277f86e75b32d1210bfcca8d49
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Delete project after stopping Inspector

At cleanup phase, the sample Inspector fails to re-enable the state of
the compute services. Such happens because the novaclient instance it's
using is bound to the 'doctor' project, which has just been deleted at
user.delete(). Thus, it is necessary to postpone the deletion of the
project after stopping the inspector.

Change-Id: I8cd5885cdfd3671a6c28342bdee65eac64dafaa8
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Merge "make poc profiler run in default"

add the whole config opts in sample config

comment the monitor opts, as all the tests will be runned with collected monitor

Change-Id: Ie63b74f69b9452de31e85d9cc8ec0d49127ebc06
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

make poc profiler run in default

Change-Id: Icd110bd532e86a86b82824e849337649c284d3e6
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Add Collectd as a Monitor Type

A plugin for collectd is added to use collectd on compute as a
monitor type. Monitor files are updated accordingly.
The inspector now listens on all interfaces instead of only
localhost to enable it to communicate with compute node.

JIRA: DOCTOR-86
JIRA: DOCTOR-101

Change-Id: Idc834d428152e4687020eff7d8db36a652b1bf86
Signed-off-by: Umar Farooq <umar.farooq@neclab.eu>

Merge "refactor apex installer"

Merge "fix the bug: congress server can't be started"

fix the bug: congress server can't be started

After we modify the congress.conf file, congress server can't be started.

Change-Id: Icc3bd044a5fb7622620c42d6d25802739de875d0
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

refactor apex installer

JIRA: DOCTOR-100

Change-Id: I684071d35aac99ad1f5b65ae74e0a98ac726af35
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

install python packages

Change-Id: Id68c9b1206deb58ff94fc942fbef94bffbc1e68b
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

refactor local installer

JIRA: DOCTOR-100

Change-Id: I1e2c53f7a716156e35386d42c0df32a228a78fab
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

refactor sample consumer

JIRA: DOCTOR-113

Change-Id: I60f17953e9b1cdf31ea50f313b33f8ede0831bc2
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "refactor congress inspector"

Add doctor-test package

It also updates test-requirements.txt to conform with OpenStack
stable/ocata and renames it requirements.txt.

tests.main:main is considered as entry point and run.sh as script.
run.sh could be renamed to avoid possible conflicts in functest.

tox.ini is updated to pin the right versions and build files are
filtered.

The next dependencies can be safely removed:
  - paramiko
  - scp
  - python-openstackclient
  - python-ceilometerclient
  - virtualenv

Change-Id: I2091cfe4751640bf83d77e1fdd713af1e31fa89d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

refactor congress inspector

JIRA: DOCTOR-98

Change-Id: I22fa893a1c1973fc63f994b630dd0c6a2c30e641
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

refactor the monitor

JIRA: DOCTOR-99

Change-Id: I1831d329ffe80435532678fcb23d54f310422ce8
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "fix some bugs for python verify jobs:"

Merge "refactor sample inspector"

Merge "Fix host status grep bug and Remove connection_pool argument"

fix some bugs for python verify jobs:

1.PYTHON_ENABLE=True does not work in bash
The python jobs does not run even we enabled them. The reason is that currently
JJB parse the parameter 'PYTHON_ENABLE' as 'True' which does not work in bash.
Fix it to compare with [Tt]rue.

2.Install tox if it is not installed

3.support only python3.4 in tox.ini

4.install python3-dev

Change-Id: I1a8ebad2fd06fe50ca4f739adb8d6d76caa2963b
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

refactor sample inspector

JIRA: DOCTOR-98

Change-Id: I7110b680d0a0c64b1b2666abcea183e73373dca7
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "Added steps to enable Python 3 and Congress in README file"

Added steps to enable Python 3 and Congress in README file

Change-Id: Ic880836931f3f00c9ff926c9e981b0d49c9a045e
Signed-off-by: Bertrand Souville <souville@docomolab-euro.com>

Updates upstream file (dataplane status to network port in Neutron)

Change-Id: I00f232dede044ca396fe914272e7ade9ac9d6753
Signed-off-by: Bertrand Souville <souville@docomolab-euro.com>

Fix host status grep bug and Remove connection_pool argument

Host status returned the wrong output as the "OS-EXT-SRV-ATTR:host"
pattern appears twice in the "openstack server show" output.
The argument connection_pool is deprecated and is not needed.

Change-Id: Ib107e0bad8084bdf6f77689f112bde04bdb97543
Signed-off-by: Umar Farooq <umar.farooq@neclab.eu>

add create alarm

JIRA: DOCTOR-93

Change-Id: I316608c9627ff38e55154257b798244de3f221c5
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Add create instances

JIRA: DOCTOR-93

Change-Id: I7645c1cc0c76ff86b9fbcc01c19038469fc9b9b4
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "support config file"

Merge "Create policy.json file in Ocata for non-admin user"

Create policy.json file in Ocata for non-admin user

Non-admin user is not allowed to view host_status flag.
To get the host status, policy.json file needs to be
created as it is not available in Ocata by default.
This is created for local and fuel installer types
in this commit.

JIRA: DOCTOR-110

Change-Id: Ie626217a515f821c47b1cb6ed0e3d504d8e01b3a
Signed-off-by: Umar Farooq <umar.farooq@neclab.eu>

support config file

Change-Id: Ib8e696acfe21787904fce6838341f3a256aa0267
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

replace urllib2 with urllib.request for python3

Change-Id: I68036c295689fae55125854074e3bc4d920fec06
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

add test user, project and role

JIRA: DOCTOR-93

Change-Id: I85bfb21b7c07c40dfd1bfa6049130ad82fa3996a
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "Fix run.sh bug for dynamic interfaces"

Fix run.sh bug for dynamic interfaces

The run.sh extracts the name of interface using awk
with 7th value in "ip a" command but in case of DHCP
enabled interface this value is "dynamic". So the fix
takes the last value of the output which is the
correct interface name.
EDIT: Removed the redundant line to get 5th element.

JIRA: DOCTOR-109

Change-Id: I0775d90ef219387e5b68abd4fd98d38d2104f128
Signed-off-by: Umar Farooq <umar.farooq@neclab.eu>

Remove obsolete packages

`os` and `sys` is no longer used in sample monitor, inspector and consumer

Change-Id: I6d2a6ccf1cd68851a80e6e6cf0c50bf06c8d1cbb
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Adding PYTHON_ENABLE option"

Create devstack plugin for osprofiler configuration

Change-Id: Ifd6f90ea1d39d7385f1ab099bc7b0b2ed59efac5
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Fix session error with INSPECTOR_TYPE=congress

In monitor.py, the self.session value is not defined
in DoctorMonitorSample class. This commit fixes it.

JIRA: DOCTOR-111

Change-Id: Ib61caa4146d78d6fe4857299c4730f13a7ac7a27
Signed-off-by: Umar Farooq <umar.farooq@neclab.eu>

Adding PYTHON_ENABLE option

This option will be removed, once we confirmed tox/python testing code
works fine and functest trigger has changed from 'run.sh' to 'tox'.

Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>
Change-Id: Ia4421f6e39a415bd7b6212af612249deb482e7af

Add Keystone missing params

The values of OS_USER_DOMAIN_ID and OS_PROJECT_DOMAIN_ID
are needed as auth parameters else the nova API gives
HTTP 400 error.

JIRA: DOCTOR-108

Change-Id: I58b746e5216c00d2f78b0ccf899b69fe66c15848
Signed-off-by: Umar Farooq <umar.farooq@neclab.eu>

use password_plugin_loader for auth

Change-Id: Ifb650f52fed641a7146358eada571e5c4beaf3d6
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

add image code

JIRA: DOCTOR-93

Change-Id: I6551d5e31799b967ce442cb05a664c0d64a3dcf8
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "Change role of doctor user to _member_"

add framework and tox

JIRA: DOCTOR-93

Change-Id: Ife3255c4fe2d170c5d1b8354aaab24d5b1e3bc64
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Change role of doctor user to _member_

Change role of doctor user to _member_
Do needful changes to API calls
Add admin a role to project
Add Fuel support

JIRA: DOCTOR-80

Change-Id: Ic7f88b9ceb6c4fc90e5e985ecfbc50c907b2367e
Signed-off-by: Tomi Juvonen <tomi.juvonen@nokia.com>

[docs] fix link in danube release notes

Change-Id: Idd02339dd8547359d4e73849b94e071fb6aeaaf1
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Fix release notes reference

Change-Id: I4351600917570e3b9eddeefab43fee7882d20ddf
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

danube release notes

Change-Id: Ic2401cc2c3e57324504d2c2d66a69c2e90a4ee91
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Remove numbering

Remove numbering from documents as its showing
up in all headings in the composite documents.

Change-Id: I6c0171868f3c70082a8a42e5a33514dfbddab1ba
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Add installation and configuration instructions for Vitrage as the Inspector.

Change-Id: Ibe0bdf20872ae87c6e88263bba6b3a0e21c74940
Signed-off-by: Ifat Afek <ifat.afek@nokia.com>

Merge "[apex] change config for doctor testing"

Merge "Adding Labels"

Adding Labels

Labels serve as anchors/ refs when referenced from other documents
This patch adds labels to docs/*/*/index.rst

Change-Id: Iaf67246a415cf3bedb5b8c7028a35b3e1bd99d35
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

[apex] change config for doctor testing

JIRA: DOCTOR-96

Change-Id: I5b0923ffeb53ff53ad9f780b8b5ebdce834d995a
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Adding back the summary to the requirement document, but updated with
current Doctor status

Change-Id: Iba7f7f6ff97c4c651e8403a969739d3fced2aec0
Signed-off-by: Gerald Kunzmann <kunzmann@docomolab-euro.com>

Merge "Updated implemented architecture description and figure"

Updated implemented architecture description and figure

Also removes implementation plan for OPNFV Arno.

JIRA: DOCTOR-81

Change-Id: I22a711a7b8096e86a8f0b17d6875d00b15667c0c
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

add upstream gerrit path

Change-Id: Iba10e6c3020aeec8d48dcc72e13698bffef03f0f
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Updates to Danube release documentation: JIRA: DOCTOR-81"

urgent bug fixes for danube (2)

- use relevant identity version estimated from OS_AUTH_URL

- (apex) unset OS_PROJECT_ID

Change-Id: I7e51c7d5510baaa4d14b16600f9efa6fcfc011b9
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

urgent bug fixes for danube (1)

- create "doctor_net" and use it in VM creation in order to avoid
  virtual network issues

- make sample inspector use keystone v3

- use "openstack compute service set" for unset force_down

- drop nova_force_down.py as keystone returns nova v2.1

- use '--os-project-name' except for ceilometer cli

- avoid ping check (wait_ping) with empty "COMPUTE_IP"

- add missing '$' in quota update args

- move ping check (wait_ping) into unset_forced_down_hosts() and
  perform ping check only to downed compute hosts

- use wait_until() instead of wait_ping()

- put out unset_forced_down_hosts from collect_logs()

JIRA: DOCTOR-95

Co-Authored-By: Carlos Goncalves <carlos.goncalves@neclab.eu>
Change-Id: I3275ff5dd993b82029dac6a58087096baa251022
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Updates to Danube release documentation: JIRA: DOCTOR-81

Proposal to remove "History" table as the history of the document can be
seen from the releases.
Proposal to remove "Summary and conclusion" as it is outdated and not
necessarily needed.

Change-Id: I3ebd73fd7b42d0c11209dfde93f5839762e432a6
Signed-off-by: Gerald Kunzmann <kunzmann@docomolab-euro.com>

[test] print log files

Change-Id: Id8f307624564a6b822595689dbde64fee351b17f
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

[docs] add test manual

Change-Id: Ieb02b6fdf5f09fcd8bb803c1186c45284755061c
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Update docs structure according to new guidelines in https://wiki.opnfv.org/display/DOC"

Merge "Add multiple VM support"

Add multiple VM support

Add support to run Doctor test with more than one VM by setting
VM_COUNT to wanted amount of VMs. Normally half of those VMs
gets scheduled to host that is used for Doctor testing.

JIRA: DOCTOR-77

Change-Id: I9fac96c6f53c290fccc35a2fd933b9fb106b96f2
Signed-off-by: Tomi Juvonen <tomi.juvonen@nokia.com>

Update docs structure according to new guidelines in https://wiki.opnfv.org/display/DOC

Change-Id: I1c8c20cf85aa46269c5bc369f17ab0020862ddc5
Signed-off-by: Gerald Kunzmann <kunzmann@docomolab-euro.com>

improve installation manual (add congress config)

JIRA: DOCTOR-85

Change-Id: I17d5a5c393cc92013a1cf82f6a0f76c360ab7c02
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>