Merge "Updating the DPDK Version to 18.11 (Latest Stable Release) and respective information in teh one click install userguide."

Add new PTL Emma Foley

Change-Id: Ied7f5b6423b374e7e7f89f2e199b3270c2262db4
Signed-off-by: Matthias Runge <mrunge@redhat.com>

Adding a comment under 'confiure ssh keys' to make the user aware about the necessity of it.

Signed-off-by: jabirkkclt <jabir.kanhira.kadavathu@intel.com>
Change-Id: Ie474bab8fb3e6db6954769fc00a66d659ef66dfc

Updated committer details for Emma Foley

Updated company and e-mail.

Change-Id: I3139b5bafac8f54a215cf2ba7e8abd763108fb3f
Signed-off-by: Emma Foley <efoley@redhat.com>

Merge "Updated/corrected the path for ves application config file"

Merge "Format change to align with Influxdb_hosts"

Updating the DPDK Version to 18.11 (Latest Stable Release) and respective information in teh one click install userguide.

Signed-off-by: jabirkkclt <jabir.kanhira.kadavathu@intel.com>
Change-Id: Ib0b0892eed4f654068bf376d9f2b9da2e6043b74

Updated/corrected the path for ves application config file

Signed-off-by: jabirkkclt <jabir.kanhira.kadavathu@intel.com>
Change-Id: Ib4243f84aaba3d7920c51e0da3fad54c960e53eb

Merge "Moving the collectd version from 5.8 to 5.10"

Merge "1. Added one dependency step for installation in Ubuntu,to match with that of in centos. 2. Updated default.inv documentation for the latest changes in the actual file in the Repository"

1. Added one dependency step for installation in Ubuntu,to match with that of in centos.
2. Updated default.inv documentation for the latest changes in the actual file in the Repository

Signed-off-by: jabirkkclt <jabir.kanhira.kadavathu@intel.com>
Change-Id: I2ab5b30bf2954cf247fdb56763e90a314db9c90f

Moving the collectd version from 5.8 to 5.10

Signed-off-by: jabirkkclt <jabir.kanhira.kadavathu@intel.com>
Change-Id: I1579a2bd0ef2280134fc13183ebafeb444b752f9

Format change to align with Influxdb_hosts

Signed-off-by: jabirkkclt <jabir.kanhira.kadavathu@intel.com>
Change-Id: Ie368f2d32ce1291036f6fff95cd13b0dbdeced24

Added a comment under grafana_hosts to convey that Influxdb and Grafana should be same host.

Signed-off-by: jabirkkclt <jabir.kanhira.kadavathu@intel.com>
Change-Id: I82732de3eacd7abda5d63059d988452e8141201b

Update ansible scripts to use py3 for Ubuntu and Fedora

Signed-off-by: Emma Foley <efoley@redhat.com>
Change-Id: Ia62933a4b824f1280a693fc8004d29c67dc5e2ac

Merge "Add a README for github mirrors to show"

Add a README for github mirrors to show

Change-Id: Ib3ae52755cae26a386b17f01dab3bba4976c220e
Signed-off-by: Matthias Runge <mrunge@redhat.com>

[docs][install] Split the docker and ansible install guides

docker.userguide.rst contained two methods of installation:

* Manual installation of all the docker containers
* one-click install using ansible

A new user is potentially going to be confused about which
document to use, and may not be aware that the two options exist.

This change splits the install guide into two documents, one for
docker, and one for ansible. It also renames the docker guide to
make it more obvious to the user what is contained in the guide.

Change-Id: I1ecdd7d15f8f53c80221916379982bca2673a06d
JIRA: BAROMETER-128
Signed-off-by: Emma Foley <efoley@redhat.com>

Updated the typo in diagrams for 3 modes of VES Operations.

Change-Id: If197bf24f8b834a81f21aa99b2d89b7b70ffad54
Signed-off-by: jabirkkclt <jabir.kanhira.kadavathu@intel.com>

Merge "ansible: add variable to select collectd container"

docker.userguide: Add info about collectd master & experimental containers

Added chapters about different collectd container flavors that
can be chosen in barometer project.

Change-Id: If6383231580749c37d2ff0ecc43f62b67434e51c
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

ansible: add variable to select collectd container

Add a variable to playbooks to select type of collectd container.
Container flavor can be stable, master or experimental.

Change-Id: Ie591ca3b7816210c377c5bffbb54117f8ee764aa
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "docker: Add support for experimental collectd container"

barometer: update conf files

Updated intel_pmu.conf for ansible installation to monitor
cores 0-4 by default.
Add sample conf files for plugins supported by master container:
pcie_errors and write_prometheus.

Change-Id: Ifedff2f3b099f5d7b5a88d14909c3879d38e4e64
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

docker: Add support for experimental collectd container

Experimental container is based on master branch and includes
set of pull requests with experimental features.
By default one addtional PR is included - logparser.

Change-Id: I455122b23b6de382f6ef75a790f7b052784b59ac
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

barometer: update DMA's vendoring packages

Change-Id: I0578b094f1ecdaed20c906be2ba29d51b8089d7c
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>

ansible: update docker userguide for collectd_ves

Change-Id: I54a2d46b8acecea6f6278f130d7567acc813c324
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

ansible: Add zookeeper to one click install

Previously 'zookeeper' docker container should be installed
manually by user - now it is a part of ansible one click install
for VES.

Change-Id: If3873cffa51ddf04d2c3769705259aaf5928cc45
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

ansible-kafka: Fix zookeeper_host_ip value

Previously 'zookeeper_host_ip' was set to 'localhost' instead
of IP address - this caused error during starting kafka container.

Change-Id: I55cf6e3375e3d08df2baf69f678aaab74f4aa408
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Merge "Fix wrong image name in test code"

Merge "Add git installation to docker guide"

Add git installation to docker guide

Change-Id: I1e94ddaa7b877adacd874d3c2b02ea5939892dcc
Signed-off-by: Matthias Runge <mrunge@redhat.com>

Fix wrong image name in test code

This change fix the name of the container image to be tested
from the past name "LocalAgent" to the current name "DMA".
This also fix python function names, comments and log output.

Change-Id: I8bd8d1d884f6ff59c7e52da31455bc7f042ee9eb
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

Merge "Fix anteater issues of baro_tests"

ansible: install mcelog from sources on Ubuntu 18.04

On Ubuntu 18 mcelog is no longer available through apt from
standard repositories. It can be downloaded directly, and make
on target machine. Mcelog version 161 is used.

Change-Id: Ie24990869190f86efa26994081d4f887f879c867
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Fix anteater issues of baro_tests

* Use yaml.safe_load instead of yaml.load
* Not use curl
  (Use the file prepared by the procedure
   in the Functest Installation Guide)
* Not use /tmp directoriy for security reasen
* Add copyright to fix "Licence header missing"

Change-Id: Ib4ad56e6a79d7f7d00058d5bd7c6690b8c360753
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

docker.userguide: Add note about 'python' dependency in multi node setup

Ansible needs python2 to be able to finish discovery on remote host
and on some distributions it may not be installed by default.

Added note about this dependency - 'python' package has to be
installed on each node in multi-node-setup.

Change-Id: I2741325a7b4b1b38bdfb1af427c65eeb90408aa6
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Update docker userguide: dpdk plugins

Add dpdk plugins to description of ansible installation.

Change-Id: I89e8ec6c0918455dd4df5d086fbc2475200054ce
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "docker.userguide: Fix instruction for installing ansible"

Merge "docker.userguide: Fix ansible-playbook instruction for non-root user"

Merge "Add support for dpdk events and stat to ansible installation"

docker.userguide: Fix instruction for installing ansible

Previous version of instruction for installing ansible under
pip was problematic when called as a regular user because
pip was trying to use wrong(local home) directory for caching.
It may cause problems when home directory is located on NFS.

Change-Id: Ia9eb15d1be0db0cb5aa5f3fd04a7a166ff1046b2
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docker.userguide: Fix ansible-playbook instruction for non-root user

Now using 'sudo -H' instead raw sudo - without that option ansible
on some systems(e.g. Ubuntu 16.04) will try to use regular user home
directory for caching (it may be not accessible when home is
mounted using Network File System)

Change-Id: I9d7e14613d7e27f86c43926c05b368972527e072
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docker.userguide: Add chapter about cleanup influxdb/grafana

Added chapter about cleaning influxdb and grafana configurations.
Config files for both are stored in folders that are shared
between container and Host machine - it is good to remove them
when removing barometer docker containers in case of re-installation
or changing active setup.

Change-Id: If84c0f0ee91560275b4834bc98dbdff518a059a8
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Add support for dpdk events and stat to ansible installation

Add dpdk plugins to ansible installation with default
configuration.

Change-Id: I1f7949962aff5119141b5712bb6b32db8f45b287
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

docker.userguide: Add info about using influxdb in multi-node setup

Added chapter about steps that have to be performed in order to
run collect and influxdb on separate Hosts (manual setup)

Change-Id: Ia4b1234aa1346afdc27ec5eabb795dfac06f0522
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Merge "barometer-collectd: Add support for DPDK in container"

Merge "docker.userguide: Add --network=host option for manual docker build examples"

barometer-collectd: Add support for DPDK in container

Build dpdk plugins in collectd container.

Change-Id: Ifdca827a419d6d3d4d9c6070d3a581372df8a2f9
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

default.inv: Add note about problems with mixing hostnames/IP addresses

Added a note about risks with mixing IP addresses and hostnames
in inventory file.
If the same host will be called in inventory file using both its
hostname and IP address then problems may occur during step
where dependencies are installed (ansible thinks that there
are 2 independent hosts and will try install dependencies
for both of them in the same time - it may fail be because
of apt/yum synchronization locks).

Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
Change-Id: I2cd1ea293fadfb12f78c03028cafec993dadbe2d

Merge "docker.userguide: Fix instruction for copying ssh keys"

Merge "Committers please vote +2/-2 for PTL nomination of Matthias Runge fixed INFO"

Committers please vote +2/-2 for PTL nomination of Matthias Runge
fixed INFO

Change-Id: I5368b2bd519376212af8719a58ac325b38b8c235
Signed-off-by: Aaron Smith <aasmith@redhat.com>

docker.userguide: Add --network=host option for manual docker build examples

On Ubuntu hosts (16.04 & 18.04) there might be problem to build
docker collectd container if host is behind a proxy even if
proxy variables are set correctly - when using "--network=host"
option problem is resolved.
This option has no negative impact on other host systems so adding
it to default command line build example.

Change-Id: I69ebd13f1e05658d8ad18e3ec379f515312e7b74
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docker.userguide: Fix instruction for copying ssh keys

Previously 'ssh-copy-id' command tried to upload key from
non-root user directory and next command was expecting that
root key was copied (in that case ansible was unable to log
into host machine)

Change-Id: Iba25e6a8da0e5902883e5aa876f735e8f632d3b9
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Fix DMA docker image url in docker userguide

JIRA: BAROMETER-118

This fix DMA docker image url from opnfv/barometer-localagent
to opnfv/barometer-dma

Change-Id: Ia11f388f31129b0636407e1af5139c747a861b87
Signed-off-by: Yuki Kasuya <yu-kasuya@kddilabs.jp>

Merge "docker.userguide: Add a note about bar-collectd run without DPDK/RDT"

Merge "Add support for multi influx hosts"

Merge "Add 'prometheus_hosts' example definition to default.inv"

Merge "docker.userguide: Fix manual grafana and influxdb run commands"

Merge "src, docker: Change pkg import path of DMA"

Merge "docker.userguide: Remove 'docker-compose' chapter"

Merge "docker.userguide: Add link to VES collector setup instructions"

Add 'prometheus_hosts' example definition to default.inv

Change-Id: Ibd87a721ba299f02db22723cb663c4ed513cd1fb
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

src, docker: Change pkg import path of DMA

Different repository from OPNFV repository was temporary used
as our own go package paths of DMA.
Since the DMA code was merged in OPNFV Barometer,
we change the import path to the Barometer repository
and we simplify Dockerfile.

Change-Id: I49aba163d3bd93a9edb48ce10bd4f69a43c2e28a
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

Add support for multi influx hosts

Added support for multiple influx hosts.
Fix issue where ansible crashes when influx_host is not defined

Change-Id: I348e53c9b6147b0fafffdebcd80037acb72d67ce
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

docker.userguide: Remove 'docker-compose' chapter

Removed 'docker-compose' and 'docker testing' chapters because
they are not required for the release or as per the commitment(and
ansible one-click-install is natural replacement for docker-compose
functionality in barometer)

Change-Id: If1db50954a290b27fa24f0285b4239891bb9ada8
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docker.userguide: Add link to VES collector setup instructions

Change-Id: I7633e98af0fb58baad08a3761742f5f1e2a0e917
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

dashboards: update and fix grafana dashboards

Update of default grafana dashboards.

Change-Id: I049001c982c19500d367bcaf467a9c614605792a
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

docker.userguide: Add a note about bar-collectd run without DPDK/RDT

Added a note with information what happens if RDT/DPDK dependency
will be missing on host during manual starting bar-collectd
container(with info what should be done in such scenario
to start bar-collectd anyway)

Change-Id: I11ba595e8925027c772920876c4bf2967f33de88
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docker.userguide: Fix manual grafana and influxdb run commands

Previously ports were exported for grafana and influxdb but
no network was mapped - no connection was possible between
both containers (only connection from host to container
was possible).
Now container network is mapped to host - the same approach
is used by ansible automatic installation for collectd,
influxdb and grafana containers.

Change-Id: I81af33d028bb8bc55590324694af93993f0f1d8c
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

ansible: Set IP address of influxdb for grafana

Set ip address to influxdb for grafana based on
provided hostname. IP address in numerical format
is required by grafana container. Mapping of
hostname in /etc/hosts is no longer required.

Change-Id: I684de737c6f8e48b5b9f256541901852d7ecc05a
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "docker.userguide: Add chapter for ansible proxy configuration"

Merge "Updated from global requirements"

docker.userguide: Add chapter for ansible proxy configuration

Change-Id: I0bb2f2af64001de5e029aa49a79f9627a5f405c2
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

ansible: Add cleanup for grafana cache under host machine

Previously cleaning cache directory for grafana(/var/lib/grafana)
was missing and, because of that, changing influxdb_host variable
value between one ansible deployment and another was not working.

It was a problem because scripts in grafana container are expecting
that cache directory will be empty during first run and, if some
dashboards exists in cache already (even if they are left by
previous deployment), old dashboards will be left untouched with
possibly wrong configuration. This bug happened during deploying
3 nodes scenarios more than once (collectd, grafana and influlxdb
hosted on separate machines).

Now cleanup is done by default and can be skipped using
'clean_grafana_cache=false' value.

Change-Id: Ib67cc3437b8a3a2c2930dd55cba44aef8e352cf2
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

ansible: Fix custom 'influxdb_host' setting for grafana

Previously there were 2 errors in ansible scripts for grafana:
- influxdb_host variable value was unset
- entry for /etc/hosts file was adding text "{{ influxdb_hostname }}"
instead hostname stored in this variable

Change-Id: I1821b3c5f5fea5c29386b1a57e37aadcf90dd2e6
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Updated from global requirements

Change-Id: I6661b7980e417b9544554b789e28fd07b7e4ed7b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "docker.userguide: Fix docker run commands examples"

Merge "Add role to auto install docker on hosts - missing patch"

Add role to auto install docker on hosts - missing patch

Small updates to ansible roles.
Several minor updates in documentation.

Change-Id: Id031cebc23301b6218f8ced0d261f844f270e37f
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

docker.userguide: Fix docker run commands examples

Command example for running opnf-barometer-collectd and grafaana
images were using incorrect locations for configuration files.

Change-Id: I3f0648f810cc049ae1df4d742f2ed7b58b50b12a
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Adding support for prometheus using ansible

To enable add the following with your ip address
to your inventory file:

[prometheus_hosts]
172.24.4.19

Change-Id: I85add815367bcbcf1240398db2c43c2130537969
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "WIP: Add role to auto install docker on hosts"

WIP: Add role to auto install docker on hosts

Auto install docker with dependencies on hosts:
apt install python
apt install python-pip
pip install docker-py
apt install docker.io
Set docker proxy using host proxy settings.
Updated documentation.

Change-Id: Ibec7e0a7e484d5a9a8656cd3598c3acc7c2e2184
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "Fix that required tests are skipped"

Fix that required tests are skipped

Because the service running flags of Gnocchi and Aodh
are overwritten in the loop of the compute node, once the flag
become false, the tests on all subsequent nodes are skipped.
This change makes to use new flags for each compute node.

Change-Id: Idc807419151b34b29f0117c9a7708a16a20d70dd
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

Merge "Local Documentation Builds"

Local Documentation Builds

    This adds configuration for performing local documentation builds
    with the following simple command:

    tox -e docs

Change-Id: Id07d11951e9fb4812737574884ff505bf536b221
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Fix links to remove references to submodules

All references to submodules must be removed for docs to
work going forward.

Can be tested once your project has a local tox file

Change-Id: Ia3e70902fb23c3612372b01aa2f51512057af951
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Add support for 'collectd-master' container"

Add support for 'collectd-master' container

'collectd-master' contains development versions of collectd
with the latest features. It is based on master branch from
collect repository.

Change-Id: I720b5e5938b402281674ee73851c5f611e4d1178
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docs: Add DMA procedure to Docker userguide

Change-Id: I61a6a9880f393e764222e508645a60b3f636e02a
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

docker: Add Dockerfile of DMA localagent

Change-Id: I2e12ee574cc0b1fd5de178b576590ae78ff533c6
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

functest: Add test code of DMA localagent

Change-Id: If1195b7b3d9000e3ec75bc3c4c108b0e9a1bc9e3
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

src: Add DMA localagent

Change-Id: Ibcee814fbc9a904448eeb368a1a26bbb69cf54aa
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

Merge "Fix for Grafana does not plot the RDT plugin data correctly."

Update entry_point to conform with Xtesting

Functest is being updated to Xtesting 0.60 which leverages on
stevedore [1].

[1] https://docs.openstack.org/stevedore/latest/

Change-Id: I02fae113dd0a8fbf5de4e6821c6d4476553fe633
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix for Grafana does not plot the RDT plugin data correctly.

Fixed the interval of intel_rdt plugin and Grafana dashboard settings
to follow the correct interval.

Change-Id: Ia792c6b6308526d82f153275d5d5393b0aea312d
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "Enable write_redis plugin for barometer-collectd"