Merge "Add support for dpdk events and stat to ansible installation"

docker.userguide: Add chapter about cleanup influxdb/grafana

Added chapter about cleaning influxdb and grafana configurations.
Config files for both are stored in folders that are shared
between container and Host machine - it is good to remove them
when removing barometer docker containers in case of re-installation
or changing active setup.

Change-Id: If84c0f0ee91560275b4834bc98dbdff518a059a8
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Add support for dpdk events and stat to ansible installation

Add dpdk plugins to ansible installation with default
configuration.

Change-Id: I1f7949962aff5119141b5712bb6b32db8f45b287
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

docker.userguide: Add info about using influxdb in multi-node setup

Added chapter about steps that have to be performed in order to
run collect and influxdb on separate Hosts (manual setup)

Change-Id: Ia4b1234aa1346afdc27ec5eabb795dfac06f0522
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Merge "barometer-collectd: Add support for DPDK in container"

Merge "docker.userguide: Add --network=host option for manual docker build examples"

barometer-collectd: Add support for DPDK in container

Build dpdk plugins in collectd container.

Change-Id: Ifdca827a419d6d3d4d9c6070d3a581372df8a2f9
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

default.inv: Add note about problems with mixing hostnames/IP addresses

Added a note about risks with mixing IP addresses and hostnames
in inventory file.
If the same host will be called in inventory file using both its
hostname and IP address then problems may occur during step
where dependencies are installed (ansible thinks that there
are 2 independent hosts and will try install dependencies
for both of them in the same time - it may fail be because
of apt/yum synchronization locks).

Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
Change-Id: I2cd1ea293fadfb12f78c03028cafec993dadbe2d

Merge "docker.userguide: Fix instruction for copying ssh keys"

Merge "Committers please vote +2/-2 for PTL nomination of Matthias Runge fixed INFO"

Committers please vote +2/-2 for PTL nomination of Matthias Runge
fixed INFO

Change-Id: I5368b2bd519376212af8719a58ac325b38b8c235
Signed-off-by: Aaron Smith <aasmith@redhat.com>

docker.userguide: Add --network=host option for manual docker build examples

On Ubuntu hosts (16.04 & 18.04) there might be problem to build
docker collectd container if host is behind a proxy even if
proxy variables are set correctly - when using "--network=host"
option problem is resolved.
This option has no negative impact on other host systems so adding
it to default command line build example.

Change-Id: I69ebd13f1e05658d8ad18e3ec379f515312e7b74
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docker.userguide: Fix instruction for copying ssh keys

Previously 'ssh-copy-id' command tried to upload key from
non-root user directory and next command was expecting that
root key was copied (in that case ansible was unable to log
into host machine)

Change-Id: Iba25e6a8da0e5902883e5aa876f735e8f632d3b9
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Fix DMA docker image url in docker userguide

JIRA: BAROMETER-118

This fix DMA docker image url from opnfv/barometer-localagent
to opnfv/barometer-dma

Change-Id: Ia11f388f31129b0636407e1af5139c747a861b87
Signed-off-by: Yuki Kasuya <yu-kasuya@kddilabs.jp>

Merge "docker.userguide: Add a note about bar-collectd run without DPDK/RDT"

Merge "Add support for multi influx hosts"

Merge "Add 'prometheus_hosts' example definition to default.inv"

Merge "docker.userguide: Fix manual grafana and influxdb run commands"

Merge "src, docker: Change pkg import path of DMA"

Merge "docker.userguide: Remove 'docker-compose' chapter"

Merge "docker.userguide: Add link to VES collector setup instructions"

Add 'prometheus_hosts' example definition to default.inv

Change-Id: Ibd87a721ba299f02db22723cb663c4ed513cd1fb
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

src, docker: Change pkg import path of DMA

Different repository from OPNFV repository was temporary used
as our own go package paths of DMA.
Since the DMA code was merged in OPNFV Barometer,
we change the import path to the Barometer repository
and we simplify Dockerfile.

Change-Id: I49aba163d3bd93a9edb48ce10bd4f69a43c2e28a
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

Add support for multi influx hosts

Added support for multiple influx hosts.
Fix issue where ansible crashes when influx_host is not defined

Change-Id: I348e53c9b6147b0fafffdebcd80037acb72d67ce
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

docker.userguide: Remove 'docker-compose' chapter

Removed 'docker-compose' and 'docker testing' chapters because
they are not required for the release or as per the commitment(and
ansible one-click-install is natural replacement for docker-compose
functionality in barometer)

Change-Id: If1db50954a290b27fa24f0285b4239891bb9ada8
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docker.userguide: Add link to VES collector setup instructions

Change-Id: I7633e98af0fb58baad08a3761742f5f1e2a0e917
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

dashboards: update and fix grafana dashboards

Update of default grafana dashboards.

Change-Id: I049001c982c19500d367bcaf467a9c614605792a
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

docker.userguide: Add a note about bar-collectd run without DPDK/RDT

Added a note with information what happens if RDT/DPDK dependency
will be missing on host during manual starting bar-collectd
container(with info what should be done in such scenario
to start bar-collectd anyway)

Change-Id: I11ba595e8925027c772920876c4bf2967f33de88
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docker.userguide: Fix manual grafana and influxdb run commands

Previously ports were exported for grafana and influxdb but
no network was mapped - no connection was possible between
both containers (only connection from host to container
was possible).
Now container network is mapped to host - the same approach
is used by ansible automatic installation for collectd,
influxdb and grafana containers.

Change-Id: I81af33d028bb8bc55590324694af93993f0f1d8c
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

ansible: Set IP address of influxdb for grafana

Set ip address to influxdb for grafana based on
provided hostname. IP address in numerical format
is required by grafana container. Mapping of
hostname in /etc/hosts is no longer required.

Change-Id: I684de737c6f8e48b5b9f256541901852d7ecc05a
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "docker.userguide: Add chapter for ansible proxy configuration"

Merge "Updated from global requirements"

docker.userguide: Add chapter for ansible proxy configuration

Change-Id: I0bb2f2af64001de5e029aa49a79f9627a5f405c2
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

ansible: Add cleanup for grafana cache under host machine

Previously cleaning cache directory for grafana(/var/lib/grafana)
was missing and, because of that, changing influxdb_host variable
value between one ansible deployment and another was not working.

It was a problem because scripts in grafana container are expecting
that cache directory will be empty during first run and, if some
dashboards exists in cache already (even if they are left by
previous deployment), old dashboards will be left untouched with
possibly wrong configuration. This bug happened during deploying
3 nodes scenarios more than once (collectd, grafana and influlxdb
hosted on separate machines).

Now cleanup is done by default and can be skipped using
'clean_grafana_cache=false' value.

Change-Id: Ib67cc3437b8a3a2c2930dd55cba44aef8e352cf2
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

ansible: Fix custom 'influxdb_host' setting for grafana

Previously there were 2 errors in ansible scripts for grafana:
- influxdb_host variable value was unset
- entry for /etc/hosts file was adding text "{{ influxdb_hostname }}"
instead hostname stored in this variable

Change-Id: I1821b3c5f5fea5c29386b1a57e37aadcf90dd2e6
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Updated from global requirements

Change-Id: I6661b7980e417b9544554b789e28fd07b7e4ed7b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "docker.userguide: Fix docker run commands examples"

Merge "Add role to auto install docker on hosts - missing patch"

Add role to auto install docker on hosts - missing patch

Small updates to ansible roles.
Several minor updates in documentation.

Change-Id: Id031cebc23301b6218f8ced0d261f844f270e37f
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

docker.userguide: Fix docker run commands examples

Command example for running opnf-barometer-collectd and grafaana
images were using incorrect locations for configuration files.

Change-Id: I3f0648f810cc049ae1df4d742f2ed7b58b50b12a
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Adding support for prometheus using ansible

To enable add the following with your ip address
to your inventory file:

[prometheus_hosts]
172.24.4.19

Change-Id: I85add815367bcbcf1240398db2c43c2130537969
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "WIP: Add role to auto install docker on hosts"

WIP: Add role to auto install docker on hosts

Auto install docker with dependencies on hosts:
apt install python
apt install python-pip
pip install docker-py
apt install docker.io
Set docker proxy using host proxy settings.
Updated documentation.

Change-Id: Ibec7e0a7e484d5a9a8656cd3598c3acc7c2e2184
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "Fix that required tests are skipped"

Fix that required tests are skipped

Because the service running flags of Gnocchi and Aodh
are overwritten in the loop of the compute node, once the flag
become false, the tests on all subsequent nodes are skipped.
This change makes to use new flags for each compute node.

Change-Id: Idc807419151b34b29f0117c9a7708a16a20d70dd
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

Merge "Local Documentation Builds"

Local Documentation Builds

    This adds configuration for performing local documentation builds
    with the following simple command:

    tox -e docs

Change-Id: Id07d11951e9fb4812737574884ff505bf536b221
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Fix links to remove references to submodules

All references to submodules must be removed for docs to
work going forward.

Can be tested once your project has a local tox file

Change-Id: Ia3e70902fb23c3612372b01aa2f51512057af951
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Add support for 'collectd-master' container"

Add support for 'collectd-master' container

'collectd-master' contains development versions of collectd
with the latest features. It is based on master branch from
collect repository.

Change-Id: I720b5e5938b402281674ee73851c5f611e4d1178
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docs: Add DMA procedure to Docker userguide

Change-Id: I61a6a9880f393e764222e508645a60b3f636e02a
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

docker: Add Dockerfile of DMA localagent

Change-Id: I2e12ee574cc0b1fd5de178b576590ae78ff533c6
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

functest: Add test code of DMA localagent

Change-Id: If1195b7b3d9000e3ec75bc3c4c108b0e9a1bc9e3
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

src: Add DMA localagent

Change-Id: Ibcee814fbc9a904448eeb368a1a26bbb69cf54aa
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

Merge "Fix for Grafana does not plot the RDT plugin data correctly."

Update entry_point to conform with Xtesting

Functest is being updated to Xtesting 0.60 which leverages on
stevedore [1].

[1] https://docs.openstack.org/stevedore/latest/

Change-Id: I02fae113dd0a8fbf5de4e6821c6d4476553fe633
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix for Grafana does not plot the RDT plugin data correctly.

Fixed the interval of intel_rdt plugin and Grafana dashboard settings
to follow the correct interval.

Change-Id: Ia792c6b6308526d82f153275d5d5393b0aea312d
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "Enable write_redis plugin for barometer-collectd"

Fix test failure condition

* Because the type of the variable res[3] is bool,
  we should not compare it with a string.
* The expression "or 'None'" is always the same result,
  because 'None' is a constant value.
  It should be included in the comparison.

Change-Id: I25defad98d612d21027218438ca2a28744292cf5
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

New repository. puppet-barometer

Change-Id: I3a706b9512c270ecb1340db93e2bb4baacab1475
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "docs: update userguide with new option for intel_pmu plugin"

Merge "Fix docs"

Enable write_redis plugin for barometer-collectd

This change is to enable write_redis plugin in collectd
due to DMA local-agent is going to use the plugin.

Change-Id: I522b41278bb020a48f33ac18f4ad08351e51ca36
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>

Merge "Disable lvm plugin build"

Disable lvm plugin build

JIRA: BAROMETER-103

The lvm plugin will not build due to a deprecated library.  This
patch will disable the building of the plugin until upstream collectd
can correct the issue.  Collectd issue #2820

https://github.com/collectd/collectd/issues/2820

Change-Id: Idcc8e274cef87e1ad0c62cbe9097a24b298adc5f
Signed-off-by: TsaLaGi <aasmith@redhat.com>

Configure collectd to load ipmi before PMU

Collectd loads config files in alphabetical order.
Ansible creates the config files for collectd.
In this patch we change the name ipmi.conf to 0_ipmi.conf
This will allow ipmi to be loaded before PMU.
If PMU is loaded before ipmi the container will crash.
This is a bug in collectd 5.8

Change-Id: I3334a3a1970f596e36f665698649d6c04fd38fbb
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Fix docs

Remove --net=host as it should not be used when
port mapping with the -p option

Change-Id: I7d6d73fe176362fc74df99200a6d68d2a3ec0994
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

docs: update userguide with new option for intel_pmu plugin

Update the userguide for intel_pmu with new "Cores"
option available in plugin configuration.
Added sample config with default configuration.

Change-Id: Ibe4d451131dc2c9ae0282f018c7e23596f4bf2c1
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "docs: Updating Compass4nfv installer support in Fraser"

Updated from global requirements

Change-Id: Iec6300fbae08a9d924bf9db8b9b9702bc568844b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

docs: Updating Compass4nfv installer support in Fraser

Updates the following doc with barometer-collectd container support
as well as Grafana and InfluxDB support in Compass4nfv installer:

  docs/release/configguide/postinstall.rst

Change-Id: Id2c7e1167b0fd99f9200510de7caaa7b25052a5f
Signed-off-by: Ramamani Yeleswarapu <ramamani.yeleswarapu@intel.com>

Merge "Update repo link for collectd-ceilometer-plugin"

Merge "[functest] Update kernel version check for mcelog"

Merge "Fix docs for container deployment"

Fix docs for container deployment

Change-Id: I4a610d8686d758913d73ca684db41616daf391bd
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

[functest] Update kernel version check for mcelog

Change-Id: I926d0d03781a98e3509d7f9c4f4eaffc1320919b
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Update repo link for collectd-ceilometer-plugin

Since Ceilometer support was removed from the
collectd-ceilometer-plugin[1], the repo name is misleading.
So the repo name needed to be updated [2]

This change updates references to the collectd-ceilometer-plugin
repo to point to collectd-openstack-plugins repo:
* in deployment operations
* in documentation i.e. links to docs

Dependencies:
[1] https://review.openstack.org/#/c/490823/
[2] https://review.openstack.org/#/c/500768/

This is dependant on the repo rename

Change-Id: I43facbd53bca5df3f7e51d978ae2843c187282d4
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "[functest] Skip RDT tests if on a virtual node"

Merge "[functest] Update tests for Aodh"

[functest] Skip RDT tests if on a virtual node

* Skip RDT tests if the node is virtual.
  * Push fake positive results to try avoid failure

TODO: Get the test passing.
Currently, the individual tests show a pass, however, the overall test shows a failure.

Change-Id: Iedfb125a15ed1b9d41a3d48148a4ac363a89b90b
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[functest] Update tests for Aodh

* Update the check for timestamp to use state_timestamp instead
  state_timestamp indicates the last change in state of the alarm,
  timestamp is the last update to the alarm settings. This is not
  what we're looking for with aodh tests, so check the state update
  instead.
* Trigger an alarm state change before checking whether the alram
  was updated. Notification in collectd aren't necessarily updated
  at a regular interval, so we have to do some action and check whether
  the alarm is updated.

JIRA: BAROMETER-91
Change-Id: I26d9bb1ec7e50e07053e69068d241e4c4cbc30dc
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "ansible: add task to copy custom types.db file to targets"

Merge "[userguide] Update post install verification for Apex"

Merge "[conf] Update the ovs_events config for Apex"

Merge "Update functest to fix failing tests"

ansible: add task to copy custom types.db file to targets

Change-Id: I0ae30a46d11d53cdc218e38d0b3a852aa5be147d
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

[conf] Update the ovs_events config for Apex

The SendNotification option in ovs_events is set to
false in Apex templates. This means that no notifications
will be emitted on link status change.

This patch updates ovs_events.conf.erb to match the
config in the samples folder, adn the ones used by
the reference container

Change-Id: Ia034b81aedc67c2ced51cbf831baca176218d7d3
JIRA: BAROMETER-91
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "ansible: break task to copy additional config files to own file"

[userguide] Update post install verification for Apex

Since the addition of DEFAULT_ARCHIVE_POLICY to
collectd-openstack, and support in Apex, the archive
policy used by Gnocchi for Barometer metrics is set
to "high" by default. This removes the need to update
the archive policy by hand for verification.

Change-Id: I074b4cad4926bd0e59ca04f915865ed52d0b6979
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

ansible: break task to copy additional config files to own file

Change-Id: Iffba385bd8e565459288f95eadf8a52bb6cc0084
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

ansible:Put plugins in alphabetical order and fix swap plugin config path

Change-Id: Ie146e0ac9ad5e8bc1721b51e4e5112db51462854
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

Update functest to fix failing tests

* MCE log plugin was failing becaue it wasn't enables
  * Updated a check for kernel version to match Fraser
    compute nodes on Apex
* RDT was failing when virtual compute nodes were used
  * Add check to detect whether compute node is a VM
  * Skip RDT when running in a VM
* Gnocchi metrics were failing
  * increase the wait time between checking metrics
* CSV checks were failing on Hugepages
  * functest was assuming that tests were running on
    a system with at least two NUMA nodes
  * Only check for metrics on node0 of the system
* Report was showing FAIL even if a test was not executed
  * Update the report output to show SKIP instead

JIRA: BAROMETER-91
Change-Id: I4f70fc84fce80054a7aca2116357b0233f355f70
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Update collectd-gnocchi conf for DEFAULT_ARCHIVE_POLICY

* Configure the DEFAULT_ARCHIVE_POLICY option.
* This will set the default archive policy to "high".

Change-Id: I6dd88da0dc0eec96c1c472ae97c0db2395a3fb0e
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Clean up barometer-collectd Dockerfile

By merging several of the RUN lines and executing a yum cleanup all
at the end of the dependency installation, the resulting container
image will be around 300MB smaller.

Change-Id: I63139a5283ea40ec8ea5cc3fd7aa7faddc90f3ce
Signed-off-by: Leif Madsen <lmadsen@redhat.com>

Fixing the if/else logic in baro_tests/ mcelog_install()

Follow on to the change #52775
Fixed the if/else logic while installing the mcelog. And
added log messages to show on which node, mcelog is installed.

Change-Id: If5f61b1a780abd243516699e352a55baf0db96f7
Signed-off-by: Sharada Shiddibhavi <sharada.shiddibhavi@intel.com>

Merge "Auto Generated INFO.yaml file"

Merge "Switch from openstack.creds to the new env_file"

Merge "Switch to Xtesting"

ansible: add checks to ensure all ipmi dependancies are met

Change-Id: I342016af10a1ed3a11364bda7bd7a563882fafbd
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

Merge "ansible: add functionality to copy custom config files to target node"