Merge "docker.userguide: Add a note about bar-collectd run without DPDK/RDT" into stable/gambia

Merge "Revert "Updated from global requirements"" into stable/gambia

Merge "Add support for multi influx hosts" into stable/gambia

docker.userguide: Add a note about bar-collectd run without DPDK/RDT

Added a note with information what happens if RDT/DPDK dependency
will be missing on host during manual starting bar-collectd
container(with info what should be done in such scenario
to start bar-collectd anyway)

Change-Id: I11ba595e8925027c772920876c4bf2967f33de88
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
(cherry picked from commit 9f91de5d3e1c6d9b535db6a958e3598221b75d58)

Merge "Add 'prometheus_hosts' example definition to default.inv" into stable/gambia

Add support for multi influx hosts

Added support for multiple influx hosts.
Fix issue where ansible crashes when influx_host is not defined

Change-Id: I348e53c9b6147b0fafffdebcd80037acb72d67ce
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>
(cherry picked from commit d9c7551a005494c025c03b3fd363acb0e5c74f9f)

Add 'prometheus_hosts' example definition to default.inv

Change-Id: Ibd87a721ba299f02db22723cb663c4ed513cd1fb
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
(cherry picked from commit 75c1bc25dc3a761839489037a4ec6d548c9b9674)

docker.userguide: Fix manual grafana and influxdb run commands

Previously ports were exported for grafana and influxdb but
no network was mapped - no connection was possible between
both containers (only connection from host to container
was possible).
Now container network is mapped to host - the same approach
is used by ansible automatic installation for collectd,
influxdb and grafana containers.

Change-Id: I81af33d028bb8bc55590324694af93993f0f1d8c
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
(cherry picked from commit 86381552a74920fd5c33ccae1e98fd4f2ae5479f)

Revert "Updated from global requirements"

This reverts commit e6e526c671c7a683d1cd6480f9cda145d9aa4a94.

Change-Id: Ieb34c7ea29c25a5d1dae8c6491050ec1c1151249
Signed-off-by: TsaLaGi <aasmith@redhat.com>

src, docker: Change pkg import path of DMA

Different repository from OPNFV repository was temporary used
as our own go package paths of DMA.
Since the DMA code was merged in OPNFV Barometer,
we change the import path to the Barometer repository
and we simplify Dockerfile.

Change-Id: I49aba163d3bd93a9edb48ce10bd4f69a43c2e28a
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>
(cherry picked from commit 354e06c7edcb9434d55c06bfab4de157f0e2d012)

docker.userguide: Remove 'docker-compose' chapter

Removed 'docker-compose' and 'docker testing' chapters because
they are not required for the release or as per the commitment(and
ansible one-click-install is natural replacement for docker-compose
functionality in barometer)

Change-Id: If1db50954a290b27fa24f0285b4239891bb9ada8
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
(cherry picked from commit 3bfae7a96a4f9e90f5c328285cb0db94a0ab02b5)

docker.userguide: Add link to VES collector setup instructions

Change-Id: I7633e98af0fb58baad08a3761742f5f1e2a0e917
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
(cherry picked from commit 2fc1047ba9157438dfa799bcbcc6cfc9db9ef0fc)

dashboards: update and fix grafana dashboards

Update of default grafana dashboards.

Change-Id: I049001c982c19500d367bcaf467a9c614605792a
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>
(cherry picked from commit f2f22010d7d382fcb2c3e5b3bfd5f5c5602b28ab)

ansible: Set IP address of influxdb for grafana

Set ip address to influxdb for grafana based on
provided hostname. IP address in numerical format
is required by grafana container. Mapping of
hostname in /etc/hosts is no longer required.

Change-Id: I684de737c6f8e48b5b9f256541901852d7ecc05a
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>
(cherry picked from commit 3e269c4c295e3dd81dfeaebe9de4c4a702e7f1d5)

docker.userguide: Add chapter for ansible proxy configuration

Change-Id: I0bb2f2af64001de5e029aa49a79f9627a5f405c2
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
(cherry picked from commit 86775fcdd7c2174d807e3da1f93f71d177db153d)

Updated from global requirements

Change-Id: I6661b7980e417b9544554b789e28fd07b7e4ed7b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 9b5de9981ec65ebe624bb2bab54f7c4f7230b5db)

ansible: Add cleanup for grafana cache under host machine

Previously cleaning cache directory for grafana(/var/lib/grafana)
was missing and, because of that, changing influxdb_host variable
value between one ansible deployment and another was not working.

It was a problem because scripts in grafana container are expecting
that cache directory will be empty during first run and, if some
dashboards exists in cache already (even if they are left by
previous deployment), old dashboards will be left untouched with
possibly wrong configuration. This bug happened during deploying
3 nodes scenarios more than once (collectd, grafana and influlxdb
hosted on separate machines).

Now cleanup is done by default and can be skipped using
'clean_grafana_cache=false' value.

Change-Id: Ib67cc3437b8a3a2c2930dd55cba44aef8e352cf2
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
(cherry picked from commit 1ff5c221b795245cd77fff9b2d0387b7146f8fe9)

ansible: Fix custom 'influxdb_host' setting for grafana

Previously there were 2 errors in ansible scripts for grafana:
- influxdb_host variable value was unset
- entry for /etc/hosts file was adding text "{{ influxdb_hostname }}"
instead hostname stored in this variable

Change-Id: I1821b3c5f5fea5c29386b1a57e37aadcf90dd2e6
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>
(cherry picked from commit 659840a7d99ecbacd767c10395a47615af415e63)

Merge "docker.userguide: Fix docker run commands examples"

Merge "Add role to auto install docker on hosts - missing patch"

Add role to auto install docker on hosts - missing patch

Small updates to ansible roles.
Several minor updates in documentation.

Change-Id: Id031cebc23301b6218f8ced0d261f844f270e37f
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

docker.userguide: Fix docker run commands examples

Command example for running opnf-barometer-collectd and grafaana
images were using incorrect locations for configuration files.

Change-Id: I3f0648f810cc049ae1df4d742f2ed7b58b50b12a
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Adding support for prometheus using ansible

To enable add the following with your ip address
to your inventory file:

[prometheus_hosts]
172.24.4.19

Change-Id: I85add815367bcbcf1240398db2c43c2130537969
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "WIP: Add role to auto install docker on hosts"

WIP: Add role to auto install docker on hosts

Auto install docker with dependencies on hosts:
apt install python
apt install python-pip
pip install docker-py
apt install docker.io
Set docker proxy using host proxy settings.
Updated documentation.

Change-Id: Ibec7e0a7e484d5a9a8656cd3598c3acc7c2e2184
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "Fix that required tests are skipped"

Fix that required tests are skipped

Because the service running flags of Gnocchi and Aodh
are overwritten in the loop of the compute node, once the flag
become false, the tests on all subsequent nodes are skipped.
This change makes to use new flags for each compute node.

Change-Id: Idc807419151b34b29f0117c9a7708a16a20d70dd
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

Merge "Local Documentation Builds"

Local Documentation Builds

    This adds configuration for performing local documentation builds
    with the following simple command:

    tox -e docs

Change-Id: Id07d11951e9fb4812737574884ff505bf536b221
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Fix links to remove references to submodules

All references to submodules must be removed for docs to
work going forward.

Can be tested once your project has a local tox file

Change-Id: Ia3e70902fb23c3612372b01aa2f51512057af951
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Add support for 'collectd-master' container"

Add support for 'collectd-master' container

'collectd-master' contains development versions of collectd
with the latest features. It is based on master branch from
collect repository.

Change-Id: I720b5e5938b402281674ee73851c5f611e4d1178
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

docs: Add DMA procedure to Docker userguide

Change-Id: I61a6a9880f393e764222e508645a60b3f636e02a
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

docker: Add Dockerfile of DMA localagent

Change-Id: I2e12ee574cc0b1fd5de178b576590ae78ff533c6
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

functest: Add test code of DMA localagent

Change-Id: If1195b7b3d9000e3ec75bc3c4c108b0e9a1bc9e3
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

src: Add DMA localagent

Change-Id: Ibcee814fbc9a904448eeb368a1a26bbb69cf54aa
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

Merge "Fix for Grafana does not plot the RDT plugin data correctly."

Update entry_point to conform with Xtesting

Functest is being updated to Xtesting 0.60 which leverages on
stevedore [1].

[1] https://docs.openstack.org/stevedore/latest/

Change-Id: I02fae113dd0a8fbf5de4e6821c6d4476553fe633
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix for Grafana does not plot the RDT plugin data correctly.

Fixed the interval of intel_rdt plugin and Grafana dashboard settings
to follow the correct interval.

Change-Id: Ia792c6b6308526d82f153275d5d5393b0aea312d
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "Enable write_redis plugin for barometer-collectd"

Fix test failure condition

* Because the type of the variable res[3] is bool,
  we should not compare it with a string.
* The expression "or 'None'" is always the same result,
  because 'None' is a constant value.
  It should be included in the comparison.

Change-Id: I25defad98d612d21027218438ca2a28744292cf5
Signed-off-by: Toshiaki Takahashi <takahashi.tsc@ncos.nec.co.jp>

New repository. puppet-barometer

Change-Id: I3a706b9512c270ecb1340db93e2bb4baacab1475
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "docs: update userguide with new option for intel_pmu plugin"

Merge "Fix docs"

Enable write_redis plugin for barometer-collectd

This change is to enable write_redis plugin in collectd
due to DMA local-agent is going to use the plugin.

Change-Id: I522b41278bb020a48f33ac18f4ad08351e51ca36
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>

Merge "Disable lvm plugin build"

Disable lvm plugin build

JIRA: BAROMETER-103

The lvm plugin will not build due to a deprecated library.  This
patch will disable the building of the plugin until upstream collectd
can correct the issue.  Collectd issue #2820

https://github.com/collectd/collectd/issues/2820

Change-Id: Idcc8e274cef87e1ad0c62cbe9097a24b298adc5f
Signed-off-by: TsaLaGi <aasmith@redhat.com>

Configure collectd to load ipmi before PMU

Collectd loads config files in alphabetical order.
Ansible creates the config files for collectd.
In this patch we change the name ipmi.conf to 0_ipmi.conf
This will allow ipmi to be loaded before PMU.
If PMU is loaded before ipmi the container will crash.
This is a bug in collectd 5.8

Change-Id: I3334a3a1970f596e36f665698649d6c04fd38fbb
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Fix docs

Remove --net=host as it should not be used when
port mapping with the -p option

Change-Id: I7d6d73fe176362fc74df99200a6d68d2a3ec0994
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

docs: update userguide with new option for intel_pmu plugin

Update the userguide for intel_pmu with new "Cores"
option available in plugin configuration.
Added sample config with default configuration.

Change-Id: Ibe4d451131dc2c9ae0282f018c7e23596f4bf2c1
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge "docs: Updating Compass4nfv installer support in Fraser"

Updated from global requirements

Change-Id: Iec6300fbae08a9d924bf9db8b9b9702bc568844b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

docs: Updating Compass4nfv installer support in Fraser

Updates the following doc with barometer-collectd container support
as well as Grafana and InfluxDB support in Compass4nfv installer:

  docs/release/configguide/postinstall.rst

Change-Id: Id2c7e1167b0fd99f9200510de7caaa7b25052a5f
Signed-off-by: Ramamani Yeleswarapu <ramamani.yeleswarapu@intel.com>

Merge "Update repo link for collectd-ceilometer-plugin"

Merge "[functest] Update kernel version check for mcelog"

Merge "Fix docs for container deployment"

Fix docs for container deployment

Change-Id: I4a610d8686d758913d73ca684db41616daf391bd
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

[functest] Update kernel version check for mcelog

Change-Id: I926d0d03781a98e3509d7f9c4f4eaffc1320919b
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Update repo link for collectd-ceilometer-plugin

Since Ceilometer support was removed from the
collectd-ceilometer-plugin[1], the repo name is misleading.
So the repo name needed to be updated [2]

This change updates references to the collectd-ceilometer-plugin
repo to point to collectd-openstack-plugins repo:
* in deployment operations
* in documentation i.e. links to docs

Dependencies:
[1] https://review.openstack.org/#/c/490823/
[2] https://review.openstack.org/#/c/500768/

This is dependant on the repo rename

Change-Id: I43facbd53bca5df3f7e51d978ae2843c187282d4
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "[functest] Skip RDT tests if on a virtual node"

Merge "[functest] Update tests for Aodh"

[functest] Skip RDT tests if on a virtual node

* Skip RDT tests if the node is virtual.
  * Push fake positive results to try avoid failure

TODO: Get the test passing.
Currently, the individual tests show a pass, however, the overall test shows a failure.

Change-Id: Iedfb125a15ed1b9d41a3d48148a4ac363a89b90b
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[functest] Update tests for Aodh

* Update the check for timestamp to use state_timestamp instead
  state_timestamp indicates the last change in state of the alarm,
  timestamp is the last update to the alarm settings. This is not
  what we're looking for with aodh tests, so check the state update
  instead.
* Trigger an alarm state change before checking whether the alram
  was updated. Notification in collectd aren't necessarily updated
  at a regular interval, so we have to do some action and check whether
  the alarm is updated.

JIRA: BAROMETER-91
Change-Id: I26d9bb1ec7e50e07053e69068d241e4c4cbc30dc
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "ansible: add task to copy custom types.db file to targets"

Merge "[userguide] Update post install verification for Apex"

Merge "[conf] Update the ovs_events config for Apex"

Merge "Update functest to fix failing tests"

ansible: add task to copy custom types.db file to targets

Change-Id: I0ae30a46d11d53cdc218e38d0b3a852aa5be147d
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

[conf] Update the ovs_events config for Apex

The SendNotification option in ovs_events is set to
false in Apex templates. This means that no notifications
will be emitted on link status change.

This patch updates ovs_events.conf.erb to match the
config in the samples folder, adn the ones used by
the reference container

Change-Id: Ia034b81aedc67c2ced51cbf831baca176218d7d3
JIRA: BAROMETER-91
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "ansible: break task to copy additional config files to own file"

[userguide] Update post install verification for Apex

Since the addition of DEFAULT_ARCHIVE_POLICY to
collectd-openstack, and support in Apex, the archive
policy used by Gnocchi for Barometer metrics is set
to "high" by default. This removes the need to update
the archive policy by hand for verification.

Change-Id: I074b4cad4926bd0e59ca04f915865ed52d0b6979
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

ansible: break task to copy additional config files to own file

Change-Id: Iffba385bd8e565459288f95eadf8a52bb6cc0084
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

ansible:Put plugins in alphabetical order and fix swap plugin config path

Change-Id: Ie146e0ac9ad5e8bc1721b51e4e5112db51462854
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

Update functest to fix failing tests

* MCE log plugin was failing becaue it wasn't enables
  * Updated a check for kernel version to match Fraser
    compute nodes on Apex
* RDT was failing when virtual compute nodes were used
  * Add check to detect whether compute node is a VM
  * Skip RDT when running in a VM
* Gnocchi metrics were failing
  * increase the wait time between checking metrics
* CSV checks were failing on Hugepages
  * functest was assuming that tests were running on
    a system with at least two NUMA nodes
  * Only check for metrics on node0 of the system
* Report was showing FAIL even if a test was not executed
  * Update the report output to show SKIP instead

JIRA: BAROMETER-91
Change-Id: I4f70fc84fce80054a7aca2116357b0233f355f70
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Update collectd-gnocchi conf for DEFAULT_ARCHIVE_POLICY

* Configure the DEFAULT_ARCHIVE_POLICY option.
* This will set the default archive policy to "high".

Change-Id: I6dd88da0dc0eec96c1c472ae97c0db2395a3fb0e
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Clean up barometer-collectd Dockerfile

By merging several of the RUN lines and executing a yum cleanup all
at the end of the dependency installation, the resulting container
image will be around 300MB smaller.

Change-Id: I63139a5283ea40ec8ea5cc3fd7aa7faddc90f3ce
Signed-off-by: Leif Madsen <lmadsen@redhat.com>

Fixing the if/else logic in baro_tests/ mcelog_install()

Follow on to the change #52775
Fixed the if/else logic while installing the mcelog. And
added log messages to show on which node, mcelog is installed.

Change-Id: If5f61b1a780abd243516699e352a55baf0db96f7
Signed-off-by: Sharada Shiddibhavi <sharada.shiddibhavi@intel.com>

Merge "Auto Generated INFO.yaml file"

Merge "Switch from openstack.creds to the new env_file"

Merge "Switch to Xtesting"

ansible: add checks to ensure all ipmi dependancies are met

Change-Id: I342016af10a1ed3a11364bda7bd7a563882fafbd
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

Merge "ansible: add functionality to copy custom config files to target node"

ansible: add functionality to copy custom config files to target node

Change-Id: I6e7cb3e0923495e236b74444b1da3f4450122d02
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

Switch from openstack.creds to the new env_file

This file was renamed to avoid linking Kubernetes testcases to
OpenStack credentials.

This patch is mandatory for gating.

Change-Id: I6b4e7e83d6dfc8cf1d60bf016ef258a273156ffe
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to Xtesting

It inherits from xtesting.core.feature [1].

[1] http://xtesting.readthedocs.io/en/latest/apidoc/xtesting.core.feature.html

Change-Id: Ib547aa60d9b8bf61ab5433496d7149a43355d08c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

ansible: add roles to launch ves and kafka containers

Change-Id: Ida03c47bbe94600b034c95bd0d795e62c253303c
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

Merge "docker: add Dockerfile for barometer-snmp"

Merge "ansible: add roles to launch collectd, influxdb and grafana containers"

ansible: add roles to launch collectd, influxdb and grafana containers

Change-Id: I330172a2165e51a1557f084fd85fce12dfaad3a7
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

Merge "Fix syntax error in baro_test/collectd.py:mcelog_install"

Revert "Merge conflict"

This reverts commit 7f4ef61d68c3ed96759f3553b2793e0ce6a7e4a5.

Change-Id: I0ac115a5e6dfbc53051ed7ee6ae0ceb72a8128af
Signed-off-by: TsaLaGi <aasmith@redhat.com>

Fix syntax error in baro_test/collectd.py:mcelog_install

The version of CentOS that's used no longer matches the version that
is explicitly checked in collectd.py:mcelog_install.

As a result the code on L637-L642[1] is now being called.
This code was syntactically incorrect, however, was previously not being
called, witht eh update to the version, it is now being executed and
causing failures in deployment [2].

[1] https://github.com/opnfv/barometer/blob/c10400426df872be3236677dcb749c755f4a559c/baro_tests/collectd.py#L637-L642
[2] https://build.opnfv.org/ci/job/functest-apex-baremetal-daily-master/809/consoleText

Change-Id: I35274d4ede17510c3ae03c756eda7bc9f78b4e17
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge conflict

Revert "Merge "ansible: add ansible scripts to configure .conf file on collectd nodes""

This reverts commit 7effd9e1e84dd7fa2a189a0815b5be1c0fcb165a, reversing
changes made to b26034d05aa81f624e9bcee2c8e82a1cacfe44c4.

Change-Id: I6f77b4432bbe0de29db3e099263e461e3043b22e
Signed-off-by: TsaLaGi <aasmith@redhat.com>

Merge "ansible: add ansible scripts to configure .conf file on collectd nodes"

ansible: add ansible scripts to configure .conf file on collectd nodes

Change-Id: I7349582f7412088f4d303ca52eabf40afea3f5fe
Signed-off-by: gordonkelly <gordon.kelly@intel.com>

docker: add Dockerfile for barometer-snmp

Change-Id: I0e53dc5c9889c3f503ab4459aae8143243959c17
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>

Update mcelog.conf.erb template

The <Memory> tag is required for MCELog.
This was not updated in the puppet templates used by Apex.

Co-Authored-By: Aaron Smith <aasmith@redhat.com>
Co-Authored-By: Gordon Kelly <gordon.kelly@intel.com>
Change-Id: I6b0793b33099ef448316b9abcd4f0293d7518e29
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "docs: update userguide with zookeeper instance tags and fix typos"

Merge "docker: add command to run run_collectd script on bring up"

docs: update userguide with zookeeper instance tags and fix typos

Change-Id: I916f6e9388a7ac25ff0b5631ec49fa25157c909f
Signed-off-by: Gordon Kelly <gordon.kelly@intel.com>