To publish the results on Grafana dashboard

This patch includes few script updates to publish the packet forwarding
test cases results on yardstick grafana dashboard. Also includes cleaning
operations after publishing the results.

Change-Id: I2946b6f3b9405513e6e3ac5e76eb873c870a3607
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Increasing the cyclictest execution time."

Merge "To update the yardstick stable branch."

Update bnx2x firmware

Update bnx2x firmware according to ubuntu krenel.

The original patches are from Tim Gardner <tim.gardner@canonical.com> and can
be found under ubuntu-kernel.

upstream-status: N/A

Change-Id: I7a27e16121f8a9cc7a2d84707fd3eb14f63bfb78
Signed-off-by: yunhong.jiang@intel.com

Disabling kvmfornfv daily job test cases.

This patch temporarily disables kvmfornfv cyclictest and packet
forwarding test cases execution as part of daily job as Intel-pod10
is currently not available for executing test cases.

Note: kvmfornfv daily job testcases will be enabled when Intel-pod10
is available.

Change-Id: Ieeea7bd298ae2e79948a321405094c8942397c3c
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

To update the yardstick stable branch.

This patch is used to update the yardstick stable branch from
colorado to danube for executing cyclictest as a part of kvmfornfv
verify and daily jobs.

Change-Id: I9deb72e1d729bb9189db56b9e6aeec4fbe85a4d7
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

[fuel-plugin] Add missing dependency for shellvar

Add missing augeasproviders_core module into
pre build stage as dependency for shellvar puppet type.

JIRA: KVMFORNFV-77
Change-Id: Ib06c7b08b35fab87b0faf9f946fcc9d630d825af
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Publishing packet forwarding test cases results."

Increasing the cyclictest execution time.

This patch is used to increase the cyclictest test execution time
as a part of kvmfornfv verify job.

Change-Id: I8343222c791f6c0216e4c8d75e4637773f699c0e
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch removes the ovs kernel modules from kvmfornfv kernel modules for kvmfornfv plugin build"

This patch includes few script updates to eliminate the
enabling of function tracer from the script to enable ftrace
for future debugging purposes.

Change-Id: Ib2e9edb9ea9c8c2ed3bb184fe6b6f4ca6601633b
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Publishing packet forwarding test cases results.

This patch includes scripts to push packet forwarding test results
in to local influxdb and then publish on to local grafana dashboard.

Change-Id: I2f93b13730c0a791bd1e7530e0349cd52a649b58
Co-Authored by:Srinivas <srinivas.atmakuri@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Enabling CPU features for qemu.

This patch is used to enable cpu features while launching guest vm
using qemu as a part of cyclictest execution through yardstick.

Change-Id: Ib354318c772cfadd707605470463904eca799bb0
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Disabling execution of 'cpu' and 'io' stress test cases.

This patch is used to disable execution of cyclictest 'cpu' and 'io'
stress testcases as a part of kvmfornfv verify job to speed up the
verification process.

Change-Id: I9004bb27153a24d012f92d16bfab9c2298044caa
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Enabling execution of cyclictest as part of verify job."

This patch removes the ovs kernel modules from kvmfornfv kernel
modules for kvmfornfv plugin build

Change-Id: I2be789c91a9dbd196da5bfde8a2d37d7dd946e8f
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

Merge "This patch includes scripts to enhance the apex build support feature  for generating kernel rpms based on the branch provided in apex.conf"

Enabling execution of cyclictest as part of verify job.

This patch is used to enable cyclictest execution as a part of
kvmfornfv verify job.

Revert "Revert "Disabling execution of cyclictest as part of verify job""
This reverts commit c1a17f3ad621173a68ad6b083638b0b477c9af6a

Change-Id: I1e3239637771ed342c470aa4c1928b477f047fed
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch includes scripts to enhance the apex build support feature
for generating kernel rpms based on the branch provided in apex.conf

Change-Id: I197ff3f9a51b3b34b31d0b9a3628610f7f915011
Signed-off-by:RajithaY<rajithax.yerrumsetty@intel.com>

[fuel-plugin] Set default grub entry for kernel

JIRA: KVMFORNFV-77
Change-Id: Ibb764cd5fa9822d337ce6f948bff8213c1caa7eb
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update documentation structure.

This patch includes adjusting docs directory structure for kvmfornfv
project.

Change-Id: Ic2f992cd5e8f6808ca3ba088172eb6da342182ba
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Disabling execution of cyclictest as part of verify job.

This patch is used to temporarily disable cyclictest execution as a part of
kvmfornfv verify job to speed up the verification process.

This is only a temporary workaround/solution as kvmfornfv verify job
is getting triggered for patches which includes only docs/ as well.

Note: Once complete documentation is made available for danube release
will revert this patch

Change-Id: Ib04a7d9481b74a0fafcd1d489b80c94051d875e6
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Update documentation structure.

This patch is used to update documentation structure.

Change-Id: I50d4ef4256ccfc57a0434123e7532a50000582cf
Co-Authored by:Srinivas <srinivas.atmakuri@tcs.com>
Co-Authored by:RajithaY<rajithax.yerrumsetty@intel.com>
Co-Authored by:shravani paladugula <shravanix.paladugula@intel.com>
Co-Authored by:Navya Bathula <navyax.bathula@intel.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Updating documents of D-release.

This patch is used to update the documents of D-release.

Change-Id: I9449536e340140f67e0f77ae4120bbc210809169
Co-Authored by:Srinivas <srinivas.atmakuri@tcs.com>
Co-Authored by:RajithaY<rajithax.yerrumsetty@intel.com>
Co-Authored by:shravani paladugula <shravanix.paladugula@intel.com>
Co-Authored by:Navya Bathula <navyax.bathula@intel.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Code optimization and retrieving host_ip/test_time from host-config."

This patch is used to update the documents of D-release.

Change-Id: Iccebac991c1ea0973733963743d4d1438ac153b2
Co-Authored by:Srinivas <srinivas.atmakuri@tcs.com>
Co-Authored by:RajithaY<rajithax.yerrumsetty@intel.com>
Co-Authored by:shravani paladugula <shravanix.paladugula@intel.com>
Co-Authored by:Navya Bathula <navyax.bathula@intel.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Code optimization and retrieving host_ip/test_time from host-config.

This patch includes updated scripts to:

1.Select the host environment and test duration from host-config file
  to execute the test cases based on the job type.

2.Remove code duplications like sourcing a file multiple times.

3.Make packet forwarding test cases execution look clear.

Change-Id: I88457b7f3dfacad1db2495090504974097228a4d
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch is used to update the documents of D-release."

Merge "This patch includes updated scripts to enable ftrace and collect logs for debugging high latency values."

[fuel-plugin] Update the kernel version

Change-Id: I577340958c10412cb1f9a1284cd0a6d95ec3965c
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

This patch includes updated scripts to enable ftrace and collect
logs for debugging high latency values.

Change-Id: Ibdea5dab0c6d47eb6dd9d47d879fdd42dd95f8e4
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains the code changes to check the commit id in
the apex.conf file is valid or not and to update the
stress_isolcpus to 22-43 on console

Change-Id: I6a2e78f51f2371042bcbfa4f8c3e31b316938528
Signed-off-by:RajithaY<rajithax.yerrumsetty@intel.com>

Merge "This patch includes updated scripts to use different docker containers for each test case and perform necessary clean up operations after execution of test cases."

This patch includes updated scripts to use different docker containers
for each test case and perform necessary clean up operations after
execution of test cases.

Revert "Revert "This patch includes updated scripts for modifying""
This reverts commit 53bf71ea043426dd23319bd3bd011fd9a8ce0446

Note: This is only a temporary workaround. Will push the fix soon.

Change-Id: I6f3ef551bd8fb0b2c53ea2b3f4ee4bcf45dcdc7a
Co-Authored-By: RajithaY<rajithax.yerrumsetty@intel.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch is used to update the documents of D-release.

Change-Id: I059843a8967ec339b8faf87dcbc6a76ec15d25d4
Co-Authored by:Srinivas <srinivas.atmakuri@tcs.com>
Co-Authored by:RajithaY<rajithax.yerrumsetty@intel.com>
Co-Authored by:Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>
Co-Authored by:Navya Bathula <navyax.bathula@intel.com>
Signed-off-by: Shravani <shravani.p@tcs.com>

[fuel-plugin] Rename node_reboot task

Rename node_reboot task in order not to interfere
with recently added basic task with the same name.

Change-Id: I65dda751785fa319affb5d0dc52b6ce45bd08dec
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

This patch includes scripts and configuration files for
executing packet forwarding test cases as a part of
kvmfornfv daily job and printing the results.

Change-Id: I484ce89c4821d03cb997c774f014c59a10dc275e
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch includes updated scripts for modifying function names and to optimize the code for executing all the test cases and performing necessary host cleaning operations after executing all the test cases."

This patch includes updated scripts for modifying function names and
to optimize the code for executing all the test cases and performing
necessary host cleaning operations after executing all the test cases.

Change-Id: Ia1a4f6743631ff07c27afa949b6820fcc862a3ce
Co-Authored-By: Y Rajitha <y.rajitha@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch includes building of the kernel rpm's for the commit id  provided in apex.conf file and renaming of the kernel rpm's in the format  kvmfornfv-commitid-apex-kernel-[devel/header]-4.4.6_rt14_centos.x86_64.rpm"

This patch includes building of the kernel rpm's for the commit id
provided in apex.conf file and renaming of the kernel rpm's in the format
kvmfornfv-commitid-apex-kernel-[devel/header]-4.4.6_rt14_centos.x86_64.rpm

Change-Id: Id36eec6a577ac92b436a68f975fc1293c04ab97d
Co-Authored by: Navya Bathula <navyax.bathula@intel.com>
Signed-off-by:RajithaY<rajithax.yerrumsetty@intel.com>

Upgrade to 4.4.50-rt62

The current kernel is based on rt kernel v4.4.6-rt14. We will upgrade it
to 4.4.50-rt62.
The command to achieve it is:
a) Clone a git repo from
git://git.kernel.org/pub/scm/linux/kernel/git/rt/linux-stable-rt.git

b) Get the diff between this two changesets:
git diff 640eca2901f3435e616157b11379d3223a44b391
705619beeea1b0b48219a683fd1a901a86fdaf5e

where the two commits are:
[yjiang5@jnakajim-build linux-stable-rt]$ git show --oneline --name-only
640eca2901f3435e616157b11379d3223a44b391
640eca2901f3 v4.4.6-rt14
localversion-rt
[yjiang5@jnakajim-build linux-stable-rt]$ git show --oneline --name-only
705619beeea1b0b48219a683fd1a901a86fdaf5e
705619beeea1 Linux 4.4.50-rt62
localversion-rt

c) One patch has been backported thus revert the patch before applying.

 filterdiff -p1 -x scripts/package/Makefile
~/tmp/v4.4.6-rt14-4.4.50-rt62.diff  |patch -p1 --dry-run

Upstream status: backport

Change-Id: I244d57a32f6066e5a5b9915f9fbf99e7bbca6e01
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Merge "Match the config from ubuntu"

Match the config from ubuntu

As ubuntu 16.04 is using the same version kernel, we try to reuse the
config file from ubuntu server release.

Also added one rpm package required for building the new kernel config.

upstream-status: N/A

Change-Id: I471918eb1840bd36ba569abb63b2fa0b3d2fb4f3
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

This patch contains updated documentation for Dashboard,packet
forwarding,pcm utility,Ftrace and Scenario testing.

Change-Id: I677faeed6e4c78f30d486701364ca15a1507b1ef
Signed-off-by: Shravani <shravani.p@tcs.com>
Co-Authored by:Srinivas <srinivas.atmakuri@tcs.com>
Co-Authored by:RajithaY<rajithax.yerrumsetty@intel.com>
Co-Authored by:Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>
Co-Authored by:Navya Bathula <navyax.bathula@intel.com>

Merge "This patch includes host and guest configuration script updates to install kvmfornfv built kernel and configure the grub for executing test cases on latest installed kernel."

Merge "This patch contains the PCM utility installation and continously collecting memory bandwidth data using pcm-memory throughout each cyclic testcase"

Merge "Add disk to vagrant for fuel plugin build"

This patch contains the PCM utility installation and continously
collecting memory bandwidth data using pcm-memory throughout each cyclic testcase

Change-Id: Iafde7c57bfbe8ce2da4442ac6b414603957cc074
Co-Authored by:Rajitha <y.rajitha@tcs.com>
Signed-off-by:Shravani <shravani.p@tcs.com>

Add disk to vagrant for fuel plugin build

1. add 500G disk to vagrant
2. change build home to /mnt in guest
3. do some basic test

Change-Id: If58db0322dc9f1c23a8e6ed065f876e34bea872f
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

This patch includes host and guest configuration script updates
to install kvmfornfv built kernel and configure the grub for
executing test cases on latest installed kernel.

Change-Id: I5a4b2959d098279337ec80f1faabc79267fe74e0
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch updates latency threshold values for execution of
cyclictest test cases using kvmfornfv built kernel rpm. Also
reduces the test execution  time.

NOTE: This change is only a temporary work around as the kernel debugging
work to reduce these high latency values is in progress.

Change-Id: I13d8595b6d8625b8b41f7ca6156cf3f675d8080b
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch includes updated kernel config file for loading required
filter modules to unblock port 22 for enabling ssh.

Change-Id: Ia046e336719bf1b5cfedf3426b58920268bce671
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch includes updated kernel config file to enable
CIFS and FUSE modules and updated scripts to check whether the
node is up and running before execution of each test case.

Change-Id: Ieebb693229d24e89d7ce92b0c1a26de411cce590
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Combine the common code for kernel building on deb/rpm"

Merge "[fuel-plugin] Employ dedicated reboot task"

Merge "Enabling ftrace for kernel debugging."

[fuel-plugin] Employ dedicated reboot task

* Use native reboot task after kernel setup to avoid unexpected behavior.
* Add support for removing installed kernel (get back to original one).
* Create symlink to the headers to enable dkms modules
  to get source files of the kernel.

Change-Id: Icdf8db267c69a55337910bc3aed15d56eb783ae5
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Combine the common code for kernel building on deb/rpm

This patch removes the duplication of code in rpm/debian build
scripts.

Change-Id: I88edc93df488bd01a43cd98e4f69f35e09f8f61c
Signed-off-by: Shravani <shravani.p@tcs.com>

Merge "Enable the MCE_INJECT kernel config"

Enabling ftrace for kernel debugging.

This patch contains updated scripts to enable ftrace for kernel
debugging and storing the log files to artifact repository.

Change-Id: I81b8f987c2c214ca53a6e4502ad953a9adbc6be9
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains the scripts to install the Qemu rpm and make use of it for
lauching guest VM's

Change-Id: I74ce89e1e0d628b0be2d9165b8418a519b52064d
Co-Authored-By: Y Rajitha <y.rajitha@tcs.com>
Signed-off-by: Shravani <shravani.p@tcs.com>

Enable the MCE_INJECT kernel config

The barometer need the mce_inject for testing. Enable it on the kernel.

Upstream status: N/A

Change-Id: I0dd94984198b1d1c49a051cd5e70d62087aa81f1
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

This patch includes updated scripts to modify hardcoded ip addresses
of the nodes used for executing cyclictest testcase as part of kvmfornfv
verify and daily jobs.

Change-Id: Ie436791d2debff20f2bcf750204b886c35ae5b7c
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch includes scripts to create multiple yaml file for different
environments and run cyclictest. Also contains updated interface
scripts to trigger packetforwarding and cyclictest stress scripts.

Change-Id: Ibb8694746f8b19d605e50ea07c2be8b2bd141ec0
Co-Authored-By: Y Rajitha <y.rajitha@tcs.com>
Co-Authored-By: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>
Signed-off-by: Shravani <shravani.p@tcs.com>

This patch contains scripts for applying stress on host or guest at
run time based on the stress type(cpu/memory/io).

Change-Id: I845b3ec028f375cf0809fb3a184b1511787d263b
Signed-off-by: Shravani <shravani.p@tcs.com>

[fuel-plugin] Run apt-get update before install

Run apt-get update explicitly before
packages install inside docker image.

Change-Id: Id2f933d3743771ddb3e180267d3bce4b14931cce
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[fuel-plugin] Add missing sudo package to image

Change-Id: I45772bf1f949e92031263b76e746873bdb237e7a
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[fuel-plugin] Align with fuel 10.0/newton

Change-Id: I928927041e95eed6f851010265db54f7651face3
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Revert "Revert "[Fuel-plugin] Install kernel in post-deployment."""

Revert "Revert "[Fuel-plugin] Install kernel in post-deployment.""

This reverts commit 8647dbbe9db84d71610f42cec6ff619783d99800.
Get required fix back in.

Change-Id: Ia7ef03d4bcedce922c68098bc74207f37b0d15cb
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

This patch contains scripts to update the host_isolcpus parameter
to Numa node1 CPU's,binds the qemu process threads to the
host_isolcpu processors and assigns the remaining isolcpus to
run stress tool

Change-Id: I894fd18666c1e9c041776c346b7b95abce808792
Signed-off-by: Shravani <shravani.p@tcs.com>

Merge "Inform TSC deadline clockevent device about recalibration"

Merge "Fix imprecise timer interrupts by  eliminating TSC clockevents frequency roundoff error"

This patch is used to update the script with opnfv influxdb link,
so that the data will be published on opnfv dashboard for daily
job

Change-Id: I90fda9c99de581bd510609cab1460a66e0805c72
Signed-off-by: Shravani <shravani.p@tcs.com>

Inform TSC deadline clockevent device about recalibration

This patch, together with previous TSC calculation patch,
fixes duplicate timer interrupt on the guest.

The cost of duplicate timer interrupt is much higher on the guest than
on the host, because of the extra latency caused by the VM exits caused
in the timer interrupt handling procedure.

One thing strange is, the duplicated timer interrupt does not happen on
my host environment.

Signed-off-by: Yunhong Jiang <yunhong.jiang@intel.com>
Backport-by: Yunhong Jiang <yunhong.jiang@intel.com>
Upstream status: Backport

Change the sign off to the below special character to avoid spam to the
original author. And removed the CC/ack list.

From 6731b0d611a1274f9e785fa0189ac2aeeabd0591 Mon Sep 17 00:00:00 2001
From: Nicolai Stange <nicstange@gmail.com>
Date: Thu, 14 Jul 2016 17:22:55 +0200
Subject: [PATCH] x86/timers/apic: Inform TSC deadline clockevent device about
 recalibration

This patch eliminates a source of imprecise APIC timer interrupts,
which imprecision may result in double interrupts or even late
interrupts.

The TSC deadline clockevent devices' configuration and registration
happens before the TSC frequency calibration is refined in
tsc_refine_calibration_work().

This results in the TSC clocksource and the TSC deadline clockevent
devices being configured with slightly different frequencies: the former
gets the refined one and the latter are configured with the inaccurate
frequency detected earlier by means of the "Fast TSC calibration using PIT".

Within the APIC code, introduce the notifier function
lapic_update_tsc_freq() which reconfigures all per-CPU TSC deadline
clockevent devices with the current tsc_khz.

Call it from the TSC code after TSC calibration refinement has happened.

s1gned 0ff by: Nicolai Stange <nicstange@gmail.com>
s1gned 0ff by: Peter Zijlstra (Intel) <peterz@infradead.org>
Link: http://lkml.kernel.org/r/20160714152255.18295-3-nicstange@gmail.com
[ Pushed #ifdef CONFIG_X86_LOCAL_APIC into header, improved changelog. ]
s1gned 0ff by: Ingo Molnar <mingo@kernel.org>
---
 arch/x86/include/asm/apic.h |  2 ++
 arch/x86/kernel/apic/apic.c | 24 ++++++++++++++++++++++++
 arch/x86/kernel/tsc.c       |  4 ++++
 3 files changed, 30 insertions(+)

Change-Id: I89e75627ef32846f96b725a8a4ad8cbfe487bd3a
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Fix imprecise timer interrupts by  eliminating TSC clockevents frequency roundoff error

This patch, together with followed patches about the TSC recalibration,
fixed duplicate timer interrupt on the guest.

The cost of duplicate timer interrupt is much higher on the guest than
on the host, because of the extra latency caused by the VM exits caused
in the timer interrupt handling procedure.

Signed-off-by: Yunhong Jiang <yunhong.jiang@intel.com>
Backport-by: Yunhong Jiang <yunhong.jiang@intel.com>
upstream-status: Backport

Change the sign off to the below special character to avoid spam to the
original author and removed the CC/ack list.

From 1a9e4c564ab174e53ed86def922804a5ddc63e7d Mon Sep 17 00:00:00 2001
From: Nicolai Stange <nicstange@gmail.com>
Date: Thu, 14 Jul 2016 17:22:54 +0200
Subject: [PATCH] x86/timers/apic: Fix imprecise timer interrupts by
 eliminating TSC clockevents frequency roundoff error

I noticed the following bug/misbehavior on certain Intel systems: with a
single task running on a NOHZ CPU on an Intel Haswell, I recognized
that I did not only get the one expected local_timer APIC interrupt, but
two per second at minimum. (!)

Further tracing showed that the first one precedes the programmed deadline
by up to ~50us and hence, it did nothing except for reprogramming the TSC
deadline clockevent device to trigger shortly thereafter again.

The reason for this is imprecise calibration, the timeout we program into
the APIC results in 'too short' timer interrupts. The core (hr)timer code
notices this (because it has a precise ktime source and sees the short
interrupt) and fixes it up by programming an additional very short
interrupt period.

This is obviously suboptimal.

The reason for the imprecise calibration is twofold, and this patch
fixes the first reason:

In setup_APIC_timer(), the registered clockevent device's frequency
is calculated by first dividing tsc_khz by TSC_DIVISOR and multiplying
it with 1000 afterwards:

  (tsc_khz / TSC_DIVISOR) * 1000

The multiplication with 1000 is done for converting from kHz to Hz and the
division by TSC_DIVISOR is carried out in order to make sure that the final
result fits into an u32.

However, with the order given in this calculation, the roundoff error
introduced by the division gets magnified by a factor of 1000 by the
following multiplication.

To fix it, reversing the order of the division and the multiplication a la:

  (tsc_khz * 1000) / TSC_DIVISOR

... reduces the roundoff error already.

Furthermore, if TSC_DIVISOR divides 1000, associativity holds:

  (tsc_khz * 1000) / TSC_DIVISOR = tsc_khz * (1000 / TSC_DIVISOR)

and thus, the roundoff error even vanishes and the whole operation can be
carried out within 32 bits.

The powers of two that divide 1000 are 2, 4 and 8. A value of 8 for
TSC_DIVISOR still allows for TSC frequencies up to
2^32 / 10^9ns * 8 = 34.4GHz which is way larger than anything to expect
in the next years.

Thus we also replace the current TSC_DIVISOR value of 32 by 8. Reverse
the order of the divison and the multiplication in the calculation of
the registered clockevent device's frequency.

S1gned 0ff by: Nicolai Stange <nicstange@gmail.com>
S1gned 0ff-by: Peter Zijlstra (Intel) <peterz@infradead.org>

Removed the CC/Ack list here.

Link: http://lkml.kernel.org/r/20160714152255.18295-2-nicstange@gmail.com
[ Improved changelog. ]
S1gned 0ff by: Ingo Molnar <mingo@kernel.org>
---
 arch/x86/kernel/apic/apic.c | 4 ++--
 1 file changed, 2 insertions(+), 2 deletions(-)

Change-Id: I6a153d62bbeabee6ea2fce5e1770bb6656ed637c
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

This patch contains scripts to update the measurement name as
kvmfornfv_cyclictest_idle_idle in influxdb

Change-Id: I70c5e06e38410cde83a1809393a4f783215b36ad
Signed-off-by: Shravani <shravani.p@tcs.com>

This patch contains updated Dockerfile to modify SSH Timeout value
for the execution of cyclictest through yardstick.

Change-Id: I54545eb28dca228f6cd41dbb0007087c9225dd60
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch contains scripts to decrease the time taken for the execution of cyclictest through yardstick."

This patch contains scripts to decrease the time taken for
the execution of cyclictest through yardstick.

Change-Id: Ibf5b694266c3eb2496e13ef2e55869b48af0a967
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch contains scripts to publish the data to local Grafana Dashboard for daily Job"

Merge "This patch contains updated Dockerfile to modify SSH Timeout value for the execution of cyclictest through yardstick"

This patch contains scripts to publish the data to local
Grafana Dashboard for daily Job

Change-Id: I382408d0f462c05f3f9b6578b3e00d104d127ee7
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains updated Dockerfile to modify SSH Timeout value
for the execution of cyclictest through yardstick

Change-Id: I382408d0f462c05f3f9b6578b3e00d104d127ee7
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains script updates to disable stricthostkeychecking
during the execution of cyclictest.

Change-Id: I382408d0f462c05f3f9b6578b3e00d104d127ee7
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains updated scripts to install rpm-build package
only once to reduce qemu build time.

Change-Id: Ifdd5df86762f6ed6b327be7f186864feaf2f7923
Co-Authored-By: B Navya <b.navya4@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains updated scripts to reduce qemu build time by
executing make only through qemu spec file.

Change-Id: Ibcbf276dfcc4c933259a880b90b9dc12c613739b
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch includes scripts to verify the sha512sum of the guest image. Also contains scripts to exit the test if the test_type is not verify/daily/merge."

Revert "[Fuel-plugin] Install kernel in post-deployment."

This reverts commit a10a10b373f17dc423800e6bb8d1a8e99450090d.

According to Fuel team, this patch will be included into C-2 release
instead of C-1 release, so we have to revert it to the C stable branch.

To revert from C stable branch requires cherry-picking from master
branch, so here it is.

Change-Id: I32e1148e5c1cd24e5696270f1aa328630ef42dd0
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

OPNFV KVM4NFV: Reduce Qemu build duration

This patch contains some enhancement to reduce
the duration for qemu rpm and debian build.

Change-Id: Ic27b8b200a383af613a09027bad73f1cf62c54ce
Co-Authored-By: Navya Bathula <b.navya4@tcs.com>
Signed-off-by: Swati Sharma <swatix.sharma@intel.com>
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Merge "Adjusted headings"

Adjusted headings

Adjusted the headings in the installation & config guide, scenario description
and user guide. Also removed the relese notes from the install and config doc
since you have a separate document for this.

Change-Id: I2ecbaebe2c0f337cca0a8d0ad130fa97eceabe78
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

This patch includes scripts to verify the sha512sum of the
guest image. Also contains scripts to exit the test if the
test_type is not verify/daily/merge.

Change-Id: Ibbb0d30302095282b539db7293084de007db6ddc
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: kalyanreddy <reddyx.gundarapu@intel.com>

Small enhancement to the release notes document

Change the release notes to include the upstream version and reorgnize the
structure.

Change-Id: Ic28f639d9e6b877020dc226a147c7196bcad802a
Signed-off-by: Reddy, Raghuveer <raghuveer.reddy@intel.com>
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Documentation updates

Adjusted the heading in the user guide
Adjusted the heading, licence part and release date in the release notes

Change-Id: I48a561bcd0d3bab655b27f3cafd486f22fa40c77
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

[Fuel-plugin] Install kernel in post-deployment.

Install kernel and reboot compute nodes in post-deployment phase when
there is less chance to interfere with other tasks. Implement Michael's
suggestion to use reboot puppet module.

Change-Id: I83867e5e2752c39d2b69c950e3e475d43de04466
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Execution of kvm4nfv cyclictest based on job type.

This patch contains the updated test scripts which
will select the node and test run time for performing
cyclictest case based on the job type.

Change-Id: Ia54e98faac2f5da956688f1ca57664cea1151d84
Signed-off-by: Shravani <shravani.p@tcs.com>

Merge "This patch contains the scripts to remove hardcoded kernel version, host ip and cleaning of the host machine after execution of cyclictest."

This patch contains the scripts to remove hardcoded kernel version,
host ip and cleaning of the host machine after execution of
cyclictest.

Change-Id: I92aaed5229fc3c572e74dcce03b2c984ae1bb111
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>