This patch updates latency threshold values for execution of
cyclictest test cases using kvmfornfv built kernel rpm. Also
reduces the test execution  time.

NOTE: This change is only a temporary work around as the kernel debugging
work to reduce these high latency values is in progress.

Change-Id: I13d8595b6d8625b8b41f7ca6156cf3f675d8080b
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch includes updated kernel config file for loading required
filter modules to unblock port 22 for enabling ssh.

Change-Id: Ia046e336719bf1b5cfedf3426b58920268bce671
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch includes updated kernel config file to enable
CIFS and FUSE modules and updated scripts to check whether the
node is up and running before execution of each test case.

Change-Id: Ieebb693229d24e89d7ce92b0c1a26de411cce590
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Combine the common code for kernel building on deb/rpm"

Merge "[fuel-plugin] Employ dedicated reboot task"

Merge "Enabling ftrace for kernel debugging."

[fuel-plugin] Employ dedicated reboot task

* Use native reboot task after kernel setup to avoid unexpected behavior.
* Add support for removing installed kernel (get back to original one).
* Create symlink to the headers to enable dkms modules
  to get source files of the kernel.

Change-Id: Icdf8db267c69a55337910bc3aed15d56eb783ae5
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Combine the common code for kernel building on deb/rpm

This patch removes the duplication of code in rpm/debian build
scripts.

Change-Id: I88edc93df488bd01a43cd98e4f69f35e09f8f61c
Signed-off-by: Shravani <shravani.p@tcs.com>

Merge "Enable the MCE_INJECT kernel config"

Enabling ftrace for kernel debugging.

This patch contains updated scripts to enable ftrace for kernel
debugging and storing the log files to artifact repository.

Change-Id: I81b8f987c2c214ca53a6e4502ad953a9adbc6be9
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains the scripts to install the Qemu rpm and make use of it for
lauching guest VM's

Change-Id: I74ce89e1e0d628b0be2d9165b8418a519b52064d
Co-Authored-By: Y Rajitha <y.rajitha@tcs.com>
Signed-off-by: Shravani <shravani.p@tcs.com>

Enable the MCE_INJECT kernel config

The barometer need the mce_inject for testing. Enable it on the kernel.

Upstream status: N/A

Change-Id: I0dd94984198b1d1c49a051cd5e70d62087aa81f1
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

This patch includes updated scripts to modify hardcoded ip addresses
of the nodes used for executing cyclictest testcase as part of kvmfornfv
verify and daily jobs.

Change-Id: Ie436791d2debff20f2bcf750204b886c35ae5b7c
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch includes scripts to create multiple yaml file for different
environments and run cyclictest. Also contains updated interface
scripts to trigger packetforwarding and cyclictest stress scripts.

Change-Id: Ibb8694746f8b19d605e50ea07c2be8b2bd141ec0
Co-Authored-By: Y Rajitha <y.rajitha@tcs.com>
Co-Authored-By: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>
Signed-off-by: Shravani <shravani.p@tcs.com>

This patch contains scripts for applying stress on host or guest at
run time based on the stress type(cpu/memory/io).

Change-Id: I845b3ec028f375cf0809fb3a184b1511787d263b
Signed-off-by: Shravani <shravani.p@tcs.com>

[fuel-plugin] Run apt-get update before install

Run apt-get update explicitly before
packages install inside docker image.

Change-Id: Id2f933d3743771ddb3e180267d3bce4b14931cce
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[fuel-plugin] Add missing sudo package to image

Change-Id: I45772bf1f949e92031263b76e746873bdb237e7a
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[fuel-plugin] Align with fuel 10.0/newton

Change-Id: I928927041e95eed6f851010265db54f7651face3
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Revert "Revert "[Fuel-plugin] Install kernel in post-deployment."""

Revert "Revert "[Fuel-plugin] Install kernel in post-deployment.""

This reverts commit 8647dbbe9db84d71610f42cec6ff619783d99800.
Get required fix back in.

Change-Id: Ia7ef03d4bcedce922c68098bc74207f37b0d15cb
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

This patch contains scripts to update the host_isolcpus parameter
to Numa node1 CPU's,binds the qemu process threads to the
host_isolcpu processors and assigns the remaining isolcpus to
run stress tool

Change-Id: I894fd18666c1e9c041776c346b7b95abce808792
Signed-off-by: Shravani <shravani.p@tcs.com>

Merge "Inform TSC deadline clockevent device about recalibration"

Merge "Fix imprecise timer interrupts by  eliminating TSC clockevents frequency roundoff error"

This patch is used to update the script with opnfv influxdb link,
so that the data will be published on opnfv dashboard for daily
job

Change-Id: I90fda9c99de581bd510609cab1460a66e0805c72
Signed-off-by: Shravani <shravani.p@tcs.com>

Inform TSC deadline clockevent device about recalibration

This patch, together with previous TSC calculation patch,
fixes duplicate timer interrupt on the guest.

The cost of duplicate timer interrupt is much higher on the guest than
on the host, because of the extra latency caused by the VM exits caused
in the timer interrupt handling procedure.

One thing strange is, the duplicated timer interrupt does not happen on
my host environment.

Signed-off-by: Yunhong Jiang <yunhong.jiang@intel.com>
Backport-by: Yunhong Jiang <yunhong.jiang@intel.com>
Upstream status: Backport

Change the sign off to the below special character to avoid spam to the
original author. And removed the CC/ack list.

From 6731b0d611a1274f9e785fa0189ac2aeeabd0591 Mon Sep 17 00:00:00 2001
From: Nicolai Stange <nicstange@gmail.com>
Date: Thu, 14 Jul 2016 17:22:55 +0200
Subject: [PATCH] x86/timers/apic: Inform TSC deadline clockevent device about
 recalibration

This patch eliminates a source of imprecise APIC timer interrupts,
which imprecision may result in double interrupts or even late
interrupts.

The TSC deadline clockevent devices' configuration and registration
happens before the TSC frequency calibration is refined in
tsc_refine_calibration_work().

This results in the TSC clocksource and the TSC deadline clockevent
devices being configured with slightly different frequencies: the former
gets the refined one and the latter are configured with the inaccurate
frequency detected earlier by means of the "Fast TSC calibration using PIT".

Within the APIC code, introduce the notifier function
lapic_update_tsc_freq() which reconfigures all per-CPU TSC deadline
clockevent devices with the current tsc_khz.

Call it from the TSC code after TSC calibration refinement has happened.

s1gned 0ff by: Nicolai Stange <nicstange@gmail.com>
s1gned 0ff by: Peter Zijlstra (Intel) <peterz@infradead.org>
Link: http://lkml.kernel.org/r/20160714152255.18295-3-nicstange@gmail.com
[ Pushed #ifdef CONFIG_X86_LOCAL_APIC into header, improved changelog. ]
s1gned 0ff by: Ingo Molnar <mingo@kernel.org>
---
 arch/x86/include/asm/apic.h |  2 ++
 arch/x86/kernel/apic/apic.c | 24 ++++++++++++++++++++++++
 arch/x86/kernel/tsc.c       |  4 ++++
 3 files changed, 30 insertions(+)

Change-Id: I89e75627ef32846f96b725a8a4ad8cbfe487bd3a
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Fix imprecise timer interrupts by  eliminating TSC clockevents frequency roundoff error

This patch, together with followed patches about the TSC recalibration,
fixed duplicate timer interrupt on the guest.

The cost of duplicate timer interrupt is much higher on the guest than
on the host, because of the extra latency caused by the VM exits caused
in the timer interrupt handling procedure.

Signed-off-by: Yunhong Jiang <yunhong.jiang@intel.com>
Backport-by: Yunhong Jiang <yunhong.jiang@intel.com>
upstream-status: Backport

Change the sign off to the below special character to avoid spam to the
original author and removed the CC/ack list.

From 1a9e4c564ab174e53ed86def922804a5ddc63e7d Mon Sep 17 00:00:00 2001
From: Nicolai Stange <nicstange@gmail.com>
Date: Thu, 14 Jul 2016 17:22:54 +0200
Subject: [PATCH] x86/timers/apic: Fix imprecise timer interrupts by
 eliminating TSC clockevents frequency roundoff error

I noticed the following bug/misbehavior on certain Intel systems: with a
single task running on a NOHZ CPU on an Intel Haswell, I recognized
that I did not only get the one expected local_timer APIC interrupt, but
two per second at minimum. (!)

Further tracing showed that the first one precedes the programmed deadline
by up to ~50us and hence, it did nothing except for reprogramming the TSC
deadline clockevent device to trigger shortly thereafter again.

The reason for this is imprecise calibration, the timeout we program into
the APIC results in 'too short' timer interrupts. The core (hr)timer code
notices this (because it has a precise ktime source and sees the short
interrupt) and fixes it up by programming an additional very short
interrupt period.

This is obviously suboptimal.

The reason for the imprecise calibration is twofold, and this patch
fixes the first reason:

In setup_APIC_timer(), the registered clockevent device's frequency
is calculated by first dividing tsc_khz by TSC_DIVISOR and multiplying
it with 1000 afterwards:

  (tsc_khz / TSC_DIVISOR) * 1000

The multiplication with 1000 is done for converting from kHz to Hz and the
division by TSC_DIVISOR is carried out in order to make sure that the final
result fits into an u32.

However, with the order given in this calculation, the roundoff error
introduced by the division gets magnified by a factor of 1000 by the
following multiplication.

To fix it, reversing the order of the division and the multiplication a la:

  (tsc_khz * 1000) / TSC_DIVISOR

... reduces the roundoff error already.

Furthermore, if TSC_DIVISOR divides 1000, associativity holds:

  (tsc_khz * 1000) / TSC_DIVISOR = tsc_khz * (1000 / TSC_DIVISOR)

and thus, the roundoff error even vanishes and the whole operation can be
carried out within 32 bits.

The powers of two that divide 1000 are 2, 4 and 8. A value of 8 for
TSC_DIVISOR still allows for TSC frequencies up to
2^32 / 10^9ns * 8 = 34.4GHz which is way larger than anything to expect
in the next years.

Thus we also replace the current TSC_DIVISOR value of 32 by 8. Reverse
the order of the divison and the multiplication in the calculation of
the registered clockevent device's frequency.

S1gned 0ff by: Nicolai Stange <nicstange@gmail.com>
S1gned 0ff-by: Peter Zijlstra (Intel) <peterz@infradead.org>

Removed the CC/Ack list here.

Link: http://lkml.kernel.org/r/20160714152255.18295-2-nicstange@gmail.com
[ Improved changelog. ]
S1gned 0ff by: Ingo Molnar <mingo@kernel.org>
---
 arch/x86/kernel/apic/apic.c | 4 ++--
 1 file changed, 2 insertions(+), 2 deletions(-)

Change-Id: I6a153d62bbeabee6ea2fce5e1770bb6656ed637c
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

This patch contains scripts to update the measurement name as
kvmfornfv_cyclictest_idle_idle in influxdb

Change-Id: I70c5e06e38410cde83a1809393a4f783215b36ad
Signed-off-by: Shravani <shravani.p@tcs.com>

This patch contains updated Dockerfile to modify SSH Timeout value
for the execution of cyclictest through yardstick.

Change-Id: I54545eb28dca228f6cd41dbb0007087c9225dd60
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch contains scripts to decrease the time taken for the execution of cyclictest through yardstick."

This patch contains scripts to decrease the time taken for
the execution of cyclictest through yardstick.

Change-Id: Ibf5b694266c3eb2496e13ef2e55869b48af0a967
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch contains scripts to publish the data to local Grafana Dashboard for daily Job"

Merge "This patch contains updated Dockerfile to modify SSH Timeout value for the execution of cyclictest through yardstick"

This patch contains scripts to publish the data to local
Grafana Dashboard for daily Job

Change-Id: I382408d0f462c05f3f9b6578b3e00d104d127ee7
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains updated Dockerfile to modify SSH Timeout value
for the execution of cyclictest through yardstick

Change-Id: I382408d0f462c05f3f9b6578b3e00d104d127ee7
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains script updates to disable stricthostkeychecking
during the execution of cyclictest.

Change-Id: I382408d0f462c05f3f9b6578b3e00d104d127ee7
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains updated scripts to install rpm-build package
only once to reduce qemu build time.

Change-Id: Ifdd5df86762f6ed6b327be7f186864feaf2f7923
Co-Authored-By: B Navya <b.navya4@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

This patch contains updated scripts to reduce qemu build time by
executing make only through qemu spec file.

Change-Id: Ibcbf276dfcc4c933259a880b90b9dc12c613739b
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "This patch includes scripts to verify the sha512sum of the guest image. Also contains scripts to exit the test if the test_type is not verify/daily/merge."

Revert "[Fuel-plugin] Install kernel in post-deployment."

This reverts commit a10a10b373f17dc423800e6bb8d1a8e99450090d.

According to Fuel team, this patch will be included into C-2 release
instead of C-1 release, so we have to revert it to the C stable branch.

To revert from C stable branch requires cherry-picking from master
branch, so here it is.

Change-Id: I32e1148e5c1cd24e5696270f1aa328630ef42dd0
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

OPNFV KVM4NFV: Reduce Qemu build duration

This patch contains some enhancement to reduce
the duration for qemu rpm and debian build.

Change-Id: Ic27b8b200a383af613a09027bad73f1cf62c54ce
Co-Authored-By: Navya Bathula <b.navya4@tcs.com>
Signed-off-by: Swati Sharma <swatix.sharma@intel.com>
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Merge "Adjusted headings"

Adjusted headings

Adjusted the headings in the installation & config guide, scenario description
and user guide. Also removed the relese notes from the install and config doc
since you have a separate document for this.

Change-Id: I2ecbaebe2c0f337cca0a8d0ad130fa97eceabe78
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

This patch includes scripts to verify the sha512sum of the
guest image. Also contains scripts to exit the test if the
test_type is not verify/daily/merge.

Change-Id: Ibbb0d30302095282b539db7293084de007db6ddc
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: kalyanreddy <reddyx.gundarapu@intel.com>

Small enhancement to the release notes document

Change the release notes to include the upstream version and reorgnize the
structure.

Change-Id: Ic28f639d9e6b877020dc226a147c7196bcad802a
Signed-off-by: Reddy, Raghuveer <raghuveer.reddy@intel.com>
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Documentation updates

Adjusted the heading in the user guide
Adjusted the heading, licence part and release date in the release notes

Change-Id: I48a561bcd0d3bab655b27f3cafd486f22fa40c77
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

[Fuel-plugin] Install kernel in post-deployment.

Install kernel and reboot compute nodes in post-deployment phase when
there is less chance to interfere with other tasks. Implement Michael's
suggestion to use reboot puppet module.

Change-Id: I83867e5e2752c39d2b69c950e3e475d43de04466
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Execution of kvm4nfv cyclictest based on job type.

This patch contains the updated test scripts which
will select the node and test run time for performing
cyclictest case based on the job type.

Change-Id: Ia54e98faac2f5da956688f1ca57664cea1151d84
Signed-off-by: Shravani <shravani.p@tcs.com>

Merge "This patch contains the scripts to remove hardcoded kernel version, host ip and cleaning of the host machine after execution of cyclictest."

This patch contains the scripts to remove hardcoded kernel version,
host ip and cleaning of the host machine after execution of
cyclictest.

Change-Id: I92aaed5229fc3c572e74dcce03b2c984ae1bb111
Co-Authored-By: Shravani <shravani.p@tcs.com>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

OPNFV KVM4NFV: Documentation Enhancement

This patch contains some documentation enhancement for
more clarity on KVM4NFV project.

Change-Id: I3186d65d8d542ffd842a1a8b54289cda308056ce
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "OPNFV KVM4NFV: Documentation Enhancement"

Merge "Change the cyclictest time"

OPNFV KVM4NFV: Documentation Enhancement

This patch contains some documentation enhancement for
more clarity on KVM4NFV project.

Co-Authored-By: Gundarapu Reddy <reddyx.gundarapu@intel.com>
Signed-off-by: Swati Sharma <swatix.sharma@intel.com>

Merge "CI integration for KVMforNFV."

Change the cyclictest time

Currently the cyclictest runs only 1 seconds, that's too short for patch
verification.

Increase this time to be 10 minutes to make it more reasonable. In long
term, we should have another type of task to run 24 hours testing.

Change-Id: I48534b3da48018060c885305488b969286c8bd49
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

CI integration for KVMforNFV.

This patch contains scripts for creating a ubuntu docker
image with yardstick and all its dependency packages
installed for running cyclictest.

Co-Authored-By: Gundarapu Reddy <reddyx.gundarapu@intel.com>
Signed-off-by: Swati Sharma <swatix.sharma@intel.com>

Merge "OPNFV KVM4NFV CICD: Scripts for creating Rpms & Debians for Kernel, Qemu"

OPNFV KVM4NFV: Documentation Enhancement

This patch contains some documentation enhancement
required for KVM4NFV project.

Co-Authored-By: Gundarapu Reddy <reddyx.gundarapu@intel.com>
Signed-off-by: Swati Sharma <swatix.sharma@intel.com>

Merge "CI integration for KVMforNFV."

Merge "OPNFV KVM4NFV: Documentation"

CI integration for KVMforNFV.

This patch contains scripts for running cyclictest through yardstick
as part of CI integration for KVMforNFV. The scripts will be
triggered to create a docker ubuntu container for running yardstick,
configuring the host, launching a guest VM and executing cyclictest
through yardstick. The verification process gets completed after
running the cyclictest.

Co-Authored-By: Gundarapu Reddy <reddyx.gundarapu@intel.com>
Signed-off-by: Swati Sharma <swatix.sharma@intel.com>

OPNFV KVM4NFV: Documentation

This patch contains the full documentation required for KVM4NFV
project. The documents are organized into the following
sections- user guide, configuration guide, installation guide.
requirement document, design document, release notes and glossary.

Co-Authored-By: Gundarapu Reddy <reddyx.gundarapu@intel.com>
Signed-off-by: Swati Sharma <swatix.sharma@intel.com>

Merge "bnxt_en: Request firmware reset after successful firwmare update"

Merge "bnxt_en: Reset embedded processor after applying firmware upgrade"

bnxt_en: Request firmware reset after successful firwmare update

Upon successful mgmt processor firmware update, request a self
reset upon next PCIe reset (e.g. system reboot).

upstream-status: backport

Notice: Change the "signed-off-by" to "Signed -of -by" to avoid smap to
original author.

Signed -of -by: Rob Swindell <rob.swindell@broadcom.com>
Signed -of -by: Michael Chan <michael.chan@broadcom.com>
Signed -of -by: David S. Miller <davem@davemloft.net>

Change-Id: I331f1c9bd091e4ed7c116d320872d3eea6a91a37
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

bnxt_en: Reset embedded processor after applying firmware upgrade

Use HWRM_FW_RESET command to request a self-reset of the embedded
processor(s) after successfully applying a firmware update. For boot
processor, the self-reset is currently deferred until the next PCIe reset.

upstream-status: backport

Notice: We change the Signed-off-by to "Signed -of -by" to avoid trigger
the spam to the original author.

Signed -of -by: Rob Swindell <swindell@broadcom.com>
Signed -of -by: Michael Chan <mchan@broadcom.com>
Signed -of -by: David S. Miller <davem@davemloft.net>

Change-Id: Ic491d584c566b89a315d04f41b1d4fa928756403
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Add support for Broadcom NetXtremeII 10Gb

This NIC is used on Ericsson CI POD2

JIRA: KVMFORNFV-45
JIRA: FUEL-171

upstream-status: N/A

Change-Id: I3b1ab07388719380d288cb0d8c2a2af52510303d
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Install kernel in main phase of deployment

Kvm plugin restart compute nodes after kernel installation but after reboot
mcollective agent sometimes does not start, which causes deployment
failures. Preliminary tests show that rebooting nodes after pre
deployment phase may reduce occurence of this problem.

JIRA: KVMFORNFV-45
JIRA: FUEL-171

Change-Id: I4a599c834a3263bb487acb491f82aea7901dc201
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Build kernel in another directory and README.md update for fuel-plugin

1. Since some files generated during kernel building are only root
   writeable, this will cause "permission denied" issue in "make clean"
   in fuel@opnfv iso building which uses normal user priviledge.
   Building kernel in another directory than the directory mapped into
   Docker container can resolve the issue.
2. Update and typing error correction for README.md

Upstream status - NA

Change-Id: Icdd1a12d38f90619dd91588cb9e0f5b9bdfe95d1
Signed-off-by: davidjchou <david.j.chou@intel.com>

Merge "Revert the test_kvmfornfv.sh"

Merge "Remove OVS quirk"

Revert the test_kvmfornfv.sh

It triggers several bugs and need more polish. However, we can't simply
revert that changeset because that will cause failur also.

A stub is created.

Change-Id: I8e54d5865c16d85834a8dd011322421a6c448f8a
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

OPNFV KVM4NFV CICD: Scripts for creating Rpms & Debians for Kernel, Qemu

This patch contains the files for generating rpms & debians for both kernel
& qemu changes, as part of kvmfornfv project development. The scripts will be
triggered to build kernel-rpm & qemu-rpm packages inside centos docker, and
kernel-debian & qemu-debian packages inside ubuntu docker, as part of the
CICD process.
After the new builds are ready, they will be deployed on the pharos testbed
for verification. Later, these will be consumed/triggered by verify/daily
Releng JJBs.

Reference: https://wiki.opnfv.org/display/kvm/KVM4NFV+CICD+Jobs

Change-Id: Ie8e8108566790a6c8db2fef1c9b5799a41732b44

Signed-off-by: Swati Sharma <swatix.sharma@intel.com>

CI Integration for KVMforNFV

This patch contains scripts for running cyclictest through yardstick
as part of CI integration for KVMforNFV. The scripts will be
triggered to create a docker ubuntu container for running yardstick,
configuring the host, launching a guest VM and executing cyclictest
through yardstick. The verification process gets completed after
running the cyclictest.

Co-Authored-By: Gundarapu Reddy <reddyx.gundarapu@intel.com>
Signed-off-by: Swati Sharma <swatix.sharma@intel.com>

scripts/package/Makefile: rpmbuild add support of RPMOPTS

After commit 21a59991ce0c ("scripts/package/Makefile: rpmbuild is needed
for rpm targets"), it is no longer possible to specify RPMOPTS.
For example, we can no longer able to control _topdir using the following
make command.
make RPMOPTS="--define '_topdir /home/xyz/workspace/'" binrpm-pkg

Fixes: 21a59991ce0c ("scripts/package/Makefile: rpmbuild is needed for rpm targets")
Cc: <stable@vger.kernel.org> # 4.3+
Notice: Have to remove the original signed-off-by line because gerrit
will notify the original author, which is not good. Keep the name and
the email address still.

Srinivas Pandruvada <srinivas.pandruvada@linux.intel.com>
Michal Marek <mmarek@suse.com>

upstream-status: backport

Change-Id: If7ce5d9d006ee9d49b2d7d200ebdc278395eb3f7
backport-by: Yunhong Jiang <yunhong.jiang@intel.com>
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Remove OVS quirk

The OVS project has finally added support for the 4.4 kernel so this
quirk is no longer necessary.

Upstream status: NA

Change-Id: I62a40b96c16b8a7754297fa108240568fa7b5646
Signed-off-by: Don Dugger <n0ano@n0ano.com>

Merge "Restore the non_hz_full"

Merge "Creation of QEMU(rpm and debian builds)"

Merge "Add the "timers: do not raise softirq unconditionally" temporarily"

Restore the non_hz_full

Please refer to http://comments.gmane.org/gmane.linux.kernel/1891417, the
last two mails on this discussion.

The non_hz_full is important for RT, so take it back temporarily.

Unluckily I didn't find the corresponding reverting patch on the RT tree.

Upstream status: pending

Change-Id: I2748a8f9b7a98ef2185a1da60089984432393eff

Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Add the "timers: do not raise softirq unconditionally" temporarily

This patch enable the nohz_full and is important for RT. Bring it back
temporarily, while waiting for more work on RT community.

Please refer to https://lkml.org/lkml/2015/3/17/783 for more information
of the revert.

A little rebase needed because it's reverted on old code base.

Please notice that we change the rt_mutex_trylock() so that we can get
the tvec_base lock there. This is sure to be wrong, and should be fixed
cleanly. And that's the major reason the original patch are reverted on the
upstream RT linux. Will discuss with upstream on how to achieve the
solution.

Upstream status: pending

Change-Id: I2747e087faf4145b69b800a60b8d9414bc71e206
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Merge "KVM: nVMX: keep preemption timer enabled during L2 execution"

Merge "KVM: nVMX: avoid incorrect preemption timer vmexit in nested guest"

Merge "KVM: VMX: reflect broken preemption timer in vmcs_config"

Merge "KVM: vmx: fix missed cancellation of TSC deadline timer"

Merge "KVM: x86: introduce cancel_hv_tscdeadline"

Merge "KVM: vmx: fix underflow in TSC deadline calculation"

Merge "kvm: vmx: hook preemption timer support"

Merge "kvm: vmx: rename vmx_pre/post_block to pi_pre/post_block"

Merge "KVM: x86: support using the vmx preemption timer for tsc deadline timer"

Merge "kvm: lapic: separate start_sw_tscdeadline from start_apic_timer"

Creation of QEMU(rpm and debian builds)

This includes the scripts that are added to create qemu-rpm
and qemu-debian builds for KVM4NFV.

Co-Authored-By: Gundarapu Reddy <reddyx.gundarapu@intel.com>
Signed-off-by: Swati Sharma <swatix.sharma@intel.com>

Merge "Update fuel plugin builder installation"

KVM: nVMX: keep preemption timer enabled during L2 execution

Because the vmcs12 preemption timer is emulated through a separate hrtimer,
we can keep on using the preemption timer in the vmcs02 to emulare L1's
TSC deadline timer.

However, the corresponding bit in the pin-based execution control field
must be kept consistent between vmcs01 and vmcs02.  On vmentry we copy
it into the vmcs02; on vmexit the preemption timer must be disabled in
the vmcs01 if a preemption timer vmexit happened while in guest mode.

The preemption timer value in the vmcs02 is set by vmx_vcpu_run, so it
need not be considered in prepare_vmcs02.

Cc: Yunhong Jiang <yunhong.jiang@intel.com>
Cc: Haozhong Zhang <haozhong.zhang@intel.com>
Tested-by: Wanpeng Li <kernellwp@gmail.com>
Signed-off-by: Paolo Bonzini <pbonzini@redhat.com>
Change-Id: Iffaea7689d4e653dc6224a6f05c6e5ba2fb5c8a8
upstream-status: backport
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

KVM: nVMX: avoid incorrect preemption timer vmexit in nested guest

The preemption timer for nested VMX is emulated by hrtimer which is started on L2
entry, stopped on L2 exit and evaluated via the check_nested_events hook. However,
nested_vmx_exit_handled is always returning true for preemption timer vmexit.  Then,
the L1 preemption timer vmexit is captured and be treated as a L2 preemption
timer vmexit, causing NULL pointer dereferences or worse in the L1 guest's
vmexit handler:

    BUG: unable to handle kernel NULL pointer dereference at           (null)
    IP: [<          (null)>]           (null)
    PGD 0
    Oops: 0010 [#1] SMP
    Call Trace:
     ? kvm_lapic_expired_hv_timer+0x47/0x90 [kvm]
     handle_preemption_timer+0xe/0x20 [kvm_intel]
     vmx_handle_exit+0x169/0x15a0 [kvm_intel]
     ? kvm_arch_vcpu_ioctl_run+0xd5d/0x19d0 [kvm]
     kvm_arch_vcpu_ioctl_run+0xdee/0x19d0 [kvm]
     ? kvm_arch_vcpu_ioctl_run+0xd5d/0x19d0 [kvm]
     ? vcpu_load+0x1c/0x60 [kvm]
     ? kvm_arch_vcpu_load+0x57/0x260 [kvm]
     kvm_vcpu_ioctl+0x2d3/0x7c0 [kvm]
     do_vfs_ioctl+0x96/0x6a0
     ? __fget_light+0x2a/0x90
     SyS_ioctl+0x79/0x90
     do_syscall_64+0x68/0x180
     entry_SYSCALL64_slow_path+0x25/0x25
    Code:  Bad RIP value.
    RIP  [<          (null)>]           (null)
     RSP <ffff8800b5263c48>
    CR2: 0000000000000000
    ---[ end trace 9c70c48b1a2bc66e ]---

This can be reproduced readily by preemption timer enabled on L0 and disabled
on L1.

Return false since preemption timer vmexits must never be reflected to L2.

Cc: Paolo Bonzini <pbonzini@redhat.com>
Cc: Radim Krčmář <rkrcmar@redhat.com>
Cc: Yunhong Jiang <yunhong.jiang@intel.com>
Cc: Jan Kiszka <jan.kiszka@siemens.com>
Cc: Haozhong Zhang <haozhong.zhang@intel.com>
Signed-off-by: Wanpeng Li <wanpeng.li@hotmail.com>
Signed-off-by: Paolo Bonzini <pbonzini@redhat.com>
Change-Id: Iaffcd503666879e8157c8559876330110a66e5c4
upstream-status: backport
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

KVM: VMX: reflect broken preemption timer in vmcs_config

Simplify cpu_has_vmx_preemption_timer.  This is consistent with the
rest of setup_vmcs_config and preparatory for the next patch.

Tested-by: Wanpeng Li <kernellwp@gmail.com>
Signed-off-by: Paolo Bonzini <pbonzini@redhat.com>
Change-Id: I3b33a881c5e47d5d3046e28374d0b0ca363ffad7
upstream-status: backport
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

KVM: vmx: fix missed cancellation of TSC deadline timer

INFO: rcu_sched detected stalls on CPUs/tasks:
 1-...: (11800 GPs behind) idle=45d/140000000000000/0 softirq=0/0 fqs=21663
 (detected by 0, t=65016 jiffies, g=11500, c=11499, q=719)
Task dump for CPU 1:
qemu-system-x86 R  running task        0  3529   3525 0x00080808
 ffff8802021791a0 ffff880212895040 0000000000000001 00007f1c2c00db40
 ffff8801dd20fcd3 ffffc90002b98000 ffff8801dd20fc88 ffff8801dd20fcf8
 0000000000000286 ffff8801dd2ac538 ffff8801dd20fcc0 ffffffffc06949c9
Call Trace:
? kvm_write_guest_cached+0xb9/0x160 [kvm]
? __delay+0xf/0x20
? wait_lapic_expire+0x14a/0x200 [kvm]
? kvm_arch_vcpu_ioctl_run+0xcbe/0x1b00 [kvm]
? kvm_arch_vcpu_ioctl_run+0xe34/0x1b00 [kvm]
? kvm_vcpu_ioctl+0x2d3/0x7c0 [kvm]
? __fget+0x5/0x210
? do_vfs_ioctl+0x96/0x6a0
? __fget_light+0x2a/0x90
? SyS_ioctl+0x79/0x90
? do_syscall_64+0x7c/0x1e0
? entry_SYSCALL64_slow_path+0x25/0x25

This can be reproduced readily by running a full dynticks guest(since hrtimer
in guest is heavily used) w/ lapic_timer_advance disabled.

If fail to program hardware preemption timer, we will fallback to hrtimer based
method, however, a previous programmed preemption timer miss to cancel in this
scenario which results in one hardware preemption timer and one hrtimer emulated
tsc deadline timer run simultaneously. So sometimes the target guest deadline
tsc is earlier than guest tsc, which leads to the computation in vmx_set_hv_timer
can underflow and cause delta_tsc to be set a huge value, then host soft lockup
as above.

This patch fix it by cancelling the previous programmed preemption timer if there
is once we failed to program the new preemption timer and fallback to hrtimer
based method.

Cc: Paolo Bonzini <pbonzini@redhat.com>
Cc: Radim Krčmář <rkrcmar@redhat.com>
Signed-off-by: Wanpeng Li <wanpeng.li@hotmail.com>
Signed-off-by: Paolo Bonzini <pbonzini@redhat.com>
Change-Id: I8a2decefab743aecdfab676fb9267324bf42b848
upstream-status: backport
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

KVM: x86: introduce cancel_hv_tscdeadline

Introduce cancel_hv_tscdeadline() to encapsulate preemption
timer cancel stuff.

Cc: Paolo Bonzini <pbonzini@redhat.com>
Cc: Radim Krčmář <rkrcmar@redhat.com>
Cc: Yunhong Jiang <yunhong.jiang@intel.com>
Signed-off-by: Wanpeng Li <wanpeng.li@hotmail.com>
Signed-off-by: Paolo Bonzini <pbonzini@redhat.com>
Change-Id: Icc038176cbf361a9ecdf37ed3425108db57617f2
upstream-status: backport
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

KVM: vmx: fix underflow in TSC deadline calculation

If the TSC deadline timer is programmed really close to the deadline or
even in the past, the computation in vmx_set_hv_timer can underflow and
cause delta_tsc to be set to a huge value.  This generally results
in vmx_set_hv_timer returning -ERANGE, but we can fix it by limiting
delta_tsc to be positive or zero.

Reported-by: Wanpeng Li <wanpeng.li@hotmail.com>
Signed-off-by: Paolo Bonzini <pbonzini@redhat.com>
Change-Id: I12eea18c3ec648dbf782d7754b7b574d7d6aa92c
upstream-status: backport
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

kvm: vmx: hook preemption timer support

Hook the VMX preemption timer to the "hv timer" functionality added
by the previous patch.  This includes: checking if the feature is
supported, if the feature is broken on the CPU, the hooks to
setup/clean the VMX preemption timer, arming the timer on vmentry
and handling the vmexit.

A module parameter states if the VMX preemption timer should be
utilized.

Signed-off-by: Yunhong Jiang <yunhong.jiang@intel.com>
[Move hv_deadline_tsc to struct vcpu_vmx, use -1 as the "unset" value.
 Put all VMX bits here.  Enable it by default #yolo. - Paolo]
Signed-off-by: Paolo Bonzini <pbonzini@redhat.com>
Change-Id: Icb8e0b853eedce3d52c394e510fa14d2cdd432e9
upstream-status: backport
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>