Merge "replace yaml.load with yaml.safe_load"

Merge "Fix adding right deb repo based on the distro we are running on"

Merge "Add task-args(from yaml file) candidates in /api/v2/yardstick/testcases API"

Add task-args(from yaml file) candidates in /api/v2/yardstick/testcases API

JIRA: YARDSTICK-766

We have the demand to get all task-args candidates in test case yaml
file,
so that user get easily change it.
The response will like:
{
    'status': 1,
    'result': {
        'testcase': case content,
        'args': {
            'image': {'description': '', 'type': 'String'}
        }
    }
}

In this patch, I add jinja2schema 0.1.4 in requirements.txt.

Change-Id: I450082402370add5ab29090286f026fe3cc8c36e
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add spec cpu2006 test case"

test_env_action: speedup unittest, don't sleep

Change-Id: Ib662032e5133b8fead1c6858905bd13ca40f4dd6
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

replace yaml.load with yaml.safe_load

yaml.safe_load is safer, obviously.

anteater will check for this

template_format use specialized constructor based on yaml.SafeLoader

JIRA: YARDSTICK-760

Change-Id: Ia3b0b3aa0765385a0ee472a4d83f49d424b5a77f
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: port_security_enabled issue

JIRA: YARDSTICK-765

When port_security_enabled is not set, VMs are assigned with security group 'default'.
When using 'default' security group, all egress traffic and intercommunication in the
default group are allowed and all ingress from outside of the default group is dropped
by default (in the default security group). This causes yardstick cannot ssh into VMs.

If port_security_enabled is not set, we should still add the security group that created
by yardstick to the VMs.

Change-Id: Ifd22fb452e0077581b6900f8f51c4e3c342a30aa
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "bugfix: enable vlan and physical netwok able to set"

Merge "Add more parameters in iperf3 taml"

cover.sh: delete .testrepository before running coverage

When running py27 and py3 test ran into problems
with .testrepository already exists, but testr
thinking it was corrupt

running testr
No repository found in /home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master. Create one by running "testr init".
error: testr failed (3)

The fix seems to be to delete .testrepository before
running testr coverage

Change-Id: Ib8cd3ab9d3384935380ac29ce365439c6464adc3
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Bugfix: yardstick always report 'PASS' to DB"

Merge "Add yardstick logo in GUI"

Merge "Add container ping VM test case"

Add yardstick logo in GUI

JIRA: YARDSTICK-767

We have yardstick logo in opnfv community.
We have the demand to display it in yardstick GUI.

Change-Id: Ief5807c918754e679e95ae1d1f3a769ab2d6d4b2
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "add opnfv_os-odl-sfc-ha_daily.yaml test suite"

Merge "run_tests: don't write python bytecode"

cover: another 'db type could not be determined' workaround

Change-Id: Ib94ff2dfc86725e5367908296b5160f9565442b8
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

run_tests: don't write python bytecode

we usually disable .pyc generate during unittests

Change-Id: I7d7af7c6d188f5a592d24aa90322edb217ffd8ba
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "NSBperf: don't exit during import time"

cover.sh: workaround 'db type could not be determined' bug

https://bugs.launchpad.net/testrepository/+bug/1229445

rm -f .testrepository/times.dbm

remove that file before running testr

Change-Id: I178efefebe600a65d1a28beb9b01f7dfecaa4d00
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

NSBperf: don't exit during import time

This was breaking testr unittests.

Don't do this like this during import time,
only do them in if __name__ sections, otherwise
when anything else tries to import this module
it exists.

Change-Id: Ia17f5e1a5cbe07ab287d3b95e96489b8a6248170
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

add opnfv_os-odl-sfc-ha_daily.yaml test suite

Change-Id: I56961d143bdd723f4e957a4c02ba4127ccddadb3
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Testing live migration using qemu"

Add container ping VM test case

JIRA: YARDSTICK-769

This is demand from openretriever project(https://jira.opnfv.org/browse/CONTAINER-19).
Since we have the kubernetes context now and we have first container test case.
We can have a new test case that make container(k8s) ping VM(openstack).

Change-Id: Ia1724130d92d447836529b370510fe1bf1738723
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Bugfix: yardstick always report 'PASS' to DB

JIRA: YARDSTICK-768

Now yardstick will not stop if test case failed,
so that we can run the rest test case in the suite.

CI judge task status by the cmd return code. In this way,
the 'yardstick task start' cmd will always return 0.
So we will always report 'PASS' to DB.

In this patch I add a judgement in cmd, if the status is not 'PASS', we
will raise a RuntimeError.

Change-Id: I655424dd9cd3782869986963a17b24acfb340345
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add more parameters in iperf3 taml

JIRA: YARDSTICK-755

The parameters that iperf3 testcase support now maybe insufficient in some usecase.
The test case should support parameters such as: windows size and length of buffer.
This work is about adding more parameters in testcase yaml file

Change-Id: I8c900a4a8909d97543cf837a02c76a6aee19f439
Signed-off-by: Ace Lee <liyin11@huawei.com>

Add spec cpu2006 test case

JIRA: YARDSTICK-764

This work is about support run SPEC CPU2006 benchmark.

users must get a "cpu2006-1.2.iso" from the SPEC website,
save it under the /home/opnfv/yardstick/yardstick/resources folder
(e.g. /home/opnfv/yardstick/yardstick/resources/cpu2006-1.2.iso),
user may also supply a runspec cfg file
(e.g. /home/opnfv/yardstick/yardstick/resources/files/yardstick_spec_cpu2006.cfg).

Change-Id: If4aecc1c14635a07589555196d2edc8bd37d7bdb
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Heat: support vnic_type in heat type context

JIRA: YARDSTICK-757

Some test scenarios require VM with specific vnic type.
This work is about supporting using different vnic types in heat type context.

context:
  name: demo
  image: cirros-0.3.5
  flavor: yardstick-flavor
  user: cirros

  placement_groups:
    pgrp1:
      policy: "availability"

  servers:
    athena:
      floating_ip: true
      placement: "pgrp1"
    ares:
      placement: "pgrp1"

  networks:
    test:
      cidr: '10.0.1.0/24'
      vnic_type: "normal"

Change-Id: Ia229fda72f47b04288ea107e2d58fd3e8ac91dd9
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Heat: support create and attach volume in heat type context

JIRA: YARDSTICK-756

Some test scenarios require VM with volume attached.
This work is about supporting create and attach volume in heat type context.

context:
  name: demo
  image: cirros-0.3.5
  flavor: yardstick-flavor
  user: cirros

  placement_groups:
    pgrp1:
      policy: "availability"

  servers:
    athena:
      floating_ip: true
      # per-vm inline volume definition. if no volume size specified, then this
      # volume should be an existing volume in the openstack environment
      volume: yardstick-volume
      placement: "pgrp1"
    ares:
      # per-vm inline volume definition. if volume size is specified, then this
      # volume will be crated and attach to the vm
      volume:
        name: test-volume
        size: 10
      # volume mountpoint is also configurable
      volume_mountpoint: /dev/vdb
      placement: "pgrp1"

  networks:
    test:
      cidr: '10.0.1.0/24'

Change-Id: Ief87b313980a59eac229eb4780d93ffc929ceb66
Signed-off-by: JingLu5 <lvjing5@huawei.com>

bugfix: enable vlan and physical netwok able to set

Enable vlan and physical netwok able to set by
parameters for heat context. It won't affect the
original test case, but enable vlan to be set
directly by pass task-args to command:

yardstick -d task start samples/ping.yaml --task-args '{"provider": "vlan"}'

JIRA: YARDSTICK-763

Change-Id: I96f96a61991cceb1506d055867a006d56689a008
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "bugfix: enable vlan and physical netwok able to set"

Merge "Update NSBPerf CLI to adapt to new output format"

Merge "Test Case: OPNFV_YARDSTICK_TC023: VM availability during live migration"

bugfix: enable vlan and physical netwok able to set

enable vlan and physical netwok able to set by
parameters for heat context

this is a sample, if it's ok, i'll copy it to other yaml.
it won't affect the original test case, but enable vlan
 to be set directly by pass task-args to command.

yardstick -d task start samples/ping.yaml --task-args '{"provider": "vlan"}'

JIRA: YARDSTICK-763

Change-Id: Ie35dac4b5e80404558a1eb45d49fa0bb6ab45a98
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "leave port_security_enabled undefined by default"

Adding support for multi-dispatcher

JIRA: YARDSTICK-684

This patch adds the support to enable multi-dispatcher of result.

e.g.
[DEFAULT]
debug = False
dispatcher = file, http

Change-Id: Id0e1a1bba14edd899fcf5b275be1f0a091b6db77
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

leave port_security_enabled undefined by default

some deployments don't have port security ML2 plugin enabled,
so we have to leave port security undefined by default

RuntimeError: Resource CREATE failed:
 BadRequest: resources.yardstick-TC072-19be2f60-test: Unrecognized attribute(s) 'port_security_enabled'
https://build.opnfv.org/ci/user/narindergupta/my-views/view/joid/job/yardstick-joid-baremetal-daily-master/1276/console

Change-Id: I69178f869f6215f42d90ea4cfb297dad3d799f83
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Yardstick GUI & GUI deployment"

Yardstick GUI & GUI deployment

JIRA: YARDSTICK-758

As E release plan, we have the need of yardstick GUI.
This patch is GUI front end code and deployment.
The backend code is yardstick API.

Change-Id: Ib15f78bcc50168c7828beff97256e9939c6da809
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Test Case: OPNFV_YARDSTICK_TC023: VM availability during live migration

JIRA: YARDSTICK-174

This live migration test case is based on share storage, default share
storage is enabled.
This test case will do some config work. And do live migration and
calculate the migration time and downtime.

Change-Id: I6601601edebdd0ac6434ba632b1eba9e9bd4fda0
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

fix sriov/ovs-dpdk unittests on systems with fewer than 10 cores

we need to wrap vcpupin modulo number of cores.

also mock time.sleep

Change-Id: I6433418a99505b469c61c81a9a023d84434fa0ee
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: plugin remove command use "JUMP_HOST_IP" if ip is set to local

JIRA: YARDSTICK-762

Change-Id: Id4a94ef8bbe578944e3664e5e7c24fdf7478805b
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Bugfix: supoort insecure mode in checking openstack environment"

Bugfix: supoort insecure mode in checking openstack environment

Change-Id: I18346aa177689bc995eb7d4883f4a66383e827ba
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge changes from topic '35521'

* changes:
  Setup OVS-DPDK Standalone Context
  Adding new SRIOV Standalone Context

Merge "vnfdgen: replace yaml.load with yaml.safe_load"

Merge "Add intermediate variable for HA test"

Merge "update storperf installation in Yardstick"

Merge "support more parameters in iperf3 testcase"

update storperf installation in Yardstick

Storper has updated its installaion step.
The former used "nginx.conf" is not required any more.

Change-Id: I9edd57ae7cffd3a95990844e6b775616d09132f1
Signed-off-by: JingLu5 <lvjing5@huawei.com>

support more parameters in iperf3 testcase

JIRA: YARDSTICK-755

The parameters that iperf3 testcase support now maybe insufficient in some usecase.
The test case should support parameters such as: windows size and length of buffer.
This work is about adding more parameters that can be specified in options section in the YAML file.

Change-Id: Ibc81cd1bbbc6fdd492aa67bd3acee7cd310c87ef
Signed-off-by: Ace Lee <liyin11@huawei.com>

Add intermediate variable for HA test

JIRA: YARDSTICK-397

Change-Id: I3489893caa5b8194b63cb844325ec0b2c554aecc
Signed-off-by: qiujuan <juan_qiu@tongji.edu.cn>

Merge "yardstick env influxdb/grafana cmd support centos"

Merge "Add multiqueue support"

vnfdgen: replace yaml.load with yaml.safe_load

JIRA: YARDSTICK-760

Change-Id: I145c948c1f08562e12877f5d0fe7e797e9d989f9
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Setup OVS-DPDK Standalone Context

This patch performs following tasks
- getting dpdk_nic_bind path
- setup ovs,dpdk ports,vhostuserports,
- creation of vm,
- apache2 licence
- test cases for ovsdpdk
- Changes to standalone context - update unit test cases

Change-Id: I54e4062eb440b8677625e4abe6e0579d9fd54d41
Signed-off-by: Bindya N <bindya.narayan@intel.com>

Adding new SRIOV Standalone Context

This patch adds new SRIOV context to run VNFs with
 - random uuid generation,
 - mac address generation,
 - getting dpdk_nic_bind path,
 - ssh key based authentication,
 - printing log messages,
 - added apache2 licence

JIRA: YARDSTICK-480

Change-Id: Ic8317eb9e7e4ecf270091c18be4782d1299ff087
Signed-off-by: Neha Vadnere <neha.r.vadnere@intel.com>
Signed-off-by: Bindya N <bindya.narayan@intel.com>

Bugfix: missing license in api directory

JIRA: YARDSTICK-759

In api directory, there are many files missing license header.
We need to add it.

Change-Id: Ia46cf207295007d4eb7fbf0d3319611f256c36bc
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Open storperf testcase to huawei-pod2"

Merge "base: remove redudant ip_to_convert"

Merge "Improvement: support more parameters in fio testcase"

Merge "HA testcase containerized Compass support"

Merge "heat: port_security_enabled, allowed_address_pairs, disable gateway_ip"

Add API(v2) to get all task info

JIRA: YARDSTICK-754

API: /api/v2/yardstick/tasks
METHOD: GET

Change-Id: I556b0880674d78d67e0a556c4d95f902131cd027
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add API(v2) to run task"

Merge "Add API(v2) to get all images"

Merge "Add API(v2) to load images"

Add API(v2) to run task

JIRA: YARDSTICK-741

API: /api/v2/yardstick/tasks/<task_id>
METHOD: PUT
PARAMS:
{
    'action': 'run'
}

Change-Id: Ia5340c6ff45e3e7e70ab4597c39476138e7016f2
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get all images

JIRA: YARDSTICK-752

API: /api/v2/yardstick/images
METHOD: GET

Change-Id: I7b0bba85d875575ee684cc42cad977af91d6f84e
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add API(v2) to add suite to task"

Add API(v2) to load images

JIRA: YARDSTICK-751

API: /api/v2/yardstick/images/action
METHOD: POST
PARAMS:
{
    'action': 'load_image'
}

Change-Id: I9554f35c679ae2a861c7922080aa54a1ffc5bac7
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to add suite to task

JIRA: YARDSTICK-740

API: /api/v2/yardstick/tasks/<task_id>
METHOD: PUT
PARAMS:
{
    'action': 'add_suite',
    'args': {
        'suite_name': 'opnfv_smoke',
        'suite_content': suite_content
    }
}

Change-Id: I1f81c45f143b2fea636cb87f60f2f394bf1380b1
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add API(v2) to delete certain test suite"

Merge "Add API(v2) to get certain test suite info"

Merge "Add API(v2) to get all test suite"

Merge "Add API(v2) to create test suite"

Merge "Add API to delete certain test case"

Merge "Add API(v2) to get certain test case info"

Merge "Add API(v2) to get all test case info"

Merge "Add API(v2) to upload test case"

Merge "Add API(v2) to add case to task"

Merge "Add API(v2) to delete certain task"

Merge "Add API(v2) to get certain task info"

Merge "Add API(v2) to add environment to task"

Merge "Add API(v2) to create task"

Merge "Add API(v2) to delete certain project"

Merge changes from topics 'get_project', 'get_projects'

* changes:
  Add API(V2) to get certain project info
  Add API(v2) to get all projects info

Merge "Add API(v2) to create project"

Add multiqueue support

Problem:
Neither OVS nor SRIOV multi-queue is not supported. Guest VM lacks tuning to reach high throughput.
Solution:
(1) Build SRIOV multi-queue capable guest image by recompiling the igxbevf driver (make CFLAGS_EXTRA=-DIXGBE_ENABLE_VF_MQ install).
(2) Change pktgen to send on multiple queues.
(3) Add tuning in guest VM (Disable irqbalance and setup vNIC interrupt affinity to vCPUs)

Update 1: Takes care comments plus adds unit test cases
Update 2: Jenkins reports code coverage 81%, local reports 96%, add more unit test cases
Update 3: Manually rebased to adapt to SSH.from_node()
Update 4: Takes care comments for vnic_type, vnic_name

Change-Id: Ieb15381c653b13697487d095efa4be6c3c49fa42
JIRA: YARDSTICK-619
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>

Improvement: support more parameters in fio testcase

JIRA: YARDSTICK-750

The parameters that fio testcase support now maybe insufficient in some usecase.
The test case should support parameters such as: rwmixwrite, size, direct and numjobs.
This work is about add more parameters that can be specified in options section
in the YAML file.

Change-Id: Icccf024dc78d82bc453480f3baafb8aaa5c19538
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Add API(v2) to delete certain test suite

JIRA: YARDSTICK-749

API: /api/v2/yardstick/testsuites/<suite_name>
METHOD: DELETE

Change-Id: Idfb5086ab3ac9e7ea6f9512ee5c7f02090d554c0
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

HA testcase containerized Compass support

Compass will be containerized in Euphrates release.
This work is about support HA testcase in a containerized environment.

Change-Id: Ibb668c81f046d6400293f8cd58181b9f20aeebe3
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Add API(v2) to get certain test suite info

JIRA: YARDSTICK-748

API: /api/v2/yardstick/testsuites/<suite_name>
METHOD: GET

Change-Id: I0d60ddedff4f76504ebd2e61257bf1b9cad3b923
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get all test suite

JIRA: YARDSTICK-747

API: /api/v2/yardstick/testsuites
METHOD: GET

Change-Id: I2375b6d2ea54704f5a2328cc8110058af038e777
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to create test suite

JIRA: YARDSTICK-746

API: /api/v2/yardstick/testsuites/action
METHOD: POST
PARAMS:
{
    'action': 'create_suite',
    'args': {
        'name': 'case_name',
        'testcases': [
            'opnfv_yardstick_tc002'
        ]
    }
}

Change-Id: I7e07c599e64e7eedda274c72344e394f5535f055
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API to delete certain test case

JIRA: YARDSTICK-745

API: /api/v2/yardstick/testcases/<case_name>
METHOD: DELETE

Change-Id: Ic75ee60abfc00d20328ee45b9830dea1fe464482
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get certain test case info

JIRA: YARDSTICK-744

API: /api/v2/yardstick/testcases
METHOD: GET

Change-Id: I4b1867f713bce2f9f2342ecec8540b08b0bb3456
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get all test case info

JIRA: YARDSTICK-743

API: /api/v2/yardstick/testcases
METHOD: GET

Change-Id: Iced97206cb4c5f68ee8a5729af937e8d45ca6e87
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to upload test case

JIRA: YARDSTICK-742

API: /api/v2/yardstick/testcases/action
METHOD: POST
PARAMS:
{
   'action': 'upload_case',
    'args': {
        'file': file
    }
}

Change-Id: Id305e72a24ec28295ac4bae5e5b9ad83eb2c1e34
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>