run_tests: don't write python bytecode

we usually disable .pyc generate during unittests

Change-Id: I7d7af7c6d188f5a592d24aa90322edb217ffd8ba
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "NSBperf: don't exit during import time"

cover.sh: workaround 'db type could not be determined' bug

https://bugs.launchpad.net/testrepository/+bug/1229445

rm -f .testrepository/times.dbm

remove that file before running testr

Change-Id: I178efefebe600a65d1a28beb9b01f7dfecaa4d00
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

NSBperf: don't exit during import time

This was breaking testr unittests.

Don't do this like this during import time,
only do them in if __name__ sections, otherwise
when anything else tries to import this module
it exists.

Change-Id: Ia17f5e1a5cbe07ab287d3b95e96489b8a6248170
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

add opnfv_os-odl-sfc-ha_daily.yaml test suite

Change-Id: I56961d143bdd723f4e957a4c02ba4127ccddadb3
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Testing live migration using qemu"

Add container ping VM test case

JIRA: YARDSTICK-769

This is demand from openretriever project(https://jira.opnfv.org/browse/CONTAINER-19).
Since we have the kubernetes context now and we have first container test case.
We can have a new test case that make container(k8s) ping VM(openstack).

Change-Id: Ia1724130d92d447836529b370510fe1bf1738723
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Bugfix: yardstick always report 'PASS' to DB

JIRA: YARDSTICK-768

Now yardstick will not stop if test case failed,
so that we can run the rest test case in the suite.

CI judge task status by the cmd return code. In this way,
the 'yardstick task start' cmd will always return 0.
So we will always report 'PASS' to DB.

In this patch I add a judgement in cmd, if the status is not 'PASS', we
will raise a RuntimeError.

Change-Id: I655424dd9cd3782869986963a17b24acfb340345
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add more parameters in iperf3 taml

JIRA: YARDSTICK-755

The parameters that iperf3 testcase support now maybe insufficient in some usecase.
The test case should support parameters such as: windows size and length of buffer.
This work is about adding more parameters in testcase yaml file

Change-Id: I8c900a4a8909d97543cf837a02c76a6aee19f439
Signed-off-by: Ace Lee <liyin11@huawei.com>

Add spec cpu2006 test case

JIRA: YARDSTICK-764

This work is about support run SPEC CPU2006 benchmark.

users must get a "cpu2006-1.2.iso" from the SPEC website,
save it under the /home/opnfv/yardstick/yardstick/resources folder
(e.g. /home/opnfv/yardstick/yardstick/resources/cpu2006-1.2.iso),
user may also supply a runspec cfg file
(e.g. /home/opnfv/yardstick/yardstick/resources/files/yardstick_spec_cpu2006.cfg).

Change-Id: If4aecc1c14635a07589555196d2edc8bd37d7bdb
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Heat: support vnic_type in heat type context

JIRA: YARDSTICK-757

Some test scenarios require VM with specific vnic type.
This work is about supporting using different vnic types in heat type context.

context:
  name: demo
  image: cirros-0.3.5
  flavor: yardstick-flavor
  user: cirros

  placement_groups:
    pgrp1:
      policy: "availability"

  servers:
    athena:
      floating_ip: true
      placement: "pgrp1"
    ares:
      placement: "pgrp1"

  networks:
    test:
      cidr: '10.0.1.0/24'
      vnic_type: "normal"

Change-Id: Ia229fda72f47b04288ea107e2d58fd3e8ac91dd9
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Heat: support create and attach volume in heat type context

JIRA: YARDSTICK-756

Some test scenarios require VM with volume attached.
This work is about supporting create and attach volume in heat type context.

context:
  name: demo
  image: cirros-0.3.5
  flavor: yardstick-flavor
  user: cirros

  placement_groups:
    pgrp1:
      policy: "availability"

  servers:
    athena:
      floating_ip: true
      # per-vm inline volume definition. if no volume size specified, then this
      # volume should be an existing volume in the openstack environment
      volume: yardstick-volume
      placement: "pgrp1"
    ares:
      # per-vm inline volume definition. if volume size is specified, then this
      # volume will be crated and attach to the vm
      volume:
        name: test-volume
        size: 10
      # volume mountpoint is also configurable
      volume_mountpoint: /dev/vdb
      placement: "pgrp1"

  networks:
    test:
      cidr: '10.0.1.0/24'

Change-Id: Ief87b313980a59eac229eb4780d93ffc929ceb66
Signed-off-by: JingLu5 <lvjing5@huawei.com>

bugfix: enable vlan and physical netwok able to set

Enable vlan and physical netwok able to set by
parameters for heat context. It won't affect the
original test case, but enable vlan to be set
directly by pass task-args to command:

yardstick -d task start samples/ping.yaml --task-args '{"provider": "vlan"}'

JIRA: YARDSTICK-763

Change-Id: I96f96a61991cceb1506d055867a006d56689a008
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "bugfix: enable vlan and physical netwok able to set"

Merge "Update NSBPerf CLI to adapt to new output format"

Merge "Test Case: OPNFV_YARDSTICK_TC023: VM availability during live migration"

bugfix: enable vlan and physical netwok able to set

enable vlan and physical netwok able to set by
parameters for heat context

this is a sample, if it's ok, i'll copy it to other yaml.
it won't affect the original test case, but enable vlan
 to be set directly by pass task-args to command.

yardstick -d task start samples/ping.yaml --task-args '{"provider": "vlan"}'

JIRA: YARDSTICK-763

Change-Id: Ie35dac4b5e80404558a1eb45d49fa0bb6ab45a98
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "leave port_security_enabled undefined by default"

Adding support for multi-dispatcher

JIRA: YARDSTICK-684

This patch adds the support to enable multi-dispatcher of result.

e.g.
[DEFAULT]
debug = False
dispatcher = file, http

Change-Id: Id0e1a1bba14edd899fcf5b275be1f0a091b6db77
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

leave port_security_enabled undefined by default

some deployments don't have port security ML2 plugin enabled,
so we have to leave port security undefined by default

RuntimeError: Resource CREATE failed:
 BadRequest: resources.yardstick-TC072-19be2f60-test: Unrecognized attribute(s) 'port_security_enabled'
https://build.opnfv.org/ci/user/narindergupta/my-views/view/joid/job/yardstick-joid-baremetal-daily-master/1276/console

Change-Id: I69178f869f6215f42d90ea4cfb297dad3d799f83
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Yardstick GUI & GUI deployment"

Yardstick GUI & GUI deployment

JIRA: YARDSTICK-758

As E release plan, we have the need of yardstick GUI.
This patch is GUI front end code and deployment.
The backend code is yardstick API.

Change-Id: Ib15f78bcc50168c7828beff97256e9939c6da809
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Test Case: OPNFV_YARDSTICK_TC023: VM availability during live migration

JIRA: YARDSTICK-174

This live migration test case is based on share storage, default share
storage is enabled.
This test case will do some config work. And do live migration and
calculate the migration time and downtime.

Change-Id: I6601601edebdd0ac6434ba632b1eba9e9bd4fda0
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

fix sriov/ovs-dpdk unittests on systems with fewer than 10 cores

we need to wrap vcpupin modulo number of cores.

also mock time.sleep

Change-Id: I6433418a99505b469c61c81a9a023d84434fa0ee
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: plugin remove command use "JUMP_HOST_IP" if ip is set to local

JIRA: YARDSTICK-762

Change-Id: Id4a94ef8bbe578944e3664e5e7c24fdf7478805b
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Bugfix: supoort insecure mode in checking openstack environment"

Bugfix: supoort insecure mode in checking openstack environment

Change-Id: I18346aa177689bc995eb7d4883f4a66383e827ba
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge changes from topic '35521'

* changes:
  Setup OVS-DPDK Standalone Context
  Adding new SRIOV Standalone Context

Merge "vnfdgen: replace yaml.load with yaml.safe_load"

Merge "Add intermediate variable for HA test"

Merge "update storperf installation in Yardstick"

Merge "support more parameters in iperf3 testcase"

update storperf installation in Yardstick

Storper has updated its installaion step.
The former used "nginx.conf" is not required any more.

Change-Id: I9edd57ae7cffd3a95990844e6b775616d09132f1
Signed-off-by: JingLu5 <lvjing5@huawei.com>

support more parameters in iperf3 testcase

JIRA: YARDSTICK-755

The parameters that iperf3 testcase support now maybe insufficient in some usecase.
The test case should support parameters such as: windows size and length of buffer.
This work is about adding more parameters that can be specified in options section in the YAML file.

Change-Id: Ibc81cd1bbbc6fdd492aa67bd3acee7cd310c87ef
Signed-off-by: Ace Lee <liyin11@huawei.com>

Add intermediate variable for HA test

JIRA: YARDSTICK-397

Change-Id: I3489893caa5b8194b63cb844325ec0b2c554aecc
Signed-off-by: qiujuan <juan_qiu@tongji.edu.cn>

Merge "yardstick env influxdb/grafana cmd support centos"

Merge "Add multiqueue support"

vnfdgen: replace yaml.load with yaml.safe_load

JIRA: YARDSTICK-760

Change-Id: I145c948c1f08562e12877f5d0fe7e797e9d989f9
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Setup OVS-DPDK Standalone Context

This patch performs following tasks
- getting dpdk_nic_bind path
- setup ovs,dpdk ports,vhostuserports,
- creation of vm,
- apache2 licence
- test cases for ovsdpdk
- Changes to standalone context - update unit test cases

Change-Id: I54e4062eb440b8677625e4abe6e0579d9fd54d41
Signed-off-by: Bindya N <bindya.narayan@intel.com>

Adding new SRIOV Standalone Context

This patch adds new SRIOV context to run VNFs with
 - random uuid generation,
 - mac address generation,
 - getting dpdk_nic_bind path,
 - ssh key based authentication,
 - printing log messages,
 - added apache2 licence

JIRA: YARDSTICK-480

Change-Id: Ic8317eb9e7e4ecf270091c18be4782d1299ff087
Signed-off-by: Neha Vadnere <neha.r.vadnere@intel.com>
Signed-off-by: Bindya N <bindya.narayan@intel.com>

Bugfix: missing license in api directory

JIRA: YARDSTICK-759

In api directory, there are many files missing license header.
We need to add it.

Change-Id: Ia46cf207295007d4eb7fbf0d3319611f256c36bc
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Open storperf testcase to huawei-pod2"

Merge "base: remove redudant ip_to_convert"

Merge "Improvement: support more parameters in fio testcase"

Merge "HA testcase containerized Compass support"

Merge "heat: port_security_enabled, allowed_address_pairs, disable gateway_ip"

Add API(v2) to get all task info

JIRA: YARDSTICK-754

API: /api/v2/yardstick/tasks
METHOD: GET

Change-Id: I556b0880674d78d67e0a556c4d95f902131cd027
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add API(v2) to run task"

Merge "Add API(v2) to get all images"

Merge "Add API(v2) to load images"

Add API(v2) to run task

JIRA: YARDSTICK-741

API: /api/v2/yardstick/tasks/<task_id>
METHOD: PUT
PARAMS:
{
    'action': 'run'
}

Change-Id: Ia5340c6ff45e3e7e70ab4597c39476138e7016f2
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get all images

JIRA: YARDSTICK-752

API: /api/v2/yardstick/images
METHOD: GET

Change-Id: I7b0bba85d875575ee684cc42cad977af91d6f84e
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add API(v2) to add suite to task"

Add API(v2) to load images

JIRA: YARDSTICK-751

API: /api/v2/yardstick/images/action
METHOD: POST
PARAMS:
{
    'action': 'load_image'
}

Change-Id: I9554f35c679ae2a861c7922080aa54a1ffc5bac7
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to add suite to task

JIRA: YARDSTICK-740

API: /api/v2/yardstick/tasks/<task_id>
METHOD: PUT
PARAMS:
{
    'action': 'add_suite',
    'args': {
        'suite_name': 'opnfv_smoke',
        'suite_content': suite_content
    }
}

Change-Id: I1f81c45f143b2fea636cb87f60f2f394bf1380b1
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add API(v2) to delete certain test suite"

Merge "Add API(v2) to get certain test suite info"

Merge "Add API(v2) to get all test suite"

Merge "Add API(v2) to create test suite"

Merge "Add API to delete certain test case"

Merge "Add API(v2) to get certain test case info"

Merge "Add API(v2) to get all test case info"

Merge "Add API(v2) to upload test case"

Merge "Add API(v2) to add case to task"

Merge "Add API(v2) to delete certain task"

Merge "Add API(v2) to get certain task info"

Merge "Add API(v2) to add environment to task"

Merge "Add API(v2) to create task"

Merge "Add API(v2) to delete certain project"

Merge changes from topics 'get_project', 'get_projects'

* changes:
  Add API(V2) to get certain project info
  Add API(v2) to get all projects info

Merge "Add API(v2) to create project"

Add multiqueue support

Problem:
Neither OVS nor SRIOV multi-queue is not supported. Guest VM lacks tuning to reach high throughput.
Solution:
(1) Build SRIOV multi-queue capable guest image by recompiling the igxbevf driver (make CFLAGS_EXTRA=-DIXGBE_ENABLE_VF_MQ install).
(2) Change pktgen to send on multiple queues.
(3) Add tuning in guest VM (Disable irqbalance and setup vNIC interrupt affinity to vCPUs)

Update 1: Takes care comments plus adds unit test cases
Update 2: Jenkins reports code coverage 81%, local reports 96%, add more unit test cases
Update 3: Manually rebased to adapt to SSH.from_node()
Update 4: Takes care comments for vnic_type, vnic_name

Change-Id: Ieb15381c653b13697487d095efa4be6c3c49fa42
JIRA: YARDSTICK-619
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>

Improvement: support more parameters in fio testcase

JIRA: YARDSTICK-750

The parameters that fio testcase support now maybe insufficient in some usecase.
The test case should support parameters such as: rwmixwrite, size, direct and numjobs.
This work is about add more parameters that can be specified in options section
in the YAML file.

Change-Id: Icccf024dc78d82bc453480f3baafb8aaa5c19538
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Add API(v2) to delete certain test suite

JIRA: YARDSTICK-749

API: /api/v2/yardstick/testsuites/<suite_name>
METHOD: DELETE

Change-Id: Idfb5086ab3ac9e7ea6f9512ee5c7f02090d554c0
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

HA testcase containerized Compass support

Compass will be containerized in Euphrates release.
This work is about support HA testcase in a containerized environment.

Change-Id: Ibb668c81f046d6400293f8cd58181b9f20aeebe3
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Add API(v2) to get certain test suite info

JIRA: YARDSTICK-748

API: /api/v2/yardstick/testsuites/<suite_name>
METHOD: GET

Change-Id: I0d60ddedff4f76504ebd2e61257bf1b9cad3b923
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get all test suite

JIRA: YARDSTICK-747

API: /api/v2/yardstick/testsuites
METHOD: GET

Change-Id: I2375b6d2ea54704f5a2328cc8110058af038e777
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to create test suite

JIRA: YARDSTICK-746

API: /api/v2/yardstick/testsuites/action
METHOD: POST
PARAMS:
{
    'action': 'create_suite',
    'args': {
        'name': 'case_name',
        'testcases': [
            'opnfv_yardstick_tc002'
        ]
    }
}

Change-Id: I7e07c599e64e7eedda274c72344e394f5535f055
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API to delete certain test case

JIRA: YARDSTICK-745

API: /api/v2/yardstick/testcases/<case_name>
METHOD: DELETE

Change-Id: Ic75ee60abfc00d20328ee45b9830dea1fe464482
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get certain test case info

JIRA: YARDSTICK-744

API: /api/v2/yardstick/testcases
METHOD: GET

Change-Id: I4b1867f713bce2f9f2342ecec8540b08b0bb3456
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get all test case info

JIRA: YARDSTICK-743

API: /api/v2/yardstick/testcases
METHOD: GET

Change-Id: Iced97206cb4c5f68ee8a5729af937e8d45ca6e87
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to upload test case

JIRA: YARDSTICK-742

API: /api/v2/yardstick/testcases/action
METHOD: POST
PARAMS:
{
   'action': 'upload_case',
    'args': {
        'file': file
    }
}

Change-Id: Id305e72a24ec28295ac4bae5e5b9ad83eb2c1e34
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to add case to task

JIRA: YARDSTICK-739

API: /api/v2/yardstick/tasks/<task_id>
METHOD: PUT
PARAMS:
{
    'action': 'add_case',
    'args': {
        'case_name': 'opnfv_yardstick_tc002',
        'case_content': case_content
    }
}

Change-Id: I53e71e3d662399b08029ed417b5873a4775ca32d
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

heat: port_security_enabled, allowed_address_pairs, disable gateway_ip

    xe0:
      cidr: '10.0.2.0/24'
      vld_id: public
      allowed_address_pairs:
        - ip_address:
            '0.0.0.0/0'
    xe1:
      cidr: '10.0.3.0/24'
      vld_id: private
      allowed_address_pairs:
        - ip_address:
            '0.0.0.0/0'

We need to disable gateways on data plane interfaces
With TGs and VFNs we probably don't need gateway on data interfaces

Change-Id: I276a7d591a0a3ff03877c4f525303fc2874de683
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Add API(v2) to delete certain task

JIRA: YARDSTICK-738

API: /api/v2/yardstick/tasks/<task_id>
METHOD: DELETE

Change-Id: I28215d2cae63551455abacc4142cff3c4aaed281
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get certain task info

JIRA: YARDSTICK-737

API: /api/v2/yardstick/tasks/<task_id>
METHOD: GET

Change-Id: Ia360f4bba05e196e07c9eb339061ccfbf5df8137
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to add environment to task

JIRA: YARDSTICK-736

API: /api/v2/yardstick/tasks/<task_id>
METHOD: PUT
PARAMS:
{
    'action': 'add_environment',
    'args': {
        'environment_id': environment_id
    }
}

Change-Id: Idc31cb21de882d008202b6395158e9f9aa9244db
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to create task

JIRA: YARDSTICK-735

API: /api/v2/yardstick/tasks/action
METHOD: POST
PARAMS:
{
    'action': 'create_task',
    'args': {
        'name': 'task1',
        'project_id': project_id
    }
}

Change-Id: I1f9c743f32bbcff999e37cf53ebfa96b41c61e5e
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add API(v2) to delete container"

Merge "Add API(v2) to get container info"

Merge "Add API(v2) to create grafana"

Merge "Add API(v2) to create influxdb"

Merge "Add API(v2) to delete pod"

Add API(v2) to delete certain project

JIRA: YARDSTICK-734

API: /api/v2/yardstick/projects/<project_id>
METHOD: DELETE

Change-Id: I6628ec42aa7c4c6ab073ddc33c119ea1c03b81fe
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(V2) to get certain project info

JIRA: YARDSTICK-733

API: /api/v2/yardstick/projects/<project_id>
METHOD: GET

Change-Id: I20a615af96229aefac6ef86566a7b9c5d42f9633
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to get all projects info

JIRA: YARDSTICK-732

API: /api/v2/yardstick/projects
METHOD: GET

Change-Id: Ifd67f11f516270d96c0e80b5b8c76a939583d9e5
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API(v2) to create project

JIRA: YARDSTICK-731

API: /api/v2/yardstick/projects/action
METHOD: POST
PARAMS:
{
    'action': 'create_project',
    'args': {
        'name': 'project1'
    }
}

Change-Id: I92332dec8dcf3253f0cbf1668332ce5110111d73
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

yardstick env influxdb/grafana cmd support centos

JIRA: YARDSTICK-714

Currently yardstick env influxdb/grafana command do not support centos.
Because we use the gateway ip to get the service of influxdb and grafana.
But in centos, we can not access influxdb/grafana service via gateway ip.
In this patch, I use docker inspect to get the ip of influxdb and grafana.
So these command can support centos.

Change-Id: Ie4abcb8048b92d61bc62777dfc362bb29f354b2b
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

base: remove redudant ip_to_convert

remove extra newline as well

Change-Id: I9038621720c40802aa041bad66007b38070cb26e
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "test_base: speedup unittest, wait for queue not empty"