behave_tests/features/non-regression.feature

   1 @non-regression
   2 Feature: non-regression
   3
   4   @throughput
   5   Scenario Outline: Run a NDR test for a defined frame size
   6       Given 10 sec run duration
   7       And <frame_size> frame size
   8       And 100k flow count
   9       And ndr rate
  10       When NFVbench API is ready
  11       Then 3 runs are started and waiting for maximum result
  12       And push result to database
  13       And extract offered rate result
  14       And verify throughput result is in same range as the previous result
  15       And verify throughput result is in same range as the characterization result
  16
  17      Examples: Frame sizes
  18       | frame_size |
  19       | 64         |
  20       | 768        |
  21       | 1518       |
  22       | 9000       |
  23
  24
  25   @latency
  26   Scenario Outline: Run a latency test for a defined frame size and throughput percentage
  27       Given 10 sec run duration
  28       And <frame_size> frame size
  29       And 100k flow count
  30       And <throughput> rate of previous scenario
  31       When NFVbench API is ready
  32       Then run is started and waiting for result
  33       And push result to database
  34       And verify latency result is lower than 1000 microseconds
  35
  36      Examples: Frame sizes and throughput percentages
  37       | frame_size | throughput |
  38       | 64         | 70%        |
  39       | 64         | 90%        |
  40       | 768        | 70%        |
  41       | 768        | 90%        |
  42       | 1518       | 70%        |
  43       | 1518       | 90%        |
  44       | 9000       | 70%        |
  45       | 9000       | 90%        |