behave_tests/features/non-regression.feature

   1 @non-regression
   2 Feature: non-regression
   3
   4   @throughput
   5   Scenario Outline: Run a NDR test for a defined frame size
   6       Given 10 sec run duration
   7       And TRex is restarted
   8       And <frame_size> frame size
   9       And 100k flow count
  10       And ndr rate
  11       When NFVbench API is ready
  12       Then 3 runs are started and waiting for maximum result
  13       And push result to database
  14       And extract offered rate result
  15       And verify throughput result is in same range as the previous result
  16       And verify throughput result is in same range as the characterization result
  17
  18      Examples: Frame sizes
  19       | frame_size |
  20       | 64         |
  21       | 768        |
  22       | 1518       |
  23       | 9000       |
  24
  25
  26   @latency
  27   Scenario Outline: Run a latency test for a defined frame size and throughput percentage
  28       Given 10 sec run duration
  29       And TRex is restarted
  30       And <frame_size> frame size
  31       And 100k flow count
  32       And <throughput> rate of previous scenario
  33       When NFVbench API is ready
  34       Then run is started and waiting for result
  35       And push result to database
  36       And verify latency result is in same range as the previous result
  37       And verify latency result is in same range as the characterization result
  38
  39      Examples: Frame sizes and throughput percentages
  40       | frame_size | throughput |
  41       | 64         | 70%        |
  42       | 64         | 90%        |
  43       | 768        | 70%        |
  44       | 768        | 90%        |
  45       | 1518       | 70%        |
  46       | 1518       | 90%        |
  47       | 9000       | 70%        |
  48       | 9000       | 90%        |