functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70                 run:
  71                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
  72                     class: 'TempestSmokeSerial'
  73             -
  74                 name: rally_sanity
  75                 criteria: 'success_rate == 100%'
  76                 blocking: false
  77                 description: >-
  78                     This test case runs a sub group of tests of the OpenStack
  79                     Rally suite in smoke mode.
  80                 dependencies:
  81                     installer: ''
  82                     scenario: '^((?!bgpvpn).)*$'
  83
  84             -
  85                 name: odl
  86                 criteria: 'success_rate == 100%'
  87                 blocking: true
  88                 description: >-
  89                     Test Suite for the OpenDaylight SDN Controller. It integrates
  90                     some test suites from upstream using Robot as the test
  91                     framework.
  92                 dependencies:
  93                     installer: ''
  94                     scenario: 'odl'
  95                 run:
  96                     module: 'functest.opnfv_tests.sdn.odl.odl'
  97                     class: 'ODLTests'
  98
  99             -
 100                 name: onos
 101                 criteria: 'status == "PASS"'
 102                 blocking: true
 103                 description: >-
 104                     Test Suite for the ONOS SDN Controller. It integrates
 105                     some test suites from upstream using TestON as the test
 106                     framework.
 107                 dependencies:
 108                     installer: ''
 109                     scenario: 'onos'
 110
 111             -
 112                 name: connection_check
 113                 criteria: 'status == "PASS"'
 114                 blocking: false
 115                 description: >-
 116                     This test case verifies the retrieval of OpenStack clients:
 117                     Keystone, Glance, Neutron and Nova and may perform some
 118                     simple queries. When the config value of
 119                     snaps.use_keystone is True, functest must have access to
 120                     the cloud's private network.
 121
 122                 dependencies:
 123                     installer: ''
 124                     scenario: ''
 125                 run:
 126                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 127                     class: 'ConnectionCheck'
 128
 129             -
 130                 name: api_check
 131                 criteria: 'status == "PASS"'
 132                 blocking: false
 133                 description: >-
 134                     This test case verifies the retrieval of OpenStack clients:
 135                     Keystone, Glance, Neutron and Nova and may perform some
 136                     simple queries. When the config value of
 137                     snaps.use_keystone is True, functest must have access to
 138                     the cloud's private network.
 139
 140                 dependencies:
 141                     installer: ''
 142                     scenario: ''
 143                 run:
 144                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 145                     class: 'ApiCheck'
 146
 147             -
 148                 name: snaps_smoke
 149                 criteria: 'status == "PASS"'
 150                 blocking: false
 151                 description: >-
 152                     This test case contains tests that setup and destroy
 153                     environments with VMs with and without Floating IPs
 154                     with a newly created user and project. Set the config
 155                     value snaps.use_floating_ips (True|False) to toggle
 156                     this functionality. When the config value of
 157                     snaps.use_keystone is True, functest must have access to
 158                     the cloud's private network.
 159
 160                 dependencies:
 161                     installer: ''
 162                     scenario: ''
 163                 run:
 164                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 165                     class: 'SnapsSmoke'
 166
 167     -
 168         name: features
 169         order: 2
 170         ci_loop: '(daily)|(weekly)'
 171         description : >-
 172             Test suites from feature projects
 173             integrated in functest
 174         testcases:
 175             -
 176                 name: promise
 177                 criteria: 'success_rate == 100%'
 178                 blocking: false
 179                 description: >-
 180                     Test suite from Promise project.
 181                 dependencies:
 182                     installer: '(fuel)|(joid)'
 183                     scenario: ''
 184
 185             -
 186                 name: doctor
 187                 criteria: 'status == "PASS"'
 188                 blocking: false
 189                 description: >-
 190                     Test suite from Doctor project.
 191                 dependencies:
 192                     installer: 'apex'
 193                     scenario: '^((?!fdio).)*$'
 194
 195             -
 196                 name: bgpvpn
 197                 criteria: 'status == "PASS"'
 198                 blocking: false
 199                 description: >-
 200                     Test suite from SDNVPN project.
 201                 dependencies:
 202                     installer: '(fuel)|(apex)'
 203                     scenario: 'bgpvpn'
 204                 run:
 205                     module: 'functest.opnfv_tests.features.sdnvpn'
 206                     class: 'SdnVpnTests'
 207
 208             -
 209                 name: security_scan
 210                 criteria: 'status == "PASS"'
 211                 blocking: false
 212                 description: >-
 213                     Simple security Scan
 214                 dependencies:
 215                     installer: 'apex'
 216                     scenario: '^((?!fdio).)*$'
 217
 218             -
 219                 name: copper
 220                 criteria: 'status == "PASS"'
 221                 blocking: false
 222                 description: >-
 223                     Test suite for policy management based on OpenStack Congress
 224                 dependencies:
 225                     installer: '(apex)|(joid)'
 226                     scenario: '^((?!fdio|lxd).)*$'
 227                 run:
 228                     module: 'functest.opnfv_tests.features.copper'
 229                     class: 'Copper'
 230
 231             -
 232                 name: moon
 233                 criteria: 'status == "PASS"'
 234                 blocking: false
 235                 description: >-
 236                     Security management system for OPNFV
 237                 dependencies:
 238                     installer: 'compass'
 239                     scenario: '(odl)*(moon)'
 240             -
 241                 name: multisite
 242                 criteria: 'success_rate == 100%'
 243                 blocking: false
 244                 description: >-
 245                     Test suite from kingbird
 246                 dependencies:
 247                     installer: '(fuel)|(compass)'
 248                     scenario: 'multisite'
 249                 run:
 250                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 251                     class: 'TempestMultisite'
 252             -
 253                 name: odl-sfc
 254                 criteria: 'status == "PASS"'
 255                 blocking: false
 256                 description: >-
 257                     Test suite for odl-sfc to test two chains and two SFs
 258                 dependencies:
 259                     installer: '(apex)|(fuel)'
 260                     scenario: 'odl_l2-sfc'
 261                 run:
 262                     module: 'functest.opnfv_tests.features.odl_sfc'
 263                     class: 'OpenDaylightSFC'
 264             -
 265                 name: onos_sfc
 266                 criteria: 'status == "PASS"'
 267                 blocking: true
 268                 description: >-
 269                     Test Suite for onos-sfc to test sfc function.
 270                 dependencies:
 271                     installer: ''
 272                     scenario: 'onos-sfc'
 273             -
 274                 name: parser
 275                 criteria: 'ret == 0'
 276                 blocking: false
 277                 description: >-
 278                     Test suite from Parser project.
 279                 dependencies:
 280                     installer: 'fuel'
 281                     scenario: '^((?!bgpvpn|noha).)*$'
 282                 run:
 283                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 284                     class: 'Parser'
 285     -
 286         name: components
 287         order: 3
 288         ci_loop: 'weekly'
 289         description : >-
 290             Extensive testing of OpenStack API.
 291         testcases:
 292             -
 293                 name: tempest_full_parallel
 294                 criteria: 'success_rate >= 80%'
 295                 blocking: false
 296                 description: >-
 297                     The list of test cases is generated by
 298                     Tempest automatically and depends on the parameters of
 299                     the OpenStack deplopyment.
 300                 dependencies:
 301                     installer: ''
 302                     scenario: ''
 303                 run:
 304                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 305                     class: 'TempestFullParallel'
 306
 307             -
 308                 name: rally_full
 309                 criteria: 'success_rate >= 90%'
 310                 blocking: false
 311                 description: >-
 312                     This test case runs the full suite of scenarios of the OpenStack
 313                     Rally suite using several threads and iterations.
 314                 dependencies:
 315                     installer: ''
 316                     scenario: ''
 317
 318     -
 319         name: vnf
 320         order: 4
 321         ci_loop: 'weekly'
 322         description : >-
 323             Collection of VNF test cases.
 324         testcases:
 325             -
 326                 name: vims
 327                 criteria: 'status == "PASS"'
 328                 blocking: false
 329                 description: >-
 330                     This test case deploys an OpenSource vIMS solution from Clearwater
 331                     using the Cloudify orchestrator. It also runs some signaling traffic.
 332                 dependencies:
 333                     installer: ''
 334                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'