Update git submodules
authorRoss Brattain <ross.b.brattain@intel.com>
Wed, 16 Aug 2017 16:19:56 +0000 (16:19 +0000)
committerGerrit Code Review <gerrit@opnfv.org>
Wed, 16 Aug 2017 16:19:56 +0000 (16:19 +0000)
commit24b21519948ee26cc1365b53721c94fef9fb83b9
treee244a4d8b1fd5b379a34a1b1de307c4ee2c609f3
parent47c3a2aeb5c7699bee80f36703faf85823db263f
Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "YAML fixes"
  - YAML fixes

    There are multiple issues wiht YAML loading.

    1. Jinja2 renders None values as a string 'None'.  This is not valid YAML
    we need to render None values to '~' or 'null' which is the native YAML
    None value.

    2. Jinja2 renders dict and lists that contain unicode with
    u'foo' values.  This is not value YAML syntax.
    Because we are serializing dict and lists into YAML, we
    need to encode them as valid YAML.  We can override Jinja2 finalize to
    use yaml.dump to dump inline YAML.

    We use yaml.safe_dump(elem, default_flow_style=True).replace('\n', '')
    to generate valid single-line YAML dict and list values.

    But this problem highlights the general difficulties with templating and
    loading files.
    We could avoid this Python->Jinja2->YAML->Python issue by directly
    injecting the list or dict after the YAML is loaded.

    I'm not sure of the real utility of these templates.

    3. On Python 2 YAML loader is rendering all strings
    as unicode.  This does not work for Trex because Trex is broken
    and badly coded.  Trex does type checking against str() which
    is different for Python 2 and Python 3.
    The default YAML loader will return native string types, str() or unicode()
    for Python 2 and Python 3 respectively.

    The bad Trex codes is in convert_val:

    https://github.com/cisco-system-traffic-generator/trex-core/blob/master/scripts/automation/trex_control_plane/stl/trex_stl_lib/trex_stl_packet_builder_scapy.py#L674

    def convert_val (val):
        if is_integer(val):
            return val
        if type(val) == str:
            return ipv4_str_to_num (is_valid_ipv4(val))
        raise CTRexPacketBuildException(-11,("init val invalid %s ") % val  );

    This code is doing type(val) == str.  This is bad and broken.
    We can't fix Trex, so we have to render all strings as native str() types

    The bug here was that the Heat template loader template_format.py
    was overriding the global YAML loader to always return unicode.
    We don't want this global override.

    To fix this we have to use local subclasses of the yaml.SafeLoader
    class.
    But in order to dynamically subclass from CSafeLoader or SafeLoader
    we have to use the type() builtin to define a new class at runtime.

    Once we have new classes defined, we can safely isolate different
    YAML constructors and return unicode or not depending on the case.

    To be consistent we implement a new yaml_loader.py module to centralize
    all non-Heat template yaml loading to ensure correct uncode/str
    conversion

    Change-Id: Iebf9cf78fbda390977c390436b0869e7bbf503eb
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
docs/submodules/yardstick