Reformat auth_url based on the ID API version.

No longer raising an OSCredsError when the auth_url does
not end with a 'v' + some number. Additionally, the auth_url
will be massaged to remove any 'v' + num from the end of
the URL and generate its own version value based on the ID
API version configured.

JIRA: SNAPS-144

Change-Id: I3a7844025324105576da59b1516d0f541281e6bf
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Attempt to fix domain support.

The prior code treated *_domain_name & *_domain_id the same
where the ID was taken first and the name was used as the
fallback which was incorrect. This patch treats the name and
ID fields as separate members.

JIRA: SNAPS-154

Change-Id: I5219863de597c4db24579f4af74ece2d648b2b07
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Remove TODOs from create_router.py"

Remove TODOs from create_router.py

Determined not to support the optional router attributes:
'enable_snat' & 'external_fixed_ips' at this time.

JIRA: SNAPS-150

Change-Id: I68445fb055668f4cb5f2a2ff80499da0f4160043
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Removed floating IP list from OpenStackVmInstance.

There was a list and dict both holding the same floating IP
objects which has been problematic especially when trying
to initialize the object with a VM instance that already
exists.

JIRA: SNAPS-149

Change-Id: If4af6dfef04a40b9c8cd7a8add484c9ec03f1ef8
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Ensure library and tests close all necessary resources.

The SNAPS-OO library and tests had left open files, ssh, and scp
connections. These have all now been wrapped with try/finally
blocks.

JIRA: SNAPS-152

Change-Id: I43e09978b5c075bd78ff3279c0799556b8758878
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Changes to enable overriding the OSCreds for tests."

Merge "Expand OpenStackSecurityGroup class tests."

Merge "Expanded project creation tests and validation."

Merge "Added configuration for keypair size."

Changes to enable overriding the OSCreds for tests.

JIRA: FUNCTEST-847

Change-Id: I36d1add82cdb13a2c8252495fd6df8e05dab837b
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Updated docs for the OSCreds class

JIRA: SNAPS-122

Change-Id: Id57f8830f7e87c513179de307130c76cb28f22a8
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Expand OpenStackSecurityGroup class tests.

Improved validation and added another test case.

JIRA: SNAPS-148

Change-Id: I249ac0fcce502dd91c82cc2bfb54ca22da5e33bb
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Expanded project creation tests and validation.

JIRA: SNAPS-147

Change-Id: I16eb1ab9f976daf4195a47b04ce5b8b8ba931497
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Comment housekeeping...

Change-Id: I917470cb4bd29f93512cce7eead89824f2326678
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Removed TODO from comment about the physical network value.

JIRA: SNAPS-123

Change-Id: Ie4085a35816a78cb5b4b910d52ddccaf6b102b1f
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Removed TODO comment from lanucher app.

Determined that the potential issue was not one.

JIRA: SNAPS-123

Change-Id: I171f0f959e77489c24b5c9ab6e225a129ff1cc93
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Removed TODO comment from sample playbook.

Change-Id: I124bc707dfa18fb0076eb9b070b3f1f4bf0b7172
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Added configuration for keypair size.

Removed hardcoded key byte value of 1024 and added the abiltiy
for the user to define their key size.

JIRA: SNAPS-20

Change-Id: I81654420e558aae8a03bed902bb8be8f025b992c
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Added region support.

Added region_name attribute to OSCreds
Added region_name to neutron, nova, glance, heat, and keystone
client retrieval
Fixed false positive heat connection test.

JIRA: SNAPS-50 & SNAPS-146

Change-Id: If3471ed7a2bdd0e6bfc281455c996386d031235d
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Added validation router is attached to the external network."

Merge "Added keypair config for key file deletion."

Merge "Updated docs."

Added validation router is attached to the external network.

Verifying that the external network's ID is the same as the 'network_id'
value in router.external_gateway_info.

JIRA: SNAPS-145

Change-Id: I60795c69679f6e439e6e102115e228a65572db52
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Added keypair config for key file deletion.

Added KeypairSetting attribute named 'delete_on_clean' which is used
to override the keypair creator's logic for deleting its associated
public/private key files.

JIRA: SNAPS-105

Change-Id: I337db99daa6bf7d4b42e8729a92a4baef5c73140
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Updated docs.

JIRA: SNAPS-122

Change-Id: I499971ac47c5d6b15d7895f1a7abc3a3e8290b3b
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Fixed problems when setting the OpenStack project ID.

There were several calls to retrieve the project ID that required
named parameters which was causing the utility function to always
return None. Additionally, when creating the dict() required by the
Neutron create API 'body' parameter key 'project_id' is not supported
and still uses 'tenant_id'.

As these problems should have been found earlier, this patch also
extends the tests for networks, subnets, ports, and security groups
to use 'tenant_id' rather than 'project_id'.

JIRA: SNAPS-143

Change-Id: Ic69e56145ea6070718d821edd22a1d0f9970995d
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Default OSCreds cacert attribute to False."

Merge "Fixed potential problems with image creation exceptions."

Merge "Remove temporary directory created for tests."

Merge "Created new exceptions for security group settings"

Merge "Created new classes RouterSettingsError & RouterCreationError."

Merge "Created new class ProjectSettingsError."

Fixed potential problems with image creation exceptions.

With Glance client v2, it appears that rolling back on image
creation error was sending in an OpenStack image object into
the delete_image() function where it should have been expecting
a SNAPS-OO Image domain object.
Also added log messages to help expose other potential issues
if this patch does not address the root problem at hand.

JIRA: SNAPS-139

Change-Id: I52591ff1d055ddf4eacbbc49b3bc8718285edcfa
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Refactor glance_utils.py v1 image creation."

Added and improved flavor creation tests.

JIRA: SNAPS-142

Change-Id: I9c3cf5202a551f7b137648e95359f0adeb831101
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Refactor glance_utils.py v1 image creation.

Replace 4 blocks using named parameters with on call to
create() with kwargs.

JIRA: SNAPS-141

Change-Id: I1268877a8524bb25a7f605f583ace9602f5a9c1b
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Remove temporary directory created for tests.

JIRA: SNAPS-140

Change-Id: I9e15ca43f644cc86539bb09a32a59801eb689a29
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created new classes RouterSettingsError & RouterCreationError.

Raising RouterSettingsError in RouterSettings and RouterCreationError in
OpenStackRouter instead of Exception.

JIRA: SNAPS-136

Change-Id: I3ba4824ea80ccfc07b1f15959898936d51bca1de
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Default OSCreds cacert attribute to False.

The default of True causes more problems than False when
dealing with unsecure and secure (HTTPS) API calls.
This was issue was found while testing against the new OPNFV
CI test pod running Pike.

JIRA: SNAPS-80

Change-Id: I819b4f64fa637bb7ce53c58a7a1164600ff6a3b9
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created new exceptions for security group settings

Raising SecurityGroupSettingsError in SecurityGroupSettings
and SecurityGroupRuleSettingsError in SecurityGroupRuleSettings
instead of Exception.

JIRA: SNAPS-137

Change-Id: I959ffe9a247dc9adffbef460119ba94ad86fd3f0
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created new class ProjectSettingsError.

Raising ProjectSettingsError in ProjectSettings instead of Exception.

JIRA: SNAPS-135

Change-Id: I5169dd196775453466ea8d7fe9fa0c8d82b2382a
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Created new exception classes for networks."

Merge "Created new class KeypairSettingsError."

Merge "Changes required for running CI tests (Pike pod)."

Created new exception classes for networks.

Raising NetworkSettingsError in NetworkSettings, SubnetSettingsError in
SubnetSettings and PortSettingsError in PortSettings instead of Exception.

JIRA: SNAPS-134

Change-Id: I724d9e115e41767a9e3596d85db2a20ee8de5f73
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Changes required for running CI tests (Pike pod).

Added support for HTTPS proxies
HTTPS OSCreds settings for both RC file and os_env.yaml
OSCreds 'cacert' T/F and cert file path support
OSCreds API version support cleanup including the addition
of heat
Added more OSCreds test validations
Disabling of InsecureRequestWarning
PEP8 line width refactoring
heat_utils_test.py fix when stack status is error
test suite for CI
removed default flavor metadata of mem_page_size: Any to None

JIRA: SNAPS-80

Change-Id: I333e83ca79d7403bf43a9b74da4c072b4da976ba
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created new class KeypairSettingsError.

Raising KeypairSettingsError in KeypairSettings instead of Exception.

JIRA: SNAPS-133

Change-Id: Ie67f1da429f7d7a5e1c71c4f2f30bf9d11bbe209
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Created custom exceptions for VM instance creation."

Merge "Created new class FlavorSettingsError."

Fixed logger name.

Logger was named incorrectly causing confusion.

Change-Id: I2e2fdae3a96d57036ea7d0aea8e2c2943f09de70
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created custom exceptions for VM instance creation.

Created VmInstanceSettingsError for errors creating VmInstanceSettings
objects
Created FloatingIpSettingsError for errors creating FloatingIpSettings
objects
Created VmInstanceCreationError for errors creating VM instances

JIRA: SNAPS-132

Change-Id: I588ae34bf066c8440755a8bf4f3721b946533d99
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created new class FlavorSettingsError.

Raising FlavorSettingsError in FlavorSettings instead of Exception.

JIRA: SNAPS-131

Change-Id: I1cbd077f97bd9294e7bb87fc51c4125d0ef23f42
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Added proper assertion config NIC test."

Merge "Created new class AnsibleException."

Merge "Created new class NovaException."

Merge "Created new class NeutronException."

Created new class AnsibleException.

Raising AnsibleException in ansible_utils.py instead of Exception.

JIRA: SNAPS-130

Change-Id: I72d7ea3779c9644559ae7dc4dbb26edc4da20594
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Added proper assertion config NIC test.

The test that exercises the OpenStackVmInstance class config_nic()
now checks the Ansible return code.

JIRA: SNAPS-124

Change-Id: I7840cd53eea2eacf7952d14be30870c8fa3aeab8
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created new class NovaException.

Raising NovaException in nova_utils.py instead of Exception.

Change-Id: I9564e43352114df18bccc794a5cd57e20880085f
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Last task necessary to stop users from easily obtaining OS objects.

Changed external interfaces still exposing OpenStack created APIs to
either return SNAPS-OO domain objects or objects contained on the
OpenStack generated objects as to not leak implementation details that
would eventually break the library when new API versions are released.

JIRA: SNAPS-125

Change-Id: Iab6d6d298c4c5da68daed4b1b252313a1595a295
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Created new class KeystoneException"

Created new class KeystoneException

Raising KeystoneException in keystone_utils.py instead of Exception

JIRA: SNAPS-127

Change-Id: Ife37c9df79c5c85dfdb07e239268c05b7c9a91bd
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created new class GlanceException.

Raising GlanceException in glance_utils.py instead of Exception.

JIRA: SNAPS-126

Change-Id: I11b2d9a1ff439c1a4a52b4be30584fe8af877c73
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created new class NeutronException.

Raising NeutronException in neutron_utils.py instead of Exception.

JIRA: SNAPS-128

Change-Id: I567db38a5dfcaae9bbfc6c74558521b0e28d9d46
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created domain classes for networks and subnets.

Created Network and Subnet domain classes so neutron_utils.py functions
returning these types of objects will not be leaking out implementation
details as each API version can change these data structures which is now
being handled by the SNAPS neutron utility.

JIRA: SNAPS-113

Change-Id: Id95dd0f8c2618c20a1a73a428abb95686dfa8251
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Created domain class for routers."

Created domain class for routers.

Created Router domain class so neutron_utils.py functions returning
router objects will not be leaking out implementation details as each
API version can change these data structures and this should all be
handled by the SNAPS neutron utility.

JIRA: SNAPS-115 & SNAPS-14

Change-Id: Ib6d36a735d835a6ed4ede489b14e33a261458fed
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created domain class for roles.

Create Role domain class so keystone_utils.py functions returning
role objects will not be leaking out implementation details as each
API version can change these data structures and this should all be
handled by the SNAPS neutron utility.

JIRA: SNAPS-119

Change-Id: I6918a45c1c414ee6b104ec36e63c540d6f656e30
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created domain class for ports.

Create Port domain class so neutron_utils.py functions returning
port objects will not be leaking out implementation details as each
API version can change these data structures and this should all be
handled by the SNAPS neutron utility.

JIRA: SNAPS-118

Change-Id: If031a094a9da284e2838691c3b3490359f710c61
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Crteated domain class for projects.

Created Project domain class so keystone_utils.py functions returning
project objects will not be leaking out implementation details as each
API version can change these data structures and this should all be
handled by the SNAPS keystone utility.

JIRA: SNAPS-114

Change-Id: Id7bce929604278c8228622161eba1838ecd5e067
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Fix the unittest of get_endpoint

The endpoints according to interface may be same or different
on different deployment, which depends on the configuration
during the deployment.

Change-Id: Id2127a3c3fe0eca4b10a98c548d10391912f9610
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Created domain classes for security groups."

Merge "Added ability to add a user to a role."

Demo script to show how to use the library.

Change-Id: Ibe491b6e0f64aa751baf4006d6e3df1e571961d8
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created domain classes for security groups.

Created SecurityGroup and SecurityGroupRule classes so the neutron_utils
for security groups will be returning objects of these types instead of
the OpenStack objects returned by the API calls.

JIRA: SNAPS-116

Change-Id: I76ed1f85f7d54b984fc6f6ac28cee7680a1109e5
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Added ability to add a user to a role.

This functionality was requested as the SNAPS-OO integration tests
currently have the ability to run these tests in custom projects with
custom users and certain OpenStack installations are not allowing
some of the integration tests functions unless the new user has been
added to the 'admin' role.

Change-Id: I255cfa089a14bbcb434a6cd33b2a1dfae66206b5
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Allow ssh when testing via ansible"

Allow ssh when testing via ansible

Change-Id: I5a518242fec9c3434040bbfa0d725e16068cff25
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fixed stack create status check on error.

Was checking for the status string of "ERROR" when "CREATE_FAILED"
should have been used. This bug caused the heat stack test to hang
instead of raising an exception.

Change-Id: I91e04d58bed083fd8b93ec908c766c0ddc4828de
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Changed validation logic to check for DHCP lease before SSH connection."

Changed validation logic to check for DHCP lease before SSH connection.

Change-Id: Ifa5c481963d0a9607107465915eb7ab12501e21d
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Fix get_endpoint

One specific service type has the same endpoint url if interface is admin
or internal, while it is different from that with public interface, except
the admin and internal endpoint url for service identity has same ip but
different ports.

Change-Id: I19c260222286d8b4aa3f0d3b7d273e192b13a96b
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Created domain object for users.

OpenStack implementation details were leaking out into the
user creator.

JIRA: SNAPS-117

Change-Id: I67c77c75055b37819512d1e7712925b839fbc047
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created domain object for keypairs.

OpenStack implementation details were leaking out into the
keypair creator.

JIRA: SNAPS-112

Change-Id: Idd22ca9f8ebec7b21c337ca003e01169efec34cb
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Created domain object for flavors."

Completed tests for creating networks of different types.

Change-Id: I33601da3f51d7acc60bd646e1d783a07afd8ea45
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Created domain object for flavors.

OpenStack implementation details were leaking out into the
flavor creator.

JIRA: SNAPS-111

Change-Id: I59a77d02e30065a7f4560e74295b2084a83686df
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Added support for using '~' for SSH key location.

While testing changes, fixed problems found with querying for
floating IPs which also required adding network data to the
VMInst domain object.

JIRA: SNAPS-85

Change-Id: I0ecf3a6885ce84fe14c4a6db09269c56dc0ad9fc
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Making test user password dynamic for testing against secure pods.

Change-Id: I7c281062fc89a2ff4721e6bee9e90042c59273c5
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Refactor OSCreds to leverage kwargs instead of named parameters."

Refactor OSCreds to leverage kwargs instead of named parameters.

JIRA: SNAPS-109

Change-Id: I423ede964cce9fc3b4e5b27f1e8f0dd7603d9ff1
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Add a warning of keypair creation"

Add a warning of keypair creation

Put a warning if the public key already exist in OpenStack
but the private key file is not found

Change-Id: Ie2dc5b9f6a6abb0831e1826130d5c283cf3f34ec
Signed-off-by: boucherv <valentin.boucher@orange.com>

Sync requirements.txt with OpenStack (novaclient)

It completes "Use neutron to create floating IPs" [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/36389/

Change-Id: I11c591d86509fa41b4b0c4a7a758ff0ceed321c2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fixed tests to delete security groups.

Change-Id: I140618a310bae050bea29df665b98881c6052980
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Changed credentials for deploying heat templates."

Changed credentials for deploying heat templates.

The old credentials had been working on other pods but are not working
with our latest deployed by Kolla. This change does not affect any of
the functionality included in the tests. It simply takes the administrative
user credentials and changes the project to the newly created one.

Change-Id: I76c605797b68f902f2ee5c679bd5b8a50c48a501
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Fixed test to not download images when configured with a disk file path."

FIX mistake in import keypair

Change-Id: I3d0a3111efcb4200c9b867663a45c07a3b47c09d
Signed-off-by: boucherv <valentin.boucher@orange.com>