Локальная конечная точка для DynamoDB Local с Boto3

Хотя Amazon предоставляет документацию о том, как подключиться к dynamoDB local с Java, PHP и .Net, нет описания того, как подключиться к localhost: 8000 с использованием Python. Существующая документация в Интернете указывает на использование метода DynamoDBConnection внутри boto.dynamodb2.layer1, но это создает несовместимость между живыми и тестовыми средами, которые используйте протокол boto3 для управления dynamoDB.

В boto3 вы можете сделать запрос к dynamo, используя следующий конструктор и переменные, установленные в среде:

client = boto3.client('dynamodb')
table = client.list_tables()

В то время как пакет boto.dynamodb2.layer1 требует, чтобы вы построили следующее:

client = DynamoDBConnection(
    host='localhost',
    port=8000,
    aws_access_key_id='anything',
    aws_secret_access_key='anything',
    is_secure=False)
table = client.list_tables()

Хотя можно создать логику, которая определяет правильный конструктор на основе локальной среды, я опасаюсь создания набора методов, которые рассматривают каждый конструктор как один и тот же. Вместо этого я бы предпочел использовать boto3 для всего и уметь устанавливать конечную точку для dynamoDB в переменных окружения. К сожалению, этот параметр в настоящее время не доступен.

Можно ли использовать boto3 для определения локальной конечной точки dynamoDB (например, других языков)? Или любой шанс, что Amazon планирует поддержать эту функцию?

Ответ 1

Он поддерживает DynamoDB Local. Вам просто нужно установить соответствующую конечную точку, например, вы можете сделать с другими языковыми SDK

Вот фрагмент кода о том, как вы можете использовать клиентский и ресурсный интерфейс boto3 через DynamoDB Local:

import boto3

# For a Boto3 client.
ddb = boto3.client('dynamodb', endpoint_url='http://localhost:8000')
response = ddb.list_tables()
print(response)

# For a Boto3 service resource
ddb = boto3.resource('dynamodb', endpoint_url='http://localhost:8000')
print(list(ddb.tables.all()))

Ответ 2

Примечание. Вы хотите расширить вышеупомянутый ответ, чтобы включить регион. Я добавил к Кайлу код выше. Если ваша первоначальная попытка встречается с ошибкой региона, это вернет соответствующий ответ "[]".

import boto3

## For a Boto3 client ('client' is for low-level access to Dynamo service API)
ddb1 = boto3.client('dynamodb', endpoint_url='http://localhost:8000', region_name='us-west-2')
response = ddb1.list_tables()
print(response)

# For a Boto3 service resource ('resource' is for higher-level, abstracted access to Dynamo)
ddb2 = boto3.resource('dynamodb', endpoint_url='http://localhost:8000', region_name='us-west-2')
print(list(ddb2.tables.all()))

Ответ 3

Это учебник Python DynamoDb. Он показывает, как подключиться к локальному экземпляру.

http://docs.aws.amazon.com/amazondynamodb/latest/gettingstartedguide/GettingStarted.Python.01.html

Кажется, что минимальные обязательные параметры следующие с помощью конфигурации aws (ниже).

dynamodb = boto3.resource('dynamodb', endpoint_url='http://localhost:8000/')

Параметры региона, ключа доступа и секретного ключа можно не указывать при настройке параметров профиля с помощью команды aws configure (требуется установить aws cli). Однако вы можете создавать файлы конфигурации aws вручную у себя дома (на случай, если вы не хотите использовать aws cli).

файл ~/.aws/config

[default]
output = json
region = anywhere

файл ~/.aws/credentials

[default]
aws_access_key_id = whatever_id
aws_secret_access_key = whatever_key

Вы можете обратиться к конфигурации aws в http://docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-started.html

Обратите внимание, что в локальной region aws_access_key_id aws_secret_access_key значения aws_access_key_id и aws_secret_access_key в этих файлах могут быть aws_secret_access_key. Но если вы хотите использовать aws cli с AWS, вы должны указать действительный регион, действительный идентификатор и ключи. Они доступны, когда вы регистрируетесь в сервисах AWS.

Больше информации, когда вы звоните

db = boto3.client('dynamodb')

Хост, к которому подключается boto3, будет опираться на параметр region например, region=us-west-1 при вызове выше API, он будет подключаться к dynamodb.us-west-1.amazonaws.com. Однако при передаче параметра endpoint_url region не будет использоваться. Дополнительную информацию о списке конечных точек AWS можно получить по адресу http://docs.aws.amazon.com/general/latest/gr/rande.html.

Ответ 4

используйте фиктивный ключ доступа и id, иначе он будет генерировать исключение при запуске методов.

import boto3

dynamodb = boto3.session('dynamodb',
                          aws_access_key_id="anything",
                          aws_secret_access_key="anything",
                          region_name="us-west-2",
                          endpoint_url="http://localhost:8000")

Ответ 5

Вот boto3 конфигурацию boto3 (API):

https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

    def resource(self, service_name, region_name=None, api_version=None,
                 use_ssl=True, verify=None, endpoint_url=None,
                 aws_access_key_id=None, aws_secret_access_key=None,
                 aws_session_token=None, config=None):
        """
        Create a resource service client by name.

        :type service_name: string
        :param service_name: The name of a service, e.g. 's3' or 'ec2'. You
            can get a list of available services via
            :py:meth:'get_available_resources'.

        :type region_name: string
        :param region_name: The name of the region associated with the client.
            A client is associated with a single region.

        :type api_version: string
        :param api_version: The API version to use.  By default, botocore will
            use the latest API version when creating a client.  You only need
            to specify this parameter if you want to use a previous API version
            of the client.

        :type use_ssl: boolean
        :param use_ssl: Whether or not to use SSL.  By default, SSL is used.
            Note that not all services support non-ssl connections.

        :type verify: boolean/string
        :param verify: Whether or not to verify SSL certificates.  By default
            SSL certificates are verified.  You can provide the following
            values:

            * False - do not validate SSL certificates.  SSL will still be
              used (unless use_ssl is False), but SSL certificates
              will not be verified.
            * path/to/cert/bundle.pem - A filename of the CA cert bundle to
              uses.  You can specify this argument if you want to use a
              different CA cert bundle than the one used by botocore.

        :type endpoint_url: string
        :param endpoint_url: The complete URL to use for the constructed
            client. Normally, botocore will automatically construct the
            appropriate URL to use when communicating with a service.  You
            can specify a complete URL (including the "http/https" scheme)
            to override this behavior.  If this value is provided,
            then ''use_ssl'' is ignored.

        :type aws_access_key_id: string
        :param aws_access_key_id: The access key to use when creating
            the client.  This is entirely optional, and if not provided,
            the credentials configured for the session will automatically
            be used.  You only need to provide this argument if you want
            to override the credentials used for this specific client.

        :type aws_secret_access_key: string
        :param aws_secret_access_key: The secret key to use when creating
            the client.  Same semantics as aws_access_key_id above.

        :type aws_session_token: string
        :param aws_session_token: The session token to use when creating
            the client.  Same semantics as aws_access_key_id above.

        :type config: botocore.client.Config
        :param config: Advanced client configuration options. If region_name
            is specified in the client config, its value will take precedence
            over environment variables and configuration values, but not over
            a region_name value passed explicitly to the method.  If
            user_agent_extra is specified in the client config, it overrides
            the default user_agent_extra provided by the resource API. See
            'botocore config documentation
            <https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html>'_
            for more details.

        :return: Subclass of :py:class:'~boto3.resources.base.ServiceResource'
        """