Может ли ледник Амазонки зеркально отразить ведро Amazon S3?

Я бы хотел отразить ведро S3 с ледником Амазонки.

Amazon S3 теперь предоставляет новую опцию хранения, которая позволяет вам использовать ледники Амазонки чрезвычайно недорогое хранилище данных для данных архивирование. Вы можете определить правила жизненного цикла S3 для автоматического архивирования наборы объектов Amazon S3 для ледника Амазонки для уменьшения вашего хранения расходы. Вы можете узнать больше, посетив Управление жизненным циклом объекта в Руководстве разработчика Amazon S3.

Это близко, но я хотел бы отразить. Я не хочу удалять контент на S3, только скопируйте его в Glacier.

Можно ли автоматически настроить AWS?

Или это зеркалирование необходимо загрузить на ледник вручную?

Ответ 1

Теперь можно получить зеркало "S3 to Glacier", сначала создав ведро репликации кросс-области на Amazon S3 (это ведро репликации будет зеркалом вашего исходного ковша - см. http://docs.aws.amazon.com/AmazonS3/latest/dev/crr.html), а затем настройте правило жизненного цикла (чтобы перенести данные в ледник) из ведра репликации.

Ответ 2

Amazon не предлагает эту функцию через свой API. У нас была та же проблема, и мы решили проблему, выполнив ежедневное задание cron, которое повторно загружает файлы в Glacier.

Вот фрагмент кода, который вы можете запустить с помощью Python и boto, чтобы скопировать файл в хранилище Glacier. Обратите внимание, что с приведенным ниже кодом вам нужно загрузить файл локально с S3, прежде чем вы сможете его запустить (например, вы можете использовать s3cmd) - следующий код полезен для загрузки локального файла в Glacier.

import boto

# Set up your AWS key and secret, and vault name
aws_key = "AKIA1234"
aws_secret = "ABC123"
glacierVault = "someName"

# Assumption is that this file has been downloaded from S3
fileName = "localfile.tgz"

try: 
  # Connect to boto
  l = boto.glacier.layer2.Layer2(aws_access_key_id=aws_key, aws_secret_access_key=aws_secret)

  # Get your Glacier vault
  v = l.get_vault(glacierVault)

  # Upload file using concurrent upload (so large files are OK)
  archiveID = v.concurrent_create_archive_from_file(fileName)

  # Append this archiveID to a local file, that way you remember what file
  # in Glacier corresponds to a local file. Glacier has no concept of files.
  open("glacier.txt", "a").write(fileName + " " + archiveID + "\n")
except:
  print "Could not upload gzipped file to Glacier"

Ответ 3

Это делается с помощью политики жизненного цикла, но объект больше не доступен на S3. Вы можете дублировать его в отдельное ведро, чтобы сохранить его.

Ответ 4

У меня была такая же проблема, но я не мог позволить себе выдержать длительный латентный период для восстановления с ледника, который обычно составляет 3-5 часов.

В моем случае я создал коммерческий продукт, который может синхронизировать и создавать снимки моих ковшей среди других вещей.

Он также может использовать хранилище S3 Reduced Storage, чтобы лучше ориентироваться в преимуществах экономии от ледника.

Вы можете попробовать полнофункциональную 2-недельную пробную версию абсолютно бесплатно на bucketbacker.com

Ответ 5

Если вы впервые включили управление версиями в своем ведомости S3, тогда правила жизненного цикла могут быть применены к предыдущим версиям. Это приведет к очень близкому результату, за исключением того, что не будет резервной копии текущей версии.