Ограничение S3 для объектов в ведре

Ответ 1

Согласно Amazon:

Запись, чтение и удаление объектов, содержащих от 1 байт до 5 терабайт данных. Количество объектов, которые вы можете сохранить, не ограничено.

Источник: http://aws.amazon.com/s3/details/ от 3 сентября 2015 г.

Ответ 2

Похоже, лимит изменился. Вы можете хранить 5 ТБ для одного объекта.

Общий объем данных и количество объектов, которые вы можете хранить, не ограничены. Размер отдельных объектов Amazon S3 может составлять от 0 до 5 терабайт. Самый большой объект, который может быть загружен в одном PUT, составляет 5 гигабайт. Для объектов размером более 100 мегабайт клиенты должны рассмотреть возможность использования многочастной загрузки.

http://aws.amazon.com/s3/faqs/#How_much_data_can_I_store

Ответ 3

• Нет ограничений на объекты на ведро.
• Для каждой учетной записи существует ограничение в 100 копеек (вам нужно запросить амазонку, если вам нужно больше).
• Не происходит снижения производительности, даже если вы храните миллионы объектов в одиночный ковш.

В документах

Нет ограничений на количество объектов, которые могут быть сохранены в ведро и отсутствие разницы в производительности, используете ли вы много ковшей или всего лишь несколько. Вы можете хранить все свои объекты в одном ведре, или вы можете организовать их через несколько ковшей.

по состоянию на август 2016 года

Ответ 4

В то время как вы можете хранить неограниченное количество файлов/объектов в одном ведре, когда вы переходите на список "каталог" в ведро, он по умолчанию предоставит вам первые 1000 файлов/объектов в этом ведре. Чтобы получить доступ ко всем файлам в большой "директории", подобной этой, вам нужно сделать несколько вызовов в их API.

Ответ 5

"Вы можете хранить столько объектов, сколько хотите в ведре, и писать, читать и удалять объекты в вашем ковше. Объекты могут быть до 5 терабайт в размере."

из http://aws.amazon.com/s3/details/ (по состоянию на 4 марта 2015 года)

Ответ 6

Нет ограничений на количество объектов, которые вы можете хранить в своем S3 ведре. AWS утверждает, что он имеет неограниченное хранилище. Тем не менее, есть некоторые ограничения -

1. По умолчанию клиенты могут выделить до 100 сегментов для каждой учетной записи AWS. Однако вы можете увеличить лимит корзины Amazon S3, посетив Сервисные лимиты AWS.
2. Объект может быть от 0 байтов до 5 ТБ.
3. Самый большой объект, который может быть загружен в одном PUT, составляет 5 гигабайт
4. Для объектов размером более 100 мегабайт клиенты должны рассмотреть возможность использования многочастной загрузки.

Тем не менее, если у вас действительно есть много объектов, которые нужно сохранить в корзине S3, рассмотрите возможность рандомизации префикса имени объекта для повышения производительности.

Когда ваша рабочая нагрузка представляет собой сочетание типов запросов, добавьте некоторую случайность именам ключей, добавив строку хеша в качестве префикса к имени ключа. Благодаря введению случайности в имена ключей нагрузка ввода-вывода будет распределена по нескольким индексным разделам. Например, вы можете вычислить хеш MD5 последовательности символов, которую вы планируете назначить в качестве ключа, и добавить 3 или 4 символа из хеша в качестве префикса к имени ключа.

Более подробная информация - https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

- по состоянию на июнь 2018 года

Ответ 7

@Acyra - производительность доставки объектов из одного ведра будет в значительной степени зависеть от имен объектов в нем.

Если имена файлов были удалены случайными символами, их физические местоположения будут распространяться дальше на аппаратное обеспечение AWS, но если вы назовете все "common-x.jpg", "common-y.jpg", тогда эти объекты будут хранятся вместе.

Это может замедлить доставку файлов, если вы запрашиваете их одновременно, но не достаточно, чтобы беспокоиться о вас, тем больше риск от потери данных или сбоя, поскольку эти объекты хранятся вместе, они будут потеряны или недоступны вместе.