Подтвердить что ты не робот

Самый быстрый способ получить размер ведра Google Storage?

В настоящее время я делаю это, но он очень медленный, так как у меня есть несколько терабайт данных в ведре:

gsutil du -sh gs://my-bucket-1/

И то же самое для подпапки:

gsutil du -sh gs://my-bucket-1/folder

Возможно ли каким-либо образом получить общий размер полного ведра (или подпапки) в другом месте или другим способом, который намного быстрее?

4b9b3361

Ответ 1

К сожалению, нет. Если вам нужно знать, какой размер ведро сейчас, то нет более быстрого способа, чем то, что вы делаете.

Если вам нужно регулярно проверять это, вы можете включить ведение журнала ведра. Google Cloud Storage будет генерировать ежедневный журнал хранения, который вы можете использовать для проверки размера ведра. Если бы это было полезно, вы можете прочитать об этом здесь: https://cloud.google.com/storage/docs/accesslogs#delivery

Ответ 2

Если ежедневный журнал хранения, который вы получаете от включения ведомости ведро (по запросу Брэндона), не будет работать для вас, одно можно сделать, чтобы ускорить процесс, - это очертить запрос du. Например, вы можете сделать что-то вроде:

gsutil du -s gs://my-bucket-1/a* > a.size &
gsutil du -s gs://my-bucket-1/b* > b.size &
...
gsutil du -s gs://my-bucket-1/z* > z.size &
wait
awk '{sum+=$1} END {print sum}' *.size

(при условии, что ваши подпапки названы, начиная с букв английского алфавита, а если нет, вам нужно будет настроить, как вы выполняли указанные выше команды).

Ответ 3

Я обнаружил, что при использовании CLI он часто истекает. Но это будет так, как я рассматривал холодное хранилище.

Для решения с графическим интерфейсом. Посмотрите на Cloudberry Explorer

GUI вид хранилища

Ответ 4

Видимость хранилища Google здесь довольно хреновая

Самый быстрый способ - это получить метрики стекового драйвера и посмотреть на общий размер в байтах: enter image description here

К сожалению, в стекдрайвере практически невозможно выполнить фильтрацию. Вы не можете использовать подстановочный знак для имени сегмента, и почти бесполезные метки ресурсов сегмента НЕ могут агрегироваться в показателях драйвера стека

Также это уровень корзины only-, а не префиксы