Подтвердить что ты не робот

Повышение скорости передачи данных на Amazon EC2

У меня есть 1-Gig EBS Volume, установленный на экземпляр EC2, Я копирую 600 Мбайт двоичных данных с локального жесткого диска (через RDS-соединение) и окна процесса копирования показывают 10 часов, оставшихся. Хотя у меня есть высокоскоростное соединение (100 + Мбит/с)

Независимо от объема данных скорость передачи данных составляет 1 мин/МБ (т.е. 16 Кбит/сек)
Я колеблюсь между чтением Moby Dick перед моей рабочей станцией или просто с выходным.

Есть ли разумные варианты ускорения этой скорости передачи?
(в идеале 512 Кбит/с как минимум)

Я очень открыт для ЛЮБОГО решения, чтобы сократить время загрузки/загрузки в/из и экземпляр EC2.

Спасибо заранее.

РЕДАКТИРОВАТЬ:
Я просто наткнулся на [Amazon Export/Import Service] [1] "AWS Import/Export ускоряет передачу больших объемов данных между облаком AWS и переносными устройствами хранения, которые вы отправляете нам по почте". По "почте нам" они буквально означают, что вы "материально" отправляете свое устройство хранения на Amazon.
Не говори, что это Стонедж, это БРЕНД, новая ТЕХНОЛОГИЯ, Чувак!: -)

EDIT2:
Это звучало отлично: [Aspera для AWs] [2] Но, к сожалению, это слишком дорого;
Специально для Fortune 500 с большими потребностями и большими деньгами.

4b9b3361

ОТВЕТЫ

Ответ 1

Иногда, если вы хотите что-то сделать, лучше сделать это сами:-)

Я не нашел ничего полезного в сети, поэтому провел вечер, проведя довольно Complete Bench Test. Я проверил несколько альтернатив/сценариев, и вот результаты:

FTP-сервер, установленный на EC2, был файловым сервером (правильная конфигурация - трогательная)
FTP-клиент, используемый для этого теста Bench, был WinSPC (Filezilla Client не работал. См. этот другой пост
Легенда: [HC] означает Home Connection (100MBps)

Загрузка полосы пропускания
Загрузка RDS: 15 Кбит/с = > Хуже когда-либо Загрузка FTP [FTP-сервер, установленный на EC2]: 100 Kb/S
Загрузить на S3 из консоли управления AWS от HC: 60 Kb/S
Загрузите на S3 с помощью интерфейса консоли AWS от EC2: 145 Кб /S
Загрузите в S3 с помощью S3 Browser от HC: 120 Kb/S
Загрузите в S3 с помощью S3 Browser от EC2: 2000 Kb/S

Загрузка полосы пропускания
Загрузка и выгрузка RDS: 15 Кбит/с = > Хуже когда-либо FTP Загрузить [FTP-сервер, установленный на EC2]: 360 Kb/S
Загрузить с S3 AWS Консольный интерфейс от EC2: 350 Kb/S
Загрузить с S3 с помощью S3 Browser: от HC: от 380 до 620 Kb/S
Загрузите с S3 с помощью S3 Browser: от EC2: 3000 Kb/S

Выводы:

Итак, на данный момент Amazon S3 в сочетании с браузером S3 дают наилучшие результаты. (S3 Browser - это всего лишь слой поверх S3. Я не понимаю, почему скорость загрузки лучше)

Однако следует иметь в виду, что FTP-сервер в экземпляре EC2 имеет большое преимущество в сопоставлении с локальным каталогом EC2 в EC2. В отличие от S3, задействована только одна передача. Действительно, S3 требует 2 передачи: формировать локальный ресурс до S3/и от S3 до EC2, а наоборот, в то время как FTP Access обеспечивает непосредственность, сокращая циклы передачи. Кроме того, это избавляет от стоимости ковшей S3. Также интересно отметить, что полоса пропускания EC2 действительно сильна. Поэтому гораздо интереснее - не говоря уже о том, чтобы использовать протоколы, которые действительно используют его, например, S3 или FTP, а не RDS.

Я надеюсь, что это будет полезно для других людей, сталкивающихся с одной и той же проблемой, и избавит их драгоценное время.

Ответ 2

Используйте Aspera или UDP для цунами и переместите 600 МБ в ваш Amazon EC2 infra (скачок). Затем внутренне скопируйте из jumpbox в windows ec2. В моем тесте показано, что цунами UDP довольно быстро по сравнению с традиционными режимами.