У меня есть ведро на S3, в котором у меня много текстовых файлов.
Я хочу найти текст в текстовом файле. Он содержит только сырые данные. И каждый текстовый файл имеет другое имя.
В этом примере у меня есть имя ведра:
ABC/моя_папка/abac.txt
хухи /myfolder 1/axc.txt
& Я хочу, чтобы в текстовых файлах был найден текст типа "Я человек".
Как достичь этого? Возможно ли это?
Единственный способ сделать это будет через CloudSearch, который может использовать S3 в качестве источника. Он использует быстрый поиск для создания индекса. Это должно работать очень хорошо, но тщательно проверьте модель ценообразования, чтобы убедиться, что это не будет слишком дорогостоящим для вас.
Альтернатива - как сказал Джек - вам в противном случае нужно было бы перенести файлы из S3 в EC2 и создать там приложение для поиска.
Так как 1 октября 2015 г. Amazon предлагает другую поисковую службу с Elastic Search, более или менее такую же, как и облачный поиск, вы можете потоковые данные из ковшей Amazon S3.
Он будет работать с лямбда-функцией, чтобы убедиться, что любые новые данные, отправленные в ведро S3, запускают уведомление о событии на эту Лямбду и обновляют индекс ES.
Все шаги подробно описаны в amazon doc с примером Java и Javascript.
На высоком уровне настройка для передачи данных в Amazon ES требует следующих шагов:
Вы можете использовать Filestash (Disclaimer: я автор), установить свой собственный экземпляр и подключиться к своей корзине S3. В конце концов, уделите немного времени на индексацию всего, если у вас много данных и у вас все получится