Прямой Java/Groovy против инструмента ETL (Talend/etc) - какие библиотеки вы бы использовали?

Предположим, у вас есть небольшой проект, который на поверхности выглядит неплохо для инструмента ETL, такого как Talend.

Но предположим, что вы никогда не использовали Talend, и, кроме того, вы не доверяете инструментам "визуального программирования" вообще и скорее всего станете ко всем старомодным способом (текст на хорошей IDE!) с помощью соответствующего языков и библиотек поддержки.

Каковы некоторые языковые шаблоны и библиотеки поддержки, которые могут помочь вам избегать соблазна/ловушки инструмента ETL?

Ответ 1

Это зависит от того, является ли поставляемый процессор или сам вывод. Если вам просто нужно предоставить результат, вам не нужно поддерживать код. Если код должен быть сохранен, то вы будете его поддерживать или кого-то еще?

Если кому-то еще нужно поддерживать, я бы использовал Java или дал им Talend.

Если он выбрасывает код, я буду использовать то, что будет проще или интересно программировать.

Если вам нужно сохранить его, и обработка будет сложной, я бы использовал Scala. Он имеет:

несколько библиотек для взаимодействия с базами данных
xml литералы Компиляторы парсера
интересные функции в своих пакетах коллекции (map, filter, groupBy, partition,...)
и, конечно, любые другие существующие библиотеки Java.

Ответ 2

Раньше я думал, что "визуальное программирование" - это что-то для людей, которые не могут программировать. Затем я познакомился с Talend в проекте, и я понял, что этот тип инструмента подходит именно для этой работы, когда речь идет о переносе данных с A на B и преобразовании их в процесс. Это компонентно-ориентированный дизайн программного обеспечения, более академичный ярлык.

Я все еще считаю себя достойным программистом, который может что-то сделать, а затем и некоторыми, с текстовым редактором и приглашением оболочки. Но я тоже стал поклонником Talend.

Полное раскрытие: теперь я работаю в компании: -)

Ответ 3

Отъезд DataExpress. Это Scala, основанный на кросс-базе данных инструментарий ETL.

Ответ 4

Я думаю, что это очень хорошо подходит для фреймворков Rails, таких как Grails на Groovy или Lift on Scala.

Ответ 5

В зависимости от размера схемы БД вы можете отобразить все реальные быстро в Hibernate и просто использовать полученную модель объекта для выполнения вашей работы (в зависимости от того, что вы хотите использовать инструмент ETL в любом случае)