Есть ли способ сделать это? например, передать имя файла для обработки и т.д.?
Hadoop Pig: передача аргументов командной строки
Ответ 1
Это появилось в другом вопросе, но вы можете указать входной параметр в командной строке и использовать его при загрузке, например:
Командная строка:
pig -f script.pig -param input = somefile.txt
script.pig:
raw = LOAD '$ input' AS (...);
Обратите внимание, что если вы используете уменьшенную карту Amazon Web Services Elastic Map, то "$ input" - это то, что передается в script для любого вводимого вами ввода.
Ответ 2
Вы можете использовать...
1. Если есть несколько параметров, используйте -param (-p)
2. если есть много параметров, используйте -param_file (-m)
Вы можете использовать любой подход в зависимости от характера значения аргументов командной строки, я использую -param, когда я разрабатываю и тестирую свои сценарии. Как только pig script готов к пакетной обработке или запуску через crontab, я использую -param_file, так что, если какое-либо изменение требуется, я могу легко обновить файл params.init.
человеческая свинья покажет вам все доступные варианты.
-m, -param_file path to the parameter file
-p, -param key value pair of the form param=val
Вот пример кода...
students.txt(входные данные)
001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai
params.init(файл для хранения всех параметров)
fileName='hdfs://horton/user/jgosalia/students.txt'
cityName='Chennai'
filter.pig
students = LOAD '$fileName' USING PigStorage(',') AS (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray);
students = FILTER students BY city == '$cityName';
DUMP students;
OPT 1: Использование параметров в командной строке (-param или -p) и Output
pig -param fileName='hdfs://horton/user/jgosalia/students.txt' -param cityName='Chennai' filter.pig
... Trimming the logs ...
(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)
OPT 2: Использование файла params в командной строке (-param_file или -m) и Output
pig -param_file params.init filter.pig
... Trimming the logs ...
(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)
ПРИМЕЧАНИЕ. Используйте абсолютный путь для путей к файлам (как в качестве параметров, так и при предоставлении пути файла param к -param_file (-m)).
Ответ 3
Проще передать параметры в PIG script.
Сначала отметьте переменные в свинге, используя '$', например $input_file. Затем передайте вам параметры script с помощью pig -params input_file = '/path/to/data'
для получения дополнительной информации смотрите здесь: http://wiki.apache.org/pig/ParameterSubstitution
Ответ 4
Да.
Вы можете передавать параметры по параметрам командной строки с помощью опции pig param
.
--customparam.pig
--load hdfs/local fs data
original = load '$input' using PigStorage('$delimiter');
--filter a specific field value into another bag
filtered = foreach original generate $split;
--storing data into hdfs/local fs
store filtered into '$output';
pig -x local -f customparam.pig -param input = Pig.csv -param output = OUT/pig -param delimiter = "," -param split = '$ 1'
Для получения дополнительной информации: проверьте это