У меня есть файл данных, который находится в формате .txt
. Я использую файл для загрузки данных в таблицы Hive. Когда я загружаю файл в таблицу, например
CREATE TABLE test_details_txt(
visit_id INT,
store_id SMALLINT) STORED AS TEXTFILE;
данные загружаются правильно, используя
LOAD DATA LOCAL INPATH '/home/user/test_details.txt' INTO TABLE test_details_txt;
и я могу запустить SELECT * FROM test_details_txt;
в таблице в Hive.
Однако, если я попытаюсь загрузить данные в таблицу
CREATE TABLE test_details_txt(
visit_id INT,
store_id SMALLINT) STORED AS ORC;
Я получаю следующую ошибку при попытке выполнить SELECT:
Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file hdfs://master:6000/user/hive/warehouse/test.db/transaction_details/test_details.txt. Invalid postscript.
При загрузке данных с использованием вышеуказанного оператора LOAD я не получаю никаких ошибок или исключений.
Есть ли что-то еще, что нужно сделать, используя команду LOAD DATA IN PATH..
для хранения данных в таблице ORC?