Когда файл Parquet data
написан с разделением в столбце date
, мы получаем структуру каталогов, такую как:
/data
_common_metadata
_metadata
_SUCCESS
/date=1
part-r-xxx.gzip
part-r-xxx.gzip
/date=2
part-r-xxx.gzip
part-r-xxx.gzip
Если раздел date=2
удален без участия утилит Parquet (через оболочку или файл-браузер и т.д.), любой из файлов метаданных нужно отбросить назад, когда был только раздел date=1
?
Или это нормально удалять разделы по своему желанию и переписывать их (или нет) позже?