Я хотел бы иметь возможность делать запрос быстрого диапазона в таблице Parquet. Количество возвращаемых данных очень мало по сравнению с общим размером, но поскольку полное сканирование столбцов должно выполняться, оно слишком медленно для моего использования.
Использование индекса решит эту проблему, и я прочитал, что это должно было быть добавлено в Parquet 2.0. Однако я не могу найти никакой другой информации об этом, поэтому я предполагаю, что это не так. Я не думаю, что были бы какие-то фундаментальные препятствия, препятствующие добавлению (многоколоночных) индексов, если бы данные были отсортированы, что в моем случае это.
Мой вопрос: когда будут добавлены индексы к Паркету и каков будет проект высокого уровня для этого? Я думаю, что я уже был бы доволен указателем, который указывает правильный раздел.
С уважением,
Сьерд.