Я работаю над проектом, который генерирует порядка 10 - 100 миллионов результатов от моделирования, которое я хотел бы хранить для будущих анализов. Для данных, например, существует несколько уровней организации. В классных комнатах участвуют студенты, которые проводят тесты, которые имеют несколько различных показателей производительности.
Похоже, что мои данные - это граничная линия с точки зрения возможности поместиться в память сразу (учитывая, что для расчета расчета требуется достаточное количество данных в памяти), но у меня нет любая непосредственная потребность в том, чтобы все данные были доступны моей программе сразу.
Я рассматриваю вопрос о том, было бы лучше выводить вычисленные значения в базу данных SQL или в текстовый файл. Я ищу советы о том, какой подход может быть быстрее/проще в обслуживании (или если у вас есть альтернативное предложение для хранения данных, для которых я открыт).
Мне не нужно иметь возможность делиться данными с кем-либо еще или беспокоиться о доступе к данным за годы. Мне просто нужен удобный способ избежать регенерации симуляций каждый раз, когда я хочу выполнить настройку значений.
