Способ обработки больших файлов данных в Wolfram Mathematica

Интересно, существует ли способ работать с большими файлами в Mathematica? В настоящее время у меня есть файл около 500 Мб с данными таблицы.

Import["data.txt","Table"];

Что такое альтернативный способ?

Ответ 1

Используйте OpenRead["file"], который дает вам объект InputStream, на котором вы можете использовать Read[stream]. В зависимости от форматирования файла данных вам может потребоваться установить специальные значения параметров в Read[] для RecordSeparators.

Пример:

In[1]:= str = OpenRead["ExampleData/USConstitution.txt"]    
Out[1]= InputStream["ExampleData/USConstitution.txt", 24]   

In[2]:= Read[str, Word]    
Out[2]= "We"    
In[3]:= Read[str, Word]
Out[3]= "the"    
In[4]:= Read[str, Record]
Out[4]= "People of the United States, in Order to form a more perfect Union,"

Ответ 2

Вы также можете загрузить свои данные в базу данных (например, MySQL) и получить доступ к ней из Mathematica, используя DatabaseLink

Ответ 3

Функция DumpSave также может быть полезна для сохранения больших наборов данных. Он сохраняет данные в внутреннем формате Mathematica, поэтому он более эффективен как во времени, так и в размере файла.