У меня есть data.table
, который не очень большой (2 ГБ), но по какой-то причине write.csv
занимает очень много времени, чтобы записать его (я никогда не заканчивал ждать) и, кажется, использует тонну ОЗУ для этого. Я попытался преобразовать data.table
в data.frame
, хотя это ничего не должно делать, поскольку data.table
extends data.frame
. кто-нибудь сталкивался с этим? что более важно, если вы остановите его с помощью Ctrl - C, R, похоже, не возвращает память.
Write.csv для больших данных. таблица в R
Ответ 1
ОБНОВЛЕНИЕ 08.04.2016:
fwrite
недавно добавлен в версию разработки пакета data.table. Он также работает параллельно (неявно).
# Install development version of data.table
install.packages("data.table",
repos = "https://Rdatatable.github.io/data.table", type = "source")
# Load package
library(data.table)
# Load data
data(USArrests)
# Write CSV
fwrite(USArrests, "USArrests_fwrite.csv")
В соответствии с подробными тестовыми тестами, показанными в ускоряя производительность write.table, fwrite
составляет ~ 17 раз быстрее, чем write.csv
там (YMMV).
ОБНОВЛЕНИЕ 15.12.2015:
В будущем в пакете data.table
может быть функция fwrite
, см. https://github.com/Rdatatable/data.table/issues/580.
В этом потоке связан GIST, который обеспечивает протип для такой функции, ускоряя процесс в 2 раза (по мнению автора, https://gist.github.com/oseiskar/15c4a3fd9b6ec5856c89).
ОРИГИНАЛЬНЫЙ ОТВЕТ:
У меня были те же проблемы (пытаясь записать еще большие CSV файлы), и решил, наконец, снова использовать CSV файлы.
Я бы рекомендовал вам использовать SQLite, поскольку он намного быстрее, чем работа с файлами CSV:
require("RSQLite")
# Set up database
drv <- dbDriver("SQLite")
con <- dbConnect(drv, dbname = "test.db")
# Load example data
data(USArrests)
# Write data "USArrests" in table "USArrests" in database "test.db"
dbWriteTable(con, "arrests", USArrests)
# Test if the data was correctly stored in the database, i.e.
# run an exemplary query on the newly created database
dbGetQuery(con, "SELECT * FROM arrests WHERE Murder > 10")
# row_names Murder Assault UrbanPop Rape
# 1 Alabama 13.2 236 58 21.2
# 2 Florida 15.4 335 80 31.9
# 3 Georgia 17.4 211 60 25.8
# 4 Illinois 10.4 249 83 24.0
# 5 Louisiana 15.4 249 66 22.2
# 6 Maryland 11.3 300 67 27.8
# 7 Michigan 12.1 255 74 35.1
# 8 Mississippi 16.1 259 44 17.1
# 9 Nevada 12.2 252 81 46.0
# 10 New Mexico 11.4 285 70 32.1
# 11 New York 11.1 254 86 26.1
# 12 North Carolina 13.0 337 45 16.1
# 13 South Carolina 14.4 279 48 22.5
# 14 Tennessee 13.2 188 59 26.9
# 15 Texas 12.7 201 80 25.5
# Close the connection to the database
dbDisconnect(con)
Для получения дополнительной информации см. http://cran.r-project.org/web/packages/RSQLite/RSQLite.pdf
Вы также можете использовать программное обеспечение, например http://sqliteadmin.orbmu2k.de/ для доступа к базе данных и экспорта базы данных в CSV и т.д.
-