Я использую пакет tm для выполнения некоторого текстового анализа. Моя проблема заключается в создании списка со словами и их частотами, связанными с тем же
library(tm)
library(RWeka)
txt <- read.csv("HW.csv",header=T)
df <- do.call("rbind", lapply(txt, as.data.frame))
names(df) <- "text"
myCorpus <- Corpus(VectorSource(df$text))
myStopwords <- c(stopwords('english'),"originally", "posted")
myCorpus <- tm_map(myCorpus, removeWords, myStopwords)
#building the TDM
btm <- function(x) NGramTokenizer(x, Weka_control(min = 3, max = 3))
myTdm <- TermDocumentMatrix(myCorpus, control = list(tokenize = btm))
Обычно я использую следующий код для генерации списка слов в диапазоне частот
frq1 <- findFreqTerms(myTdm, lowfreq=50)
Есть ли способ автоматизировать это так, что мы получаем фрейм данных со всеми словами и их частотой?
Другая проблема, с которой я сталкиваюсь, заключается в преобразовании матрицы слова документа в фрейм данных. Когда я работаю над большими образцами данных, я сталкиваюсь с ошибками памяти. Есть ли простое решение для этого?