Я начинаю с пакета tm в R, поэтому, пожалуйста, несите меня и приносите извинения за большую стену текста. Я создал довольно большой корпус социалистической/коммунистической пропаганды и хотел бы извлечь недавно придуманные политические термины (несколько слов, например, "борьба-критика-трансформация" ).
Это двухэтапный вопрос, один из которых касается моего кода до сих пор, и один вопрос о том, как я должен продолжать.
Шаг 1: Чтобы сделать это, я хотел сначала определить некоторые общие ngrams. Но я застрял очень рано. Вот что я делал:
library(tm)
library(RWeka)
a <-Corpus(DirSource("/mycorpora/1965"), readerControl = list(language="lat")) # that dir is full of txt files
summary(a)
a <- tm_map(a, removeNumbers)
a <- tm_map(a, removePunctuation)
a <- tm_map(a , stripWhitespace)
a <- tm_map(a, tolower)
a <- tm_map(a, removeWords, stopwords("english"))
a <- tm_map(a, stemDocument, language = "english")
# everything works fine so far, so I start playing around with what I have
adtm <-DocumentTermMatrix(a)
adtm <- removeSparseTerms(adtm, 0.75)
inspect(adtm)
findFreqTerms(adtm, lowfreq=10) # find terms with a frequency higher than 10
findAssocs(adtm, "usa",.5) # just looking for some associations
findAssocs(adtm, "china",.5)
# ... and so on, and so forth, all of this works fine
Тело, которое я загружаю в R, отлично работает с большинством функций, которые я бросаю на него. У меня не было никаких проблем с созданием TDM из моего корпуса, поиска частых слов, ассоциаций, создания облаков слов и т.д. Но когда я пытаюсь использовать идентификаторы ngrams, используя подход, описанный в tm FAQ, я, по-видимому, ошибаюсь в конструкторе tdm:
# Trigram
TrigramTokenizer <- function(x) NGramTokenizer(x,
Weka_control(min = 3, max = 3))
tdm <- TermDocumentMatrix(a, control = list(tokenize = TrigramTokenizer))
inspect(tdm)
Я получаю это сообщение об ошибке:
Error in rep(seq_along(x), sapply(tflist, length)) :
invalid 'times' argument
In addition: Warning message:
In is.na(x) : is.na() applied to non-(list or vector) of type 'NULL'
Любые идеи? Является ли "а" не правильным классом/объектом? Я смущен. Я предполагаю здесь фундаментальную ошибку, но я этого не вижу.: (
Шаг 2: Затем я хотел бы определить ngrams, которые значительно перепредставлены, когда я сравниваю корпус с другими корпусами. Например, я мог сравнить свой корпус с большим стандартным английским корпусом. Или я создаю подмножества, которые я могу сравнивать друг с другом (например, советская и китайская коммунистическая терминология). Есть ли у вас какие-либо предложения, как я должен это делать? Любые скрипты/функции, которые я должен изучить? Просто некоторые идеи или указатели были бы замечательными.
Спасибо за ваше терпение!
