Я хочу рассчитать tf-idf из приведенных ниже документов. Я использую python и pandas.
import pandas as pd
df = pd.DataFrame({'docId': [1,2,3],
'sent': ['This is the first sentence','This is the second sentence', 'This is the third sentence']})
Сначала я подумал, что мне нужно будет получить word_count для каждой строки. Поэтому я написал простую функцию:
def word_count(sent):
word2cnt = dict()
for word in sent.split():
if word in word2cnt: word2cnt[word] += 1
else: word2cnt[word] = 1
return word2cnt
И затем я применил его к каждой строке.
df['word_count'] = df['sent'].apply(word_count)
Но теперь я потерян. Я знаю, что есть простой способ вычисления tf-idf, если я использую Graphlab, но я хочу придерживаться опции с открытым исходным кодом. И Sklearn, и gensim выглядят подавляющими. Какое самое простое решение для получения tf-idf?
