У меня есть фрейм данных Pandas, где один столбец содержит текст. Я хотел бы получить список уникальных слов, появляющихся по всему столбцу (пробел является единственным разделением).
import pandas as pd
r1=['My nickname is ft.jgt','Someone is going to my place']
df=pd.DataFrame(r1,columns=['text'])
Вывод должен выглядеть так:
['my','nickname','is','ft.jgt','someone','going','to','place']
Также не мешало бы получить счет, но это не обязательно.
Используйте set для создания последовательности уникальных элементов.
Сделайте некоторую очистку на df, чтобы получить строки в нижнем регистре и разделить:
df['text'].str.lower().str.split()
Out[43]:
0 [my, nickname, is, ft.jgt]
1 [someone, is, going, to, my, place]
Каждый список в этом столбце может быть передан в функцию set.update для получения уникальных значений. Используйте apply, чтобы сделать это:
results = set()
df['text'].str.lower().str.split().apply(results.update)
print results
set(['someone', 'ft.jgt', 'my', 'is', 'to', 'going', 'place', 'nickname'])
Используйте collections.Counter:
>>> from collections import Counter
>>> r1=['My nickname is ft.jgt','Someone is going to my place']
>>> Counter(" ".join(r1).split(" ")).items()
[('Someone', 1), ('ft.jgt', 1), ('My', 1), ('is', 2), ('to', 1), ('going', 1), ('place', 1), ('my', 1), ('nickname', 1)]
Если вы хотите сделать это из конструкции DataFrame:
import pandas as pd
r1=['My nickname is ft.jgt','Someone is going to my place']
df=pd.DataFrame(r1,columns=['text'])
df.text.apply(lambda x: pd.value_counts(x.split(" "))).sum(axis = 0)
My 1
Someone 1
ft.jgt 1
going 1
is 2
my 1
nickname 1
place 1
to 1
dtype: float64
Если вы хотите использовать более гибкую токенизацию nltk и ее tokenize
Основываясь на ответе @Ofir Israel, специфическом для Pandas:
from collections import Counter
result = Counter(" ".join(df['text'].values.tolist()).split(" ")).items()
result
Дает вам то, что вы хотите, это преобразует значения столбца текстового столбца в список, разбивается на пробелы и подсчитывает экземпляры.
uniqueWords = list(set(" ".join(r1).lower().split(" ")))
count = len(uniqueWords)
В документации v0.14.0 (стабильная версия подсказки в момент написания этой статьи) такая статистика будет возвращена (в другом фрейме данных) с помощью DataFrame.describe().
Обратите внимание, что количество уникальных значений не возвращается для столбцов с numeric datatypes, но должно быть возвращено для столбцов string, таких как тот, о котором идет речь.
Дано:
$ cat test.csv
Description
crazy mind california medical service data base...
california licensed producer recreational & medic...
silicon valley data clients live beyond status...
mycrazynotes inc. announces $144.6 million expans...
leading provider sustainable energy company prod ...
livefreecompany founded 2005, listed new york stock...
Код:
from collections import Counter
from string import punctuation
import pandas as pd
from nltk.corpus import stopwords
from nltk import word_tokenize
stoplist = set(stopwords.words('english') + list(punctuation))
df = pd.read_csv("test.csv", sep='\t')
texts = df['Description'].str.lower()
word_counts = Counter(word_tokenize('\n'.join(texts)))
word_count.most_common()
[из]:
[('...', 6), ('california', 2), ('data', 2), ('crazy', 1), ('mind', 1), ('medical', 1), ('service', 1), ('base', 1), ('licensed', 1), ('producer', 1), ('recreational', 1), ('&', 1), ('medic', 1), ('silicon', 1), ('valley', 1), ('clients', 1), ('live', 1), ('beyond', 1), ('status', 1), ('mycrazynotes', 1), ('inc.', 1), ('announces', 1), ('$', 1), ('144.6', 1), ('million', 1), ('expans', 1), ('leading', 1), ('provider', 1), ('sustainable', 1), ('energy', 1), ('company', 1), ('prod', 1), ('livefreecompany', 1), ('founded', 1), ('2005', 1), (',', 1), ('listed', 1), ('new', 1), ('york', 1), ('stock', 1)]
Если в Dataframe есть столбцы "a", "b", "c" и т.д., А для подсчета отдельных слов каждого столбца вы можете использовать
Counter(dataframe['a']).items()