Я выполняю упражнение по очистке данных на python, а текст, который я очищаю, содержит итальянские слова, которые я хотел бы удалить. Я искал в Интернете, смогу ли я сделать это на Python с помощью набора инструментов, такого как nltk.
Например, с некоторым текстом:
"Io andiamo to the beach with my amico."
Я хотел бы оставить:
"to the beach with my"
Кто-нибудь знает, как это можно сделать? Любая помощь приветствуется.
Вы можете использовать words corpus из NLTK:
import nltk
words = set(nltk.corpus.words.words())
sent = "Io andiamo to the beach with my amico."
" ".join(w for w in nltk.wordpunct_tokenize(sent) \
if w.lower() in words or not w.isalpha())
# 'Io to the beach with my'
К сожалению, Ио - это английское слово. В общем, может быть трудно решить, является ли слово английским или нет.
Там хорошая библиотека Python под названием Enchant. Он может проверить, является ли слово английским.
С их домашней страницы:
>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
Так что вы можете сделать что-то вроде:
string = "Io andiamo to the beach with my amico."
english_words = []
for word in string.split():
if d.check(word):
english_words.append(word)
print " ".join(english_words)
ПРИМЕЧАНИЕ: маленькие слова трудно определить язык, так как много маленьких слов могут быть на разных языках, поэтому результат из приведенного выше кода:
Io to the beach with my
Где вы хотели, чтобы Io был исключен
Как удалить не английские слова из CSV файла с помощью Python?
Я использовал точно такой же код, но он не исключает неанглийское слово. Выход
Io andiamo на пляж с моим amico.
Процесс завершен с кодом выхода 0