Я использую nltk corpus movie_reviews, где много документов. Моя задача - получить прогностическую производительность этих обзоров с предварительной обработкой данных и без предварительной обработки. Но есть проблемы, в списках documents
и documents2
у меня есть те же документы, и мне нужно перетасовать их, чтобы сохранить одинаковый порядок в обоих списках. Я не могу перетасовать их отдельно, потому что каждый раз, когда я перетасовываю список, получаю другие результаты. Вот почему мне нужно немедленно перетасовать тот же порядок, потому что мне нужно сравнить их в конце (это зависит от порядка). Я использую python 2.7
Пример (в реале строки обозначены, но не относительны):
documents = [(['plot : two teen couples go to a church party , '], 'neg'),
(['drink and then drive . '], 'pos'),
(['they get into an accident . '], 'neg'),
(['one of the guys dies'], 'neg')]
documents2 = [(['plot two teen couples church party'], 'neg'),
(['drink then drive . '], 'pos'),
(['they get accident . '], 'neg'),
(['one guys dies'], 'neg')]
И мне нужно получить этот результат после перетасовки обоих списков:
documents = [(['one of the guys dies'], 'neg'),
(['they get into an accident . '], 'neg'),
(['drink and then drive . '], 'pos'),
(['plot : two teen couples go to a church party , '], 'neg')]
documents2 = [(['one guys dies'], 'neg'),
(['they get accident . '], 'neg'),
(['drink then drive . '], 'pos'),
(['plot two teen couples church party'], 'neg')]
У меня есть этот код:
def cleanDoc(doc):
stopset = set(stopwords.words('english'))
stemmer = nltk.PorterStemmer()
clean = [token.lower() for token in doc if token.lower() not in stopset and len(token) > 2]
final = [stemmer.stem(word) for word in clean]
return final
documents = [(list(movie_reviews.words(fileid)), category)
for category in movie_reviews.categories()
for fileid in movie_reviews.fileids(category)]
documents2 = [(list(cleanDoc(movie_reviews.words(fileid))), category)
for category in movie_reviews.categories()
for fileid in movie_reviews.fileids(category)]
random.shuffle( and here shuffle documents and documents2 with same order) # or somehow