Можно ли использовать Standford Tagger более эффектно?
Каждый вызов обертки NLTK запускает новый экземпляр java для проанализированной строки, который очень медленный, особенно когда используется более крупная модель иностранного языка...
http://www.nltk.org/api/nltk.tag.html#module-nltk.tag.stanford
Нашел решение. Можно запустить POS Tagger в режиме сервлета, а затем подключиться к нему через HTTP. Совершенная.
http://nlp.stanford.edu/software/pos-tagger-faq.shtml#d
Пример
запустить сервер в фоновом режиме
nohup java -mx1000m -cp /var/stanford-postagger-full-2014-01-04/stanford-postagger.jar edu.stanford.nlp.tagger.maxent.MaxentTaggerServer -model /var/stanford-postagger-full-2014-01-04/models/german-dewac.tagger -port 2020 >& /dev/null &
настроить брандмауэр для ограничения доступа к порту 2020 только с локального хоста
iptables -A INPUT -p tcp -s localhost --dport 2020 -j ACCEPT
iptables -A INPUT -p tcp --dport 2020 -j DROP
проверить его с помощью wget
wget http://localhost:2020/?die welt ist schön
сервер выключения
pkill -f stanford
восстановить параметры iptable
iptables -D INPUT -p tcp -s localhost --dport 2020 -j ACCEPT
iptables -D INPUT -p tcp --dport 2020 -j DROP
Использование nltk.tag.stanford.POSTagger.tag_sents() для пометки нескольких предложений.
tag_sents заменил старую функцию batch_tag, см. https://github.com/nltk/nltk/blob/develop/nltk/tag/stanford.py#L61
DEPRECATED:
Отметьте предложения с помощью batch_tag вместо tag, см. http://www.nltk.org/_modules/nltk/tag/stanford.html#StanfordTagger.batch_tag