Токениза предложения nltk, рассмотрите новые строки как границу предложения

Я использую nltk PunkSentenceTokenizer для tokenize текста для набора предложений. Тем не менее, токенизатор, похоже, не рассматривает новый абзац или новые строки как новое предложение.

>>> from nltk.tokenize.punkt import PunktSentenceTokenizer
>>> tokenizer = PunktSentenceTokenizer()
>>> tokenizer.tokenize('Sentence 1 \n Sentence 2. Sentence 3.')
['Sentence 1 \n Sentence 2.', 'Sentence 3.']
>>> tokenizer.span_tokenize('Sentence 1 \n Sentence 2. Sentence 3.')
[(0, 24), (25, 36)]

Я хотел бы, чтобы он рассматривал новые строки как границу предложений. В любом случае, чтобы это сделать (мне тоже нужно сохранить смещения)?

# in my case, when it had '\n', I called it a new paragraph, # like a collection of sentences paragraphs = [p for p in text.split('\n') if p] # and here, sent_tokenize each one of the paragraphs for paragraph in paragraphs: sentences = tokenizer.tokenize(paragraph)

def paragraphs(self): if self._paragraphs is not None: for p in self._paragraphs: yield p else: raw_paras = self.raw_text.split(self.paragraph_delimiter) gen = (Paragraph(self, p) for p in raw_paras if p) self._paragraphs = [] for p in gen: self._paragraphs.append(p) yield p

Ответ 1