OCR lib для математических формул

Мне нужна открытая библиотека OCR, которая может сканировать сложные печатные математические формулы (например, некоторые формулы, которые были сгенерированы через LaTeX). Я хочу получить какой-то результат, похожий на LaTeX (или только некоторые данные, подобные AST).

Есть ли что-то подобное? Или текущая технология OCR просто способна анализировать линейно-ориентированный текст?

(Обратите внимание, что я также разместил этот вопрос о Metaoptimize, потому что некоторые люди могут иметь дополнительные знания.)

Проблема также была описана OpenAI как im2latex.

Ответ 1

Не уверен, что характер ввода, который это принимает, является тем, что вам нужно, или если это работает достаточно хорошо или если вы уже это видели.

SESHAT - это система с открытым исходным кодом, написанная на С++ для распознавания рукописных математических выражений. SESHAT был разработан в рамках кандидатской диссертации в исследовательском центре PRHLT в Universitat Politècnica de Valéncia.

Онлайн-демо: http://cat.prhlt.upv.es/mer/

Источник: https://github.com/falvaro/seshat

Seshat - это система с открытым исходным кодом для распознавания рукописных математических выражений. Учитывая образец, представленный как последовательность штрихов, анализатор может преобразовать его в LaTeX или другие форматы, такие как InkML или MathML.

Ответ 2

InftyReader - единственный, о котором я знаю. Это НЕ бесплатное программное обеспечение (кажется, деньги идут на некоммерческую организацию, IIRC).

http://www.sciaccess.net/en/InftyReader/

Я не знаю, почему PDF не может иметь метаданные в LaTeX? Как и в: положите в него уравнение LaTeX! Это так сложно? (Я ничего не знаю о синтаксисе PDF, но я думаю, это можно сделать).

Синтаксис LaTeX - ОДИН ТРИИ И ИСТИННЫЙ СТАНДАРТ для обозначения математики. Кажется удивительно глупым, что люди, которые произвели MathML и другие вещи, не учитывают это. InftyReader генерирует синтаксис MathML или LaTeX.

Если я хочу HTML (чистый), я затем использую TTH для чтения синтаксиса LaTeX. Просто работает.

ABBYY FineReader (отличная программа OCR) утверждает, что вы можете обучать программное обеспечение для Math, но это очень безумно (у кого есть время?)

И Unicode имеет множество математических символов. То, что сегодня читатели OCR не могут их разыграть, показывают жалкое состояние программного обеспечения и дефицит мозга в этой деятельности.

Что касается "одного символа за раз", TeX, очевидно, имеет правила относительно того, где он будет размещать символы. Они не могут писать программное обеспечение, которое знает эти правила?! TeX - это даже общественное достояние! Они могут просто "использовать его" в своих коммерческих продуктах.

Ответ 3

В соответствии с ответы на Metaoptimize и обсуждение InftyProject.

Ответ 4

Отъезд Web Equation." Он может преобразовывать рукописные уравнения в LaTeX, MathML или SymbolTree. Я не уверен, что двигатель с открытым исходным кодом.

Ответ 5

Учитывая, что текущие технологии читают по одному символу за раз (см. http://detexify.kirelabs.org/classify.html), я сомневаюсь, что существует OCR для полных математических уравнений.

Ответ 6

Infty работает достаточно хорошо. Моя бывшая компания интегрировала его в приложение, которое читает уравнения вслух для слепых и получает хорошие отзывы от пользователей.

http://www.inftyproject.org/en/download.html

Ответ 7

Вы знаете, есть приложение в Win7 только для этого: Math Input Panel. Он даже обрабатывает рукописный ввод (это фактически сделано для этого). Дайте ему шанс, если у вас есть Win7, это бесплатно!

Ответ 8

есть это прекрасное короткое видео: http://www.youtube.com/watch?v=LAJm3J36tLQ объясняя, как вы можете обучать ваш Fine Reader распознавать математические формулы. Если вы используете Fine Reader уже, лучше придерживаться одного инструмента. Конечно, это не бесплатная посуда: (

Ответ 9

Поскольку вывод из математического OCR для сложных формул, скорее всего, будет иметь ошибки - даже у людей возникают проблемы с ним - вам придется корректировать результаты, по крайней мере, если они имеют значение. После этого корректор (человек) должен будет исправить результаты, то есть вам понадобится редактор математической формулы. Учитывая усилия, необходимые людям, вероятно, ограниченный состав сложных формул, вам может быть легче назначить задачу людям.

Как проблема исследования, чтение математики с помощью OCR - это весело - вам нужен формализм для двухмерных грамматик плюс распознаватель символов.
В дополнение к ссылкам, уже упомянутым здесь, почему не Google для этого? Работа выполнена в Caltech, Рочестере, У. Ватерлоо и Калифорнийском университете в Беркли. Сколько из них готово использовать из коробки? Незнайка.

Ответ 10

Mathpix был разработан специально для извлечения LaTex из изображений математики. Это нишевый инструмент, который очень точен. Кроме того, он может распознавать как рукописную, так и печатную математику.