Какой лучший инструмент анализа журналов вы использовали?

Я начинаю работать над существующим проектом с очень подробным протоколированием, и журналы - настоящая боль, чтобы пройти. Вы когда-нибудь использовали какие-либо инструменты для анализа/анализа логов? Можете ли вы порекомендовать мне что-то мощное и легкое в настройке и использовании? Сначала я подумал, что должен написать инструмент для анализа журналов, но я думаю, возможно, что-то подобное уже существует. Благодарим вас за помощь заранее.

Изменить: журналы являются обычными - они имеют заданный формат, но я не думаю, что они соответствуют любым широко используемым стандартам. Вот почему мне нужен настраиваемый парсер журнала.

Ответ 1

Log Parser из Microsoft

Бесплатно, и работает невероятно хорошо.

Ответ 2

LogExpert - это лучший бесплатный инструмент, который я нашел.

Ответ 3

Мы используем Splunk здесь.

Он очень мощный, позволяющий использовать несколько источников журналов, шаблонов, фильтрации и т.д. Это немного больше, чем однопользовательское решение, но они могут похвастаться 5-минутной установкой.

Ответ 4

Попробуйте Retrospective Log Analyzer - http://www.retrospective.ch

Это не бесплатный программный инструмент, но он относительно дешевый (58 долларов США).

Это мощный, настраиваемый и очень простой в использовании. Он также имеет обширный алгоритм обнаружения формата журнала, поэтому он должен хорошо справляться с вашими журналами (распознавание даты, формат разделения строк, формат разделения столбцов и т.д.).

Ответ 5

Log Parser - отличный инструмент для этого.

Возможно, вы захотите проверить обработчик Visual Log на Codeplex, хотя это не похоже на то, что много работы было выполнено, если на некоторое время.

Здесь forum, где обсуждаются Log Parser.

Кроме того, у Майка Гундерлой был неофициальный FAQ здесь, и здесь хорошая статья на Ужас кодирования

Ответ 6

Вы можете попробовать Octopussy (это мой проект)

Это решение для анализа журналов/оповещений/отчетов, предназначенных для обработки любых журналов. Это довольно сложно в начале, но после, это действительно мощно. Он полностью настраивается, и у вас есть мастер журналов для создания новых парсеров.

Ответ 7

Для журналов IIS я использую Microsoft Excel. Импортируйте файл в виде пробела, удалите строки заголовка и метку #Fields: а затем используйте функции AutoFilter, чтобы разрезать и вырезать данные по мере необходимости...

Ответ 8

SLCT - простой инструмент кластеризации журналов самостоятельно отображает повторяющиеся шаблоны и выводит краткое резюме. Это полезно для быстрого просмотра журнала, для которого у вас еще нет парсера или грамматики.

Ответ 9

Если вы собираетесь использовать LogParser, вы можете найти эту статью.

Ответ 10

В настоящее время экспериментирует с SED и MySQL. SED используется для решения проблем с уровнем синтаксиса и преобразования в CSV. SED script занял несколько часов (включая обучение SED), но я ожидаю, что трудная часть будет анализом в MySQL, конечно.

Я только что обнаружил, что ни один из загружаемых инструментов не смог навсегда классифицировать хиты и последовательно включать/исключать правильные категории в отчетах.

Если вы подумываете об улучшении этого пользовательского формата журнала, тогда log4x с макетом Xml следует рассмотреть. Обратите внимание на вывод NDC и MDC. Конечно, вам тоже нужно будет переключиться на log4x. Ваш анализатор в этом случае будет Chainsaw, но вы имеете дело с XML-фрагментами, так что также возможно создание настраиваемого решения.

Ответ 11

Apache Chainsaw V2 может анализировать (и хвост) файлы текстового журнала, используя LogFilePatternReceiver или VFSLogFilePatternReceiver, если вам нужны поддерживаемые файлом системы Jakarta Commons-VFS (например, обработка по ssh). См. http://logging.apache.org/chainsaw - есть пример конфигурации, доступной на вкладке Приветствия и простой учебник, доступный из меню справки.

Ответ 12

Платформа анализа протокола XpoLog обеспечивает отчеты, поиск, мониторинг, статистику, тенденции, обнаружение ошибок и многое другое для журналов веб-серверов и приложений www.loganalysis.com

Ответ 13

Его очень старый вопрос - извините! Большинство инструментов, похоже, уже упоминалось - вы можете взглянуть на Logscape - или сделать что-то вроде ElasticSearch

Ответ 14

Analog... его свободный, быстрый и очень простой в использовании.

Ответ 15

Вы можете попробовать IBM smartcloud Analytics - новое предложение анализа журналов от IBM. Он имеет 90-дневный пробный период и полностью функциональный. http://www-01.ibm.com/software/tivoli/products/log-analysis/

Приветствия Абхишек

Ответ 16

Perl

Для написания собственного анализатора журнала обычно требуется очень короткое время.