Какие существуют рамки для тестирования мутаций?

В другом question я спросил, полезно ли мутация-тестирование на практике. Поскольку я не получил ответов, которые удовлетворяют меня, я хочу проверить текущие инструменты самостоятельно. Поэтому мне нужен обзор существующих существующих мутационных тестов. Какие из них наиболее полезны и почему?

Я программирую на Java, поэтому предпочитаю Java-инструменты, но я бы рискнул взглянуть на интересные рамки для разных языков.
Я хочу интегрировать в автоматический процесс сборки, поэтому я бы предпочел инструменты, которые могут выполняться через командную строку.

Ответ 1

Существует также PIT, который можно подключить к вашей сборке через плагин maven или интерфейс командной строки.

Он обеспечивает гораздо более приятные отчеты, чем другие доступные инструменты с комбинированной мутацией и охватом линий. Он также работает значительно быстрее, чем исходные инструменты для Java, такие как Jester, и примерно в два раза быстрее, чем Jumble.

В отличие от Jumble и Javalanche, он также работает со всеми основными издевательскими структурами (Mockito, JMock, EasyMock, PowerMock и JMockit).

(раскрытие я - автор).

Ответ 2

Я знаю, что это старый поток, но он все еще отвечает на вопрос. Я работаю с некоторыми друзьями в тестовой среде .NET Framework с открытым исходным кодом под названием NinjaTurtles, которую вы можете найти в CodePlex и на Nuget. Основной веб-сайт проекта здесь.

Ответ 3

Я знаю только два фреймворка, но они оба предназначены для Java:)

Я не использовал ни одного из них, я боюсь.

Ответ 4

CREAM - это инструмент для С#/. Net http://galera.ii.pw.edu.pl/~adr/CREAM/index.php

Ответ 5

Для Ruby существует Heckle, а новичок, названный Boo_hiss.

Ответ 6

Для сообщества .Net существует NesTer, но у него есть серьезные ограничения. Например. поддерживает только С# и NUnit.

Также не поддерживается, но может быть отправной точкой.

Ответ 7

Я взглянул на Jester (фактический исходный код), и мне кажется, что он не поддерживает слишком много мутаций. Там есть файл, где указаны эти мутации. Возможно, я ошибаюсь в этом, но мне определенно не понравилось сочетание между запуском инструмента из командной строки и небольшим интерфейсом обратной связи с графическим интерфейсом. Почему бы не дать обратную связь в командной строке, например, JUnit, если вы работаете за пределами среды IDE?

Смех - это еще одно:). Он имеет простой интерфейс командной строки и поставляется с плагином Eclipse. Обратная связь - это весь текст в консоли. Я доволен этим инструментом, и я планирую написать некоторую цель ANT, чтобы добавить ее в мою непрерывную интеграцию проекта.

Я также смотрю на Javalanche, но еще не пробовал.

У меня появятся новости через несколько недель.

Ответ 8

Может быть интересен. Microsoft Research: http://www.pexforfun.com/

Ответ 9

Вы можете попробовать & micro; Java. Я не использовал его, но похоже, что тестирование на мутацию может быть интересным способом оценки наборов тестов.

Ответ 10

MμClipse поддерживает только JUnit 3 и больше не поддерживается. Шут, как для него, трудоемкий и требует сложной конфигурации; плюс больше не поддерживается. Лучший инструмент, который я мог найти, - Javalanche Я написал целую статью об этом!

Ответ 11

Jester предоставляет файл для мутаций, и они ограничены. В некоторой степени вы можете добавить свои собственные мутации в файл.

Я экспериментировал с Jumble и Jester, и я обнаружил, что Jumble предоставляет больше мутаций и лучшую документацию. Кроме того, у меня были быстрые ответы от владельцев проектов, когда я отправил их по электронной почте. Одним из недостатков Jumble является то, что он работает с байт-кодом с использованием BCEL. Это представляет собой часть кривой обучения для многих разработчиков.

Моя компания, совхоз, написала задачу Ant, которую мы можем внести в проект Jumble. На основе того, что я читал в своих списках рассылки, другие работают над задачей Ant для Jumble.

Я тоже смотрю на Джаваланча. Я буду рад поделиться тем, что знаю, когда я сделал.