Существуют две основные школы для проведения теста A/B (Split):
- Решения на основе Javascript, такие как Оптимизация, Эксперименты с содержимым Google Analytics.
- Серверные решения, такие как Django-AB, Splango и django-lean. (Кроме того, написание собственных.)
Мое понимание заключается в том, что решения на основе Javascript впечатляют тем, что "цветная кнопка преобразуется лучше", но не настолько велика для вывода целых макетов страниц и совершенно неработоспособна для тестирования больших функциональных изменений, таких как последовательность страниц в воронки.
Это приводит меня к серверному решению. Я не сумасшедший по поводу кодирования своих собственных и сделаю это только в том случае, если нет другого варианта. Я пытаюсь повысить ценность, улучшив основные функции моего сайта, а не создав лучшую структуру раскола тестирования.
Приложения Django, которые я нашел для раздельного тестирования, представляют собой различные смеси недостижимых, недокументированных, некорректно документированных и несовместимые с Django 1.5. Это меня удивляет, потому что сообщества Django и Python, похоже, уделяют большое внимание хорошей документации. Я также очень удивлен тем, что ни одна из тестовых фреймворков, которые я пробовал, не была совместима с Django 1.5, - не является ли она частью философии в мире Django/Python, как в Rails?
Вот что я нашел:
-
Splango https://github.com/shimon/Splango - Не совместим с Django 1.5 (хотя большинство ошибок совместимости, которые я нашел, были тривиальны для исправления). Во многом не затронутый с октября 2010 года, за исключением исправления августа 2012 года, в котором утверждается, что шаблоны включены в установку. Поскольку шаблоны не включаются в установку, когда Splango устанавливается через PyPI, либо исправление не работало, либо не передавалось в PyPI. Документация в значительной степени точна, но не полностью охватывает, как настраивать тесты и получать отчеты. В нем рассказывается, как настроить шаблон для сбора данных, но в интерфейсе администратора, который полностью недокументирован, требуются дополнительные шаги, и я не уверен, что сделал их правильно.
-
Джанго обедненной. Оригинал в https://bitbucket.org/akoha/django-lean не обновлялся с июля 2010 года. По-видимому, "благословенная" развилка на https://github.com/anandhenry2002/django-lean, который не был изменен с мая 2012 года, когда он был скопирован с оригинала. Исходная документация неверна способами, которые делают невозможными следующие примеры. (Хотя вы, вероятно, можете путать свой путь, как и я.) В документации к новой версии есть проблемы с форматированием, которые затрудняют чтение в github. (Похоже, это потому, что это неизменная документация из старого проекта, а синтаксис BitBucket не работает в Github). У Django-lean Group Google не было сообщения с июля 2012 года.
-
django-mini-lean https://github.com/DanAncona/django-mini-lean - Обновлен совсем недавно, в феврале 2013 года, но недокументирован.
-
Leaner - https://bitbucket.org/brianjinwright/leaner - Последнее обновление: июль 2012 года, а не документы.
-
Django-AB - Последнее обновление: май 2009 г. Не является пакетом и не может быть установлен через PIP или PyPI. После размещения кассы в папке приложения django (и переименовании папки в ab) и следуя инструкциям по установке, я получаю ошибку при загрузке загрузчика шаблонов, который я еще не отслеживал.
До сих пор Splango оказался победителем, так как я действительно смог его более или менее работать (вручную устанавливая шаблоны, а затем редактируя их для устранения несовместимости Django 1.5).
Может ли кто-нибудь указать мне на что-нибудь, что я пропустил?
