Как использовать @pytest.mark с базовыми классами?

Я использую py.test 2.2.4, и мои тестовые таблицы организованы следующим образом:

import pytest 

class BaseTests():
    def test_base_test(self):
        pass

@pytest.mark.linuxonly
class TestLinuxOnlyLocal(BaseTests):
    pass

@pytest.mark.windowsonly
class TestWindowsOnly(BaseTests):
    pass

class TestEverywhere(BaseTests):
    pass

Проблема с этой настройкой заключается в том, что декоратор первого класса просачивается во второй класс. Когда я создаю conftest.py следующим образом:

import pytest
import sys 

def pytest_runtest_setup(item):
    print "\n %s keywords: %s" % (item.getmodpath(), item.keywords)
    skip_message = None
    if 'windowsonly' in item.keywords and not sys.platform.startswith('win'):
        skip_message =  "Skipped: Windows only test"

    if 'linuxonly' in item.keywords and not sys.platform.startswith('linux'):
        skip_message = "Skipped: Linux only test"

    if skip_message is not None:
        print skip_message
        pytest.skip(skip_message)

Когда я выполняю этот набор, вывод показывает, что метки, кажется, складываются:

$ py.test  --capture=no
========================================== test session starts ===========================================
platform linux2 -- Python 2.7.3 -- pytest-2.2.4
collected 3 items 

test_cases.py 
 TestLinuxOnlyLocal.test_base_test keywords: {'linuxonly': <MarkInfo 'linuxonly' args=() kwargs={}>, 'test_base_test': True}
.
 TestWindowsOnly.test_base_test keywords: {'linuxonly': <MarkInfo 'linuxonly' args=() kwargs={}>, 'test_base_test': True, 'windowsonly': <MarkInfo 'windowsonly' args=() kwargs={}>}
Skipped: Windows only test
s
 TestEverywhere.test_base_test keywords: {'linuxonly': <MarkInfo 'linuxonly' args=() kwargs={}>, 'test_base_test': True, 'windowsonly': <MarkInfo 'windowsonly' args=() kwargs={}>}
Skipped: Windows only test
s

================================== 1 passed, 2 skipped in 0.01 seconds ===================================

Итак, я хочу понять, как возможно, что эти метки протекают между подклассами и как это можно устранить/решить (тесты будут жить в базовом классе, но подклассы будут устанавливать необходимые абстракция платформы).

Ответ 1

В дополнение к хорошему ответу ecatmur: вы можете определить выражение pytest.mark.skipif следующим образом:

win32only = pytest.mark.skipif("sys.platform != 'win32'")

а затем просто украсьте тесты только с win32:

@win32only
def test_something(...):

Другой вопрос в том, можно ли просто превратить "BaseTests" в обычный тестовый класс::

class TestCrossPlatform:
     def test_base_tests(...):
         ...

то есть. избежать наследования? Если вам нужны инструменты в ваших тестах, вы можете определить их в своем тестовом модуле и принять их в тестовых функциях (кросс-платформенных или платформенных), см. документы pytest fixture. Не забудьте использовать pytest-2.3.5, хотя, потому что было сделано много улучшений, особенно в отношении светильников в серии pytest-2.3 (и больше придет с 2.4).

Ответ 2

pytest использует более функционально-ориентированный подход к тестированию, чем другие рамки тестирования Python (например, unittest), поэтому классы рассматриваются в основном как способ организации тестов.

В частности, маркеры, применяемые к классам (или модулям), передаются самим тестовым функциям, а так как метод переопределенного производного класса не является переопределенным тем же объектом, что и метод базового класса, это означает, что маркер применяется к метод базового класса.

(Техническая информация: в настоящее время это происходит в _pytest.python.transfer_markers(), но не полагайтесь на это.)

Вместо наследования классов рассмотрите возможность использования светильников для инкапсуляции тестовой установки для конкретной платформы.

Более простым решением может быть сравнение с именем класса, поскольку py.test добавляет непосредственный содержащий класс к ключевым словам элемента:

if 'TestWindowsOnly' in item.keywords and not sys.platform.startswith('win'):
    skip_message =  "Skipped: Windows only test"

if 'TestLinuxOnly' in item.keywords and not sys.platform.startswith('linux'):
    skip_message = "Skipped: Linux only test"