Я не уверен, что это подходящее место, но кажется, что это достойное место, чтобы спросить.
Моя текущая работа включает ручной анализ больших наборов данных (на нескольких уровнях, каждый более совершенный и сделанный опытными аналитиками). Около года назад я начал разрабатывать некоторые утилиты для отслеживания эффективности аналитиков, сравнивая результаты на более ранних уровнях с конечными уровнями. Сначала это работало довольно хорошо - мы использовали его в магазине в качестве простого индикатора, чтобы помочь сосредоточить усилия по обучению и сделать лучшую работу в целом.
В последнее время результаты были взяты из контекста и использованы таким образом, который я никогда не планировал. Кажется, что руководство (в частности, один человек) приступило к использованию результатов этих инструментов, чтобы напрямую повлиять на EPR (заверенные отчеты о производительности - это сила, но я предполагаю, что что-то подобное существует в других областях) и аналогичные документы. Проблема заключается не в том, кто использует эти результаты, но как. Я ясно дал понять всем, что результаты, довольно просто, подвержены ошибкам.
Существует множество неизбежных препятствий для создания этих данных, которые я сработал, чтобы свести к минимуму некоторые изящные эвристики и тому подобное. Взятые в надлежащем контексте, они являются полезным инструментом. Однако из контекста, поскольку они используются сейчас, они приносят больше вреда, чем пользы.
Управляющий (ы), о котором идет речь, принимает результаты как литологические показатели того, работает ли аналитик хорошо или плохо. Результаты усредняются, и отдельные оценки оцениваются как выше (хорошо), так и ниже (плохое) среднее. Это делается без учета присущих ошибкам погрешности и выборки, без учета какой-либо надлежащей интерпретации. Я знаю, по крайней мере, одного человека, рейтинг производительности которого был отмечен за "процент точности" менее одного процентного пункта ниже среднего (когда типичная погрешность только от метода расчета составляет от двух до трех процентов).
Я готов написать официальный отчет об ошибках, присутствующих в системе (включая "Руководство для начинающих к значащему статистическому анализу" ), но все признаки указывают на то, что это не имеет никакого эффекта.
Не преднамеренно нарушая инструменты (маршрут, который я бы предпочел избежать, но я серьезно рассматриваю в данных обстоятельствах), мне интересно, действительно ли кто-то здесь занимался подобными ситуациями раньше? Любое понимание того, как подойти к этому, будет с благодарностью.
Обновление: Спасибо за ответы - много хороших идей вокруг.
Если кому-то интересно, я двигаюсь в направлении "уточнения, обучения и управления интерпретацией". Я начал перестраивать свои инструменты, чтобы попытаться лучше отрицать или отслеживать ошибки и автоматически генерировать любые числа и графики, которые они могут захотеть, включая всю документацию (в то время как прячутся как неясные ссылки на необработанные данные, которые они в настоящее время кажутся настолько желающими импортировать в "магические" листы excel).
В частности, я надеюсь, что визуальные представления об ошибках и правильно созданные рейтинговые системы (с учетом ошибок, стандартных отклонений и т.д.) помогут ситуации.
