Подтвердить что ты не робот

Запуск MTIT для HIT на внешнем веб-сайте

Я внедряю сайт, на котором наемные работники MTurk будут выполнять задачи. Я планирую набирать работников, использующих задачи MTurk, используя которые я перенаправляю их на внешний веб-сайт для фактической работы. У меня есть следующие вопросы, касающиеся этого плана.

  • Есть ли какие-либо предсказуемые проблемы с этим подходом к запуску HIT? Если да, то как мы можем их смягчить?

  • Как мне выполнить процедуру аутентификации на моем внешнем сайте? Например, как я могу убедиться, что люди, которые приходят на сайт для выполнения конкретной задачи, действительно являются той же группой людей, нанятых ранее для этой конкретной задачи на MTURK?

  • когда работники завершают задачу, как мне интегрировать процедуру оплаты с MTurk на основе их производительности? Например, скажем, работник должен 3 доллара после завершения задания на моем внешнем сайте, возможно ли мне сообщить MTurk о его оплате программно?

Внешний сайт будет создан с использованием Python, если такие детали имеют значение.

Любые предложения и комментарии, основанные на вашем опыте и знаниях в использовании MTurk, будут высоко оценены!

4b9b3361

ОТВЕТЫ

Ответ 1

Я думаю об этом для моего аналогичного проекта. Я сам экспериментировал как рабочий. Вот мой план, я надеюсь, что он вам полезен. (Я еще не реализовал его. Он основан на академическом HIT, в котором я участвовал как рабочий.) Здесь говорится:

а. Создайте шаблон с языком, похожим на:

1. Please open this web site in a new browser window:
   http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste 
   it here: [________]

В. Создайте несколько случайных токенов для файла данных Mechnical Turk:

1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...

(Создайте эти маркеры из своего приложения, вам нужно перекрестно ссылаться на них.)

С. Ваше приложение извлекает токен из URL, просматривает задачу и делает все, что нужно. Я лично не беспокоюсь о том, что люди натыкаются на URL-адрес, поскольку это одноразовый токен.

Д. После того как пользователь выполнит задачу на внешнем веб-сайте, внешнее приложение выдаст код подтверждения. Код подтверждения должен быть случайным и непрозрачным. Только ваше приложение будет знать, соответствует ли какой-либо конкретный код правильному или неправильному ответу. Фактически, если вы хотите, правильность может даже не определяться в реальном времени - это может быть результатом агрегирования и/или сравнения между несколькими представлениями.

Е. Напишите код для взаимодействия программно. Возьмите код маркера и подтверждения, полученный из результата MTurk, и убедитесь, что они соответствуют вашему внешнему приложению. Если они не совпадают, отклоните HIT. Если они совпадают, проверьте правильность вашего внешнего приложения и одобрите или отклоните. Вы можете рассмотреть структуру вознаграждения бонусов.

Итак, чтобы ответить на ваши конкретные вопросы:

  • Я не ожидаю проблем с описанным мной подходом. Тем не менее, "Механический турок" - это искусство и наука. Возможно, больше искусства. Написание хороших вопросов и правильное обращение с Туркерами - это то, что вам нужно выяснить с помощью сочетания здравого смысла, маркетинговых исследований и экспериментов.

  • См. выше (C). Токен предназначен для использования только один раз. Используйте достаточно длинные токены, и вероятность столкновения становится очень низкой.

  • См. (E) выше. Руководство для разработчиков Mechanical Turk - это хорошее место для начала.

Пожалуйста, поделитесь своими результатами. Или, если турки отправляют StackOverflow сотни открыток.:)

Примечания:

  • В настоящее время я изучаю квалификационные тесты. Я подозреваю, что они могут быть очень полезными.

  • Я хочу получить идентификатор Worker Turker в своем внешнем приложении, но я еще не понял эту часть. Я читаю об этом; например: Получение employeeId по присваиваниюId

  • Я думаю об использовании функции ExternalQuestion из API: "... вы можете размещать вопросы по ваш собственный веб-сайт с использованием" внешнего "вопроса... HIT с внешним вопросом отображает веб-страницу с вашего веб-сайта в кадре в веб-браузере Worker. На вашей веб-странице отображается форма для Рабочего, чтобы заполнить и Представьте результаты, используя форму, и ваша форма возвращает результаты в" Механический турк ". Использование вашего веб-сайта для отображения формы дает вашему веб-сайту контроль над тем, как возникает вопрос и как собираются ответы".

Ответ 2

Вы также можете найти PsiTurk: "PsiTurk - открытая платформа для проведения пользовательских экспериментальных экспериментов на Amazon Mechanical Turk.... для обеспечения большей части бэкэнд-механизма, необходимого для запуска вашего эксперимента. Он использует тип отзыва HART AMT, что означает, что вы можете собирать данные с любого веб-сайта. Пока вы можете превратить свой эксперимент в веб-сайт, вы можете запустить его с помощью PsiTurk!"