Пример для не-iid-данных

Ответ 1

Из wikipedia iid:

"Независимое и тождественно распределенное" означает, что элемент в последовательности не зависит от случайных величин, которые были до него. Таким образом, IID-последовательность отличается от последовательности Маркова, где распределение вероятности для n-й случайной величины является функцией предыдущей случайной величины в последовательности (для последовательности Маркова первого порядка).

В качестве простого синтетического примера предположим, что у вас есть специальные кости с 6 гранями. Если в последний раз номинальное значение равно 1, в следующий раз, когда вы его выбросите, вы все равно получите номинал 1 с вероятностью 0,5 и номинальной стоимостью 2,3,4,5,6 каждый с 0,1 вероятностью. Однако, если в последний раз номинальное значение не равно 1, вы получаете равную вероятность каждого лица. Например,

p(face(0) = k) = 1/6, k = 1,2,3,4,5,6  -- > initial probability at time 0. 
p(face(t) = 1| face(t-1) = 1) = 0.5, p(face(t) = 1| face(t-1) != 1) = 1/6
p(face(t) = 2| face(t-1) = 1) = 0.1, p(face(t) = 1| face(t-1) != 1) = 1/6
p(face(t) = 3| face(t-1) = 1) = 0.1, p(face(t) = 1| face(t-1) != 1) = 1/6
p(face(t) = 4| face(t-1) = 1) = 0.1, p(face(t) = 1| face(t-1) != 1) = 1/6
p(face(t) = 5| face(t-1) = 1) = 0.1, p(face(t) = 1| face(t-1) != 1) = 1/6
p(face(t) = 6| face(t-1) = 1) = 0.1, p(face(t) = 1| face(t-1) != 1) = 1/6
face(t) stands for the face value of t-th throw.

Это пример, когда распределение вероятности для n-й случайной величины (результат n-го броска) является функцией предыдущей случайной переменной в последовательности.

В некоторых сценариях машинного обучения я вижу неидентичные и не независимые (например, марковские) данные, которые можно рассматривать как примеры, не относящиеся к iid.

• Онлайн-обучение с потоковыми данными, когда распределение входящих примеров меняется с течением времени: примеры не распределяются одинаково. Предположим, у вас есть учебный модуль для прогнозирования скорости онлайн-объявлений с кликом, распределение запросов, исходящих от пользователей, меняется в течение года в зависимости от сезонных трендов. Условия запроса летом и в рождественский сезон должны иметь разное распределение.

• Активное обучение, в котором метки для конкретных данных запрашиваются учащимся: также допускается допущение о независимости.

• Изучение/создание вывода с графическими моделями. Переменные связаны через отношения зависимости.

Ответ 2

Вот пример проблемы, которая не является независимой. Определение проблемы: Предположим, у вас есть 2D-изображение, в нем есть капли. Вы хотите создать патч classifer, который работает с патчами изображений 5X5 в качестве входных данных и классифицирует центральный пиксель как "границу" или "не границу". Ваше требование состоит в том, что результирующие классификации каждого патча определяют непрерывный контур (толщиной в один пиксель), который точно отслеживает границу капли. По существу, краевой детектор. Также предположим, что небольшая ошибка неправильной установки границы на несколько пикселей не имеет значения, однако непрерывность граничного контура имеет значение (она не должна иметь никаких разрывов).

Как это не является независимым: Пример 1: Предположим, что у вас есть хороший контур решения. Другое действующее решение B, которое просто сдвинуто вправо на 2 пикселя, отмечает, что большинство классификаций на уровне пикселей различны, но решение остается в силе. Пример 2: предположим, что вы получите действительное решение A, за исключением того, что только один выходной пиксель сдвинут на 2 пикселя для создания вывода C. На этот раз у вас сломанный контур, и решение недействительно. Это демонстрирует, как классификатор должен знать об ответах на другие примеры соседних пикселей, чтобы определить, должен ли определенный пиксель быть классифицирован как граница или нет.

Ответ 3

В очень ручном режиме (так как я предполагаю, что вы прочитали техническое определение), i.i.d. означает, что если у вас есть куча значений, то все перестановки этих значений имеют равную вероятность. Поэтому, если у меня есть 3,6,7, то вероятность этого равна вероятности 7,6,3 равна 6,7,3 и т.д. То есть каждое значение не зависит от других значений в последовательности.

В качестве примера для примера представьте последовательность x, где каждый элемент x_i будет либо на один выше, либо на один ниже, чем предыдущий элемент, с вероятностью 50-50 относительно того, что из этого происходит. Тогда одна возможная последовательность 1,2,3,2,3,4,3,2. Должно быть ясно, что существуют некоторые перестановки этой последовательности, которые не являются равновероятными: в частности, последовательности, начинающиеся с 1,4,..., имеют нулевую вероятность. Вы можете вместо этого рассмотреть пары формы x_i | x_i-1, если хотите.

Ответ 4

Буквально non iid должна быть противоположной iid в любом случае, independent или identical.

Так, например, если монета переворачивается, пусть X - случайная величина события, результатом которой является хвост, Y - случайная величина события, результат - голова, затем X и Y определенно зависят. Их можно решить друг с другом.

Что касается non identical, то когда распределения двух случайных величин не совпадают, их можно назвать неидентичными.

Следовательно, любая из ситуаций случается, вы можете получить пример случая non iid.