Кросс-валидация в Weka

Я всегда думал о том, что я прочитал, что перекрестная проверка выполняется следующим образом:

В k-кратной перекрестной проверке исходный образец случайным образом разделен на k подвыборки. Из k подвыборки одна подвыборка сохраняется как данные валидации для тестирования модели, и Остальные k - 1 подвыборки используются в качестве учебных данных. процесс перекрестной проверки затем повторяется k раз (складки), с каждая из k подвыборки использовалась ровно один раз в качестве данных валидации. k результатов из сгибов, то можно усреднить (или иным образом объединить) для получения единой оценки

Так построены k-модели, а последняя - средняя. В руководстве Weka написано, что каждая модель всегда строится с использованием ВСЕГО набора данных. Итак, как работает перекрестная проверка в Weka? Является ли модель, построенная из всех данных, и "кросс-валидация" означает, что k fold создается, каждая оценка оценивается на ней, а конечные результаты результата - это просто усредненный результат из сгибов?

Ответ 1

Итак, вот сценарий снова: у вас есть 100 помеченных данных

Использовать набор тренировок

weka примет 100 помеченных данных
он применит алгоритм построения классификатора из этих 100 данных
применяется этот классификатор AGAIN on эти 100 данных
он предоставляет вам классификатор (применяется к тем же 100 данным, из которых он был разработаны)

Использовать 10-кратное CV

Weka принимает 100 помеченных данных
он производит 10 одинаковых размеров. Каждый набор разделен на две группы: для обучения используются 90 помеченных данных, а для тестирования используются 10 помеченных данных.
он создает классификатор с алгоритмом из 90 помеченных данных и применяет это к 10 данным тестирования для набора 1.
Он делает то же самое для множества от 2 до 10 и производит еще 9 классификаторов
он усредняет производительность 10 классификаторов, полученных из 10 равных (90 учебных и 10 тестовых) наборов

Сообщите мне, если это ответит на ваш вопрос.

Ответ 2

Я бы ответил в комментарии, но моя репутация все еще не позволяет мне:

В дополнение к принятому Рушди ответу я хочу подчеркнуть, что все модели, созданные для наборов сгибов перекрестной проверки, отбрасываются после того, как измерения производительности были выполнены и усреднены.

Полученная модель всегда основана на полном обучающем наборе, независимо от ваших вариантов тестирования. Поскольку M-T-A запрашивала обновление цитируемой ссылки, вот оно: https://web.archive.org/web/20170519110106/http://list.waikato.ac.nz/pipermail/wekalist/2009-December/046633.html/. Это ответ одного из сопровождающих WEKA, в котором указано только то, что я написал.

Ответ 3

Думаю, я понял это. Возьмите (например) weka.classifiers.rules.OneR -x 10 -d outmodel.xxx. Это делает две вещи:

Он создает модель, основанную на полном наборе данных. Это модель, которая написана на outmodel.xxx. Эта модель не используется как часть перекрестной проверки.
Затем выполняется перекрестная проверка. кросс-валидация предполагает создание (в данном случае) 10 новых моделей с обучением и тестированием на сегментах данных, как было описано. Ключом являются модели, используемые при перекрестной проверке, являются временными и используются только для генерации статистики. Они не эквивалентны или не используются для модели, которая предоставляется пользователю.

Ответ 4

Weka следует за обычной k-кратной проверкой перекрестных ссылок, упомянутой здесь. У вас есть полный набор данных, а затем разделите его на k nos равных множеств (k1, k2,..., k10, например, для 10-кратного CV) без перекрытий. Затем при первом запуске возьмите k1 в k9 в качестве учебного набора и разработайте модель. Используйте эту модель на k10, чтобы получить производительность. Далее следуют k1 - k8 и k10 в качестве обучающего набора. Разработайте модель из них и примените ее к k9, чтобы получить производительность. Таким образом, используйте все складки, где каждая сгиб не более 1 раза используется в качестве тестового набора.

Затем Weka усредняет показатели и представляет, что на выходной панели.

Ответ 5

как только мы выполнили 10-перекрестную проверку, разделив данные на 10 сегментов & создайте дерево решений и оцените, что делает Weka - запускает алгоритм одиннадцатый раз для всего набора данных. Это тогда произведет классификатор, который мы могли бы развернуть на практике. Мы используем 10-кратную перекрестную проверку для получения результата оценки и оценки ошибки, а затем, наконец, делаем классификацию еще раз, чтобы получить фактический классификатор для использования на практике. Во время k-й перекрестной проверки у нас будет другое дерево решений, но окончательное будет создано для целых наборов данных. CV используется, чтобы увидеть, есть ли у нас проблемы с переобучением или большим отклонением.