Я использую эту библиотеку для реализации учебного агента.
Я создал тренировочные примеры, но я точно не знаю, что такое проверки и тестовые наборы.
Учитель говорит:
70% должны быть поездами, 10% будут тестовыми, а остальные 20% должны быть валидационными.
изменить
У меня есть этот код для обучения, но я понятия не имею, когда прекращать обучение.
def train(self, train, validation, N=0.3, M=0.1):
# N: learning rate
# M: momentum factor
accuracy = list()
while(True):
error = 0.0
for p in train:
input, target = p
self.update(input)
error = error + self.backPropagate(target, N, M)
print "validation"
total = 0
for p in validation:
input, target = p
output = self.update(input)
total += sum([abs(target - output) for target, output in zip(target, output)]) #calculates sum of absolute diference between target and output
accuracy.append(total)
print min(accuracy)
print sum(accuracy[-5:])/5
#if i % 100 == 0:
print 'error %-14f' % error
if ? < ?:
break
изменить
Я могу получить среднюю ошибку 0,2 с данными валидации, после 20 тренировочных итераций, которые должны составлять 80%?
средняя ошибка = сумма абсолютной разности между целевым показателем валидации и выходом, с учетом ввода/размера данных проверки достоверности.
1
avg error 0.520395
validation
0.246937882684
2
avg error 0.272367
validation
0.228832420879
3
avg error 0.249578
validation
0.216253590304
...
22
avg error 0.227753
validation
0.200239244714
23
avg error 0.227905
validation
0.199875013416
