Улучшения для алгоритма обратного распространения ошибки
Алгоритм обратного распространения ошибки сегодня является одним из наиболее распространённых в практике обучения нейросетей. Не всегда можно придумать, чем заменить данный алгоритм. Но чтобы он работал максимально хорошо, нужно каким-то образом преодолеть его недостатки, даже если не в полной мере.
Для начала стоит сказать, что настройка нейросетей – сложное дело, и не всегда можно чётко обосновать, что и как происходит в процессе обучения, потому что нейросеть работает не всегда постижимым способом, особенно большая и разветвлённая. До сих пор во многом верным остаётся утверждение, что обучение нейросети – скорее искусство, чем наука.
Последовательный и пакетный вариант обучения
Последовательный вариант: сеть сначала учится не допускать ошибки при обработке сигнала 1, затем приступает к обучению с сигналом 2.
Недостатки: часто успешное обучение с сигналом 2 уничтожает результаты, достигнутые с сигналом 1.
Решение: используется пакетный способ. В этом случае сначала загружается несколько сигналов, а потом сеть учится избегать ошибок по всем ним одновременно. Правда, такой вариант сложнее, и обучение может затянуться.
Сигналы с разной информационной насыщенностью
Важно научить нейросеть тому, что не все сигналы имеют равный вес. Чтобы этого добиться, используются так называемые акценты.
Вариант 1: Акценты делаются на тех сигналах, обработка которых вызывает больше всего ошибок. Таких сигналов начинают подавать больше.
Вариант 2. Акценты делаются на сигналах, которые наиболее отличаются от других и содержат в себе больше новизны.
Использование таких методов снижает риск того, что система «заточится» на правильную обработку наиболее простых одинаковых сигналов и окажется почти неспособной воспринимать другие.
Придание коэффициента силы сигналу
Если нейросеть большая, то при прохождении через неё электрический сигнал слабеет. По этой причине использование метода обратного распространения ошибки может обернуться тем, что, пройдя сеть в прямом направлении, сигнал ослабеет до такой степени, что дойти обратно уже не сможет.
Какое решение? Если сигнал отправляется обратно от нейронов, близких к выходным, ему придают дополнительную силу, а чем ближе он к началу, тем эта сила меньше. Правильно рассчитать коэффициенты и обязательно учесть эти коэффициенты при анализе результатов обучения — непростая, но очень важная задача.
Несмотря на все эти принципы, итоговый успех обучения нейросети часто зависит от самого разработчика и от того, насколько удачно он подберёт набор методов, что, в свою очередь, определяется в основном его опытом и профессиональной интуицией.
