Как добиться инвариантности нейросети
Инвариантами называются разные версии одного и того же объекта/предмета. Например, небо бывает голубым, белым, синим, чёрным – но всё равно остаётся небом. А пирожки остаются пирожками, независимо от начинки, формы и размера. Для человека всё это естественно, но как обучить искусственную нейросеть различать меняющиеся объекты либо разные версии одного и того же, и не путаться в них?
К примеру – если кубик вращать вокруг своей оси, то на каждый градус поворота он будет выглядеть иначе для фиксированной камеры. То же самое и с призмой. Получается, что обучить систему отличать куб от призмы становится намного сложнее, если допустить вращение и разные ракурсы. А если допустить ещё разный цвет и размер, а также то, что у отдельных экземпляров могут быть отдельные дефекты? В этом случае задача невероятно усложняется.
Сегодня существует как минимум три варианта того, как обучить нейросеть распознавать меняющиеся объекты.
Структурный метод
В этом случае мы используем синаптические связи таким образом, чтобы они подавали один и тот же сигнал на выход при любом из множества входных вариантов. Проще говоря, призма будет представлена в памяти нейросети не как одна «картинка», а как несколько десятков. И любой из них выдаст один и тот же результат.
Недостаток метода – большая нагрузка на синаптические связи.
Метод обучения
В этом случае разные объекты подаются на нейросеть всегда в виде разных вариантов. Если же нейросеть определяет два варианта призмы как разные типы фигур, то ошибка корректируется, и так до тех пор, пока проблема не будет устранена.
Плюсом такого метода является то, что в будущем система сможет сама определить новый вариант всё той же призмы именно как призму, даже если не встречалась с ним ранее. Это уменьшает затраты времени и усилий на обучение и контроль сети. Недостаток метода – ещё более высокая ресурсоёмкость.
Метод распознавания признаков
На сегодняшний день считается одним из лучших. Используя этот метод, система определяет значимые признаки объекта и отбрасывает незначимые. Примерно так же выглядит обучение ребёнка, который понемногу постигает, что стул остаётся стулом, будь он металлическим, деревянным или пластиковым, с тремя или четырьмя ножками, потому что главное в стуле – это наличие ножек, сиденья и спинки, всё остальное – инварианты.
Большим плюсом такого метода является то, что уменьшаются нагрузки на нейросеть, потому что не нужно хранить в памяти бесконечное количество загруженных ранее «стульев», а можно быстро проанализировать новый объект по имеющимся признакам. Ещё один плюс – новые объекты распознаются с той же скоростью, что и ранее использовавшиеся. В целом данный вариант считается лучшим на сегодняшний день, и скорее всего, дальнейшее развитие нейросетей пойдёт по этому пути.
