Функция «сумматор» в искусственных нейросетях: как она работает?
При попытке создать искусственный аналог биологической нейросети приходится сталкиваться с неизбежностью упрощений. Например, процесс передачи электрического сигнала на выход нейрона, а затем с выхода нейрона на вход следующего – очень сложен, он задействует электрохимические связи.
Когда проектируется искусственная нейросеть, такого рода связи заменяют математической функцией суммирования. Однако слово функция (кто хорошо знаком с математикой, тот это знает) может означать любое математическое действие над элементами, либо целый комплекс таких действий.
Какие функции чаще всего применяются в качестве сумматоров искусственных нейросетей?
Двоичный определитель силы (функция порога)
Самая простая функция: она оценивает уровень сигнала, исходящего с выхода нейрона, и его силу. Если сила сигнала выше нужного порога, то сигнал передаётся дальше, ему присваивается значение «1″. Если сила ниже порога, он просто гасится, ему присваивается значение «0″.
Это имитирует сложнейшие процессы усиления или ослабления сигналов на межнейронных участках. В биологической сети, конечно, всё происходит не так грубо: сигналы с малой силой затухают постепенно, проходя длинные цепочки нейронов и синапсов. Но, создавая искусственные нейросети, всегда приходится упрощать.
Линейный порог
Эта функция сложнее, потому что, обладая всеми признаками предыдущей (передача «1″ выше определённого уровня и передача «0″ ниже определённого уровня), она может присваивать сигналу промежуточные значения на отрезке между минимумом и максимумом. Например, 0.5, 0.66 или 0.75. Здесь мы видим уже более сложное «мышление»: не один из двух вариантов, а один из трёх, шести и так далее.
Сигмоидная функция
Она так названа по причине того, что, будучи изображённой на графике, воспроизводит латинскую букву S. Её смысл – усиление наиболее слабых сигналов и умеренное восприятие сильных. Причём чем слабее сигнал, тем более она его усиливает (на процент, а не на порядок), а чем сильнее, тем более уменьшает. Такая особенность позволяет улавливать и интерпретировать практически все сигналы, но при этом отсеивать шумы.
В большинстве случаев искусственные нейросети используют именно сигмоидную функцию сумматора, потому что она приводит к минимальным искажениям. Остальные функции используются относительно редко и только там, где это оправдано.
