2. Выходные нейроны (те, значения которых представляют выход сети).
3. Промежуточные нейроны (составляют основу искусственных нейронных сетей).
Топология нейронных сетей
Классификация по топологии:
- полносвязные сети;
- многослойные, или слоистые сети;
- слабосвязные сети (нейронные сети с локальными связями).
Полносвязные представляют собой искусственную нейронную сеть, каждый нейрон которой передает свой выходной сигнал остальным нейронам в т.ч. и сам себе, т.е. все выходные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторый выходные сигналы нейронов после нескольких тактов работы сети.
Многослойные нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входящими сигналами. Число нейронов в каждом слое может быть любым и это никак не связано с количеством нейронов в других слоях. В общих слоях такая сеть состоит из Q-слоев. Слои нумеруются слева направо. 1-й слой нумеруется нулевым. Кроме входящих и выходящих слоев в многослойной нейронной сети есть 1 или несколько промежуточных (скрытых) слоев. Связи от выходов некоторого слоя q поступают на вход слоя (q+1) – эти связи называются последовательными.
В свою очередь среди слоистых сетей выделяют следующие типы:
1. Монотонные.
2. Сети без обратных связей.
3. Сети с обратными связями.
1) Монотонные сети.
Каждый слой, кроме последовательного выходного, разбит на 2 блока: возбуждающий (В) и тормозящий (Т). Связи между блоками тоже разделены на возбуждающие и тормозящие.
Если от блока А к блоку С идут только лишь возбуждающие связи, это означает, что любой выходящий сигнал блока С является монотонной неубывающей функцией блока А. Если, наоборот, эти связи только тормозящие, то любой сигнал блока С является невозрастающей функцией выходящего сигнала блока А.
Для элементов монотонных сетей необходимо монотонная зависимость выходящего сигнала от входящего сигнала.
2) Сети без обратных связей.
Нейроны, входящие в слои получают входящие сигналы, преобразовывают их и передают сигналы нейронам 1-го скрытого слоя. Дальше срабатывают нейроны 1-го скрытого слоя, передают сигналы на 2-й скрытый слой и т.д. если не оговорено противное, то каждый выходной сигнал q-го слоя передается на любой нейрон (q+1)-слоя.
Однако, возможны варианты соединения q-слоя с (q+p)-слоем (p 
).
Одним из классических вариантов слоистых сетей является сети прямого распространения.
3) Сети с обратной связью.
У них информация с последующих слоев можно передать на предыдущие.
Сети можно разделить по принципу структуры нейронов:
- гомогенные (состоят из нейронов одного вида с единой функцией активации)
- гетерогенные (могут входить нейроны с различными функциями активации)
Бывают:
- бинарные сети (оперируют только лишь двоичными сигналами; выход каждого нейрона принимает только 2 значения: логичный 0 (заторможенное состояние) и логичный 1 (возбужденное состояние))
- аналоговые сети
Сети:
- асинхронные (в каждый момент t меняет свое состояние только лишь 1 нейрон)
- синхронные (в каждый момент t состояние меняется у группы нейронов (всего слоя))
Существует также классификация по количеству слоев. Теоретически число слоев и число нейронов в каждом слое может быть произвольным количеством.
Чем сложнее нейронная сеть, тем масштабнее задачи, которые могут на ней решатся.
Теорема о полноте.
Любая непрерывная функция на замкнутом ограничении множестве может быть равномерно приближена функциями, вычисленными нейронными сетями.
Нейронные сети являют универсальными аппроксимирующими системами.