Вероятностная нейронная сеть
(4 часа)
6.1 Цель работы: Получить практические навыки создания и использования вероятностной нейронной сети для решения задачи классификации образцов.
6.2 Вероятностная нейронная сеть
При решении задачи классификации можно оценить плотность вероятности для каждого класса, сравнить между собой вероятности принадлежности образца различным классам и выбрать из них самый вероятный.
Вероятностная нейронная сеть является аналогом обобщенно-регрессионной нейронной сети, но она разработана специально для решения задачи классификации образцов. Использование вероятностной НС основано на ядерных оценках плотности вероятности. Можно рассуждать так: тот факт, что наблюдение расположено в данной точке пространства свидетельствует о том, что в этой точке имеется некоторая плотность вероятности. Вблизи наблюдения имеется большее доверие к уровню плотности, а по мере отдаления от него доверие убывает и стремится к нулю. В методе ядерных оценок в точке, соответствующей каждому наблюдению, помещается некоторая простая радиусная функция, затем все они складываются, и в результате получается оценка для общей плотности вероятности. Чаще всего в качестве ядерных функций берутся гауссовы функции (в форме колокола).
Вероятностная нейронная сеть имеет следующую архитектуру: входной слой, слой радиальных базисных элементов (слой образцов) и выходной слой (слой суммирования). Радиальные элементы берутся по одному на каждое обучающее наблюдение. Каждый из них представляет гауссову функцию с центром в этом наблюдении. Каждому классу соответствует один выходной элемент. Каждый такой элемент соединен со всеми радиальными элементами, относящимися к его классу, а со всеми остальными радиальными элементами он имеет нулевое соединение. Таким образом, выходной элемент просто складывает отклики всех элементов, принадлежащих к его классу. Выходной слой работает по принципу "победитель получает всё" (функция compet), т.е. на выход подается единица по классу, имеющему максимальную накопленную сумму, а на выходные элементы, соответствующие другим классам, подаются нули.
Вероятностная нейронная сеть имеет единственный управляющий параметр, значение которого должно выбираться пользователем – степень сглаживания (или отклонение гауссовой функции, spread). Этот параметр выбирается из тех соображений, чтобы "шапки" радиусных функций перекрывались: выбор слишком маленьких отклонений приведет к острым аппроксимирующим функциям и неспособности сети к обобщению, а при слишком больших отклонениях будут теряться детали. Требуемое значение несложно найти опытным путем, подбирая его так, чтобы контрольная ошибка была как можно меньше. Стоит отметить, что вероятностные нейронные сети не очень чувствительны к выбору параметра сглаживания.
Наиболее важные преимущества вероятностных сетей состоят в том, что выходное значение имеет вероятностный смысл (и поэтому его легче интерпретировать), и в том, что сеть быстро обучается. Существенным недостатком таких сетей является их объем. Вероятностная сеть фактически вмещает в себя все обучающие данные, поэтому она может потребовать много памяти и медленно работать.
6.3 Изучаемые функции