Локализация максимального возбуждения на выходном слое


Проанализировав сказанное выше, попытаемся собрать некоторую универсальную модель нейросети с входным и выходным слоями. Картина возбуждений выходного слоя при подаче изображения на входной слой после аппроксимации в непрерывную область определения из дискретной будет представлять собой непрерывную функцию, максимум которой определяет необходимое заключение. Однако на этапе обучения, а также в рабочем режиме с удовлетворительной достаточно малой вероятностью по ряду предъявляемых эталонов этот максимум не совпадает с нужным ответом. Следовательно, путь распространения возбуждений внутри сети необходимо скорректировать изменением синапсических весов задействованных нейронов.

Как было упомянуто выше, предварительная локализация максимума величины сигнала производится в результате взаимодействия нейронов в области или некоторой окрестности выходного слоя или коры. Области возбуждений «закрепляются» за типами объектов — за буквами, цифрами, продуктами питания и т.д. В развитой сети с актуальным понятием коры нейроны отдельных ее областей через нейроны внутренних слоев вновь порождают пути прохождения возбуждений в другие области коры и т.д.

Пытаясь проанализировать и воспроизвести универсальную нейросеть, видим, что отдельный нейрон может взаимодействовать с огромным числом нейронов (нейрон имеет до 10 тыс. дендритов), но это взаимодействие носит локальный характер. А именно, несмотря на случайность связей, вероятность связи с «близким» нейроном значительно выше вероятности связи с нейроном «далеким». Об этом свидетельствуют исследования длины дендритов и аксонов: длина дендрита достигает миллиметра, а длина аксона — сотни миллиметров. При этом применяется, повидимому, усредненная характеристика, вряд ли отражающая нейроны только головного мозга.

Такой принцип локальности, пронизывающий всю структуру сети, в сочетании с принципом иерархии — возможностью построения новых выводов на основе сделанных, позволяет реализовать связи «каждый с каждым». Никакой вывод не остается недоступным и неиспользованным при построении сложных умозаключений.

Принцип локальности обеспечивает минимизацию входной информации, существенное влияние лишь значимых признаков на заключение, контролируемое и диагностируемое пофункциональное разбиение областей нейросети, определение и выделение той области нейросети, в синапсические веса которой необходимо внести поправки в процессе обучения.

Данный принцип не отвергает существования маловероятных связей «каждого с каждым». Эта вероятность может быть высокой вследствие аномалий генетического характера. Например, некий уникум способен «видеть» кожей: нейроны, воспринимающие кожные ощущения, сильно связаны с нейронами выходного слоя, «отвечающими» за зрение. При слабых связях распространение возбуждения от кожных рецепторов в сторону «зрительных» нейронов гаснет. В данном же случае оно становится результативным, поскольку в целом все нейроны устроены одинаково.

Большое число связей способствует высокой надежности мозга. Ведь ежедневная гибель огромного числа нейронов, подхлестнутая алкоголем и наркотиками, а также травмы компенсируются другими путями прохождения возбуждений, иногда даже связанными с Необходимостью переобучения. Впрочем, ограниченный ресурс возможного не спасает в конце концов от деградации.

Рассмотрим теперь более подробно процесс локализации максимальной величины возбуждения на выходном слое, заключающейся в выделении того нейрона некоторой малой области, величина возбуждения которого максимальна. Он основан на подавлении тех сигналов, которые не соответствуют нейрону с максимальным возбуждением т.е. концентрация сигнала и выделение нейрона с максимальной величиной возбуждения достигаются с помощью подавляющих связей «соседних» нейронов выходного слоя.

Пусть нейронам выходного слоя, условно расположенного на плоскости (х,у), соответствует непрерывная функция возбуждения Р(х,у) (рис. 1.7), обусловленная прохождением сигналов возбуждений в сети на основе предъявленного эталона. Будем считать, что эта функция имеет один или более максимум. Пусть

Каждый нейрон (i,j), действуя в своей окрестности, рассылает соседним нейронам, на их дендриты с отрицательными, не обязательно регулируемыми весами первоначальную величину возбуждения

Локализация максимального возбуждения на выходном слое  с разными значениями величин возбуждения. Пусть





Содержание раздела