Каналы, по которым информация в нейросетевой вычислительной системе подается процессорным элементам, называются взвешенными связями (weighted connections) или взаимными связями (interconnects). Совокупность взвешенных связей образует ассоциативную память сети.
Основная архитектурная компонента нейронной сети, состоящая из множества процессорных элементов с одинаковыми функциональными возможностями и занимающая в сети положение, соответствующее определенной стадии обработки, обозначается термином «слой» (layer). Большинство нейросетевых методов являются многослойными нелинейно-регрессионными методами, в которых определенное число входных данных (входов) соотносится с одним или большим числом выходов. АНС имеет двухслойную архитектуру: входной слой с размерность, равной размерности входных данных, и выходной . двумерный слой, образующий плоскость выходных параметров. Существуют более сложные многослойные адаптивные сети (например, перцептрон), в которых между входными и выходными слоями располагаются так называемые скрытые слои. Критические скрытые слои, которые содержат меньше нейронов, чем входной и выходной слои в отдельности, вынуждены пропускать через каждый из своих нейронов тем больше информации, чем меньше размер такого слоя. За счет этого достигается большее сжатие информации, чем в АНС. Однако определение размерности скрытых слоев связано с большими сложностями, поэтому в рамках данной монографии эти виды сетей рассматриваться не будут.
В алгоритме АНС используется так называемое обучение без учителя (unsupervised learning), при котором для получения правильного отклика на заданный входной стимул учитель не используется. Часто этот термин является синонимом кластеризации. Система должна организоваться сама только на основе полученных ею входных стимулов. Самоорганизация (self-organization) представляет собой адаптивное изменение структуры нейронной сети или соответствующих ей взвешенных связей в результате отклика на обучающие стимулы. В алгоритмах, использующих обучение с учителем (supervised learning) «учитель» используется, для того чтобы показать системе желаемые отклики на входные стимулы, обычно в виде желаемых выходных сигналов.
Модель АНС использует так называемое «соревновательное обучение» (competitive learning), представляющее собой набор правилобучения, при котором процессорные элементы соревнуются между собой по отклику на заданный входной стимул. Нейрон-победитель и окружающие его элементы затем адаптируются таким образом, чтобы больше походить на входной вектор. Различные элементы адаптируются к различным входным стимулам. При этом в большинстве случаев, АНС можно отнести к группе сетей с прямыми связями (feed forward network), в которых информация передается только в одном направлении (от входа к выходу). В подобных сетях отсутствуют петли обратных связей от обрабатывающих к предыдущим элементам. Обратное распространение (back propagation), под которым понимается передача информации от выхода к входу сети, как правило, используется лишь в многослойных нейронных сетях. Однако в ряде случаев обратное распространение применимо и в сетях типа АНС. В частности, при распознавании образов или классификации с учителем распространение по обратной связи используется для передачи информации об ошибке. Вместо обратного распространения при распознавании образов может использоваться также дельтаправило обучения (delta rule learning). Этот алгоритм представляет собой разновидность обучения, при которой веса нейронов изменяются таким образом, чтобы уменьшить различие между наблюдаемым и желаемым выходом обрабатываемого элемента. Синонимом этого понятия является метод обучения Роббинса-Монро (RobbinsMonro).
Расширив понятийный аппарат, вернемся к описанию нейросетевой модели АНС.
Все векторы наблюдений r (t) , для которых модельный вектор появляется ближайшим, также выбирают П m в качестве победителя, и могут рассматриваться как «отображаемые» на него. Таким образом, каждый модельный вектор аппроксимирует в пространстве наблюдений целую область входных наблюдений. Сеть, образованная векторами П m , сначала принимает форму, которая наилучшим образом соответствует примерам данных, а затем уравнения (1) и (2) задают нелинейное отображение пространства векторов r (t) на эту сеть. При этом используются нелинейные функции передачи и конкуренция между нейронами сети.
