Обучение нейронных сетей на множестве примеров дает наилучший результат в случае использования типичных входных данных. Выбирая наиболее типичные входные векторы, можно уменьшить уровень информационных помех, что позволит получить более четкое изображение на плоскости выходных параметров. Это изображение может затем использоваться для проверки на всей оставшейся части множества данных. Кроме того, использование входных векторов, соответствующих выбросам, может иметь решающее значение для обучения АНС в зависимости от их положения. При условии, что упомянутые векторы являются прототипами, выбросы делают изображение на плоскости выходных параметров более контрастным, что может подчеркнуть различия между кластерами. Однако за счет этого может произойти уменьшение чувствительности остальных участков плоскости. Если выбросы не являются характерными, их целесообразно все же исключить.
На практике обучение АНС, как правило, производится в два этапа. На первом этапе обучения используются наиболее типичные данные, и рассчитывается приблизительная структура плоскости выходных параметров. На втором этапе используется весь входной массив данных, и устанавливаются более тонкие различия между входными векторами.
Подобный двухэтапный цикл обучения можно также реализовать, выбирая для разных циклов различные скорости обучения и радиусы взаимодействия нейронов.
В первом цикле начальная скорость обучения соответствует чаще всего 0,5 и уменьшается с течением времени.
Во втором цикле скорость обучения может первоначально быть гораздо меньше, например 0,02, и также уменьшаться со временем. Радиус взаимодействия нейронов составляет сначала обычно половину диаметра сети и затем уменьшается до нуля. В некоторых программных пакетах определять скорость обучения не требуется. Вместо этого формируется пакет приращений скорости обучения для каждого этапа.
