Оптимизация размера нейросети обратного распространения Ларько А.А., инженер, ЗАО "Инфоцентр"
    Рассматривается новая "кривая обобщения" - график зависимости критерия (условно названным волновым), основанного на теореме Байеса, от размера (структуры) нейросети. Вычислительные эксперименты показывают, что локальные минимумы данного критерия хорошо соответствуют свойству традиционной зависимости - ошибки обобщения от размера нейросети. Критерий может быть использован для определения оптимального размера нейросети при отсутствии тестовой выборки. 1. Задача определения оптимального размера нейросети
    При создании нейросетей важной задачей является нахождение оптимального размера сети - такого числа скрытых слоёв и нейронов в слоях, которые дадут минимум ошибки обобщения, особенно в случае отсутствия независимой тестовой выборки или сложностью разделить выборку данных на обучающую и тестовую часть.
    Поэтому широко используется парадигма "кривых обучения" - зависимостей ошибок обучения и обобщения от размеров нейросети [1,2]. Оптимуму соответствуют локальные минимумы или моменты выхода графиков на асимптоты.
    Другим классом кривых обучения являются зависимости внутренних свойств нейросети от её размера, сопоставляемые затем с ошибкой обобщения. Например - анализ [1] внутреннего представления задачи, связь ошибки обучения и максимума суммы модулей весов синапсов, приходящихся на нейрон сети, NIC - критерий, сопоставление вектора средних значений модулей весов синапсов [3] и ошибки обобщения. Такие критерии позволяют обходиться без тестовой выборки.
    В работе предлагается новый вариант кривой обобщения - зависимость волнового критерия, от размера (структуры) нейросети. В формализованном виде задача состоит в выборе наилучшей модели (гипотезы, объясняющей наблюдаемые данные) из некоторого доступного множества. Для решения этой задачи надо оценить степень достоверности той или иной гипотезы. Обозначим весь набор имеющихся данных , а гипотезы, объясняющие эти данные (в нашем случае - нейросети), как . Предполагается, что каждая такая гипотеза объясняет данные с большей или меньшей степенью вероятности . Теорема Байеса дает решение обратной задачи - определить степень достоверности гипотез, исходя из их успехов в объяснении данных. Согласно этой теореме, достоверность гипотезы пропорциональна её успеху, а также её априорной вероятности , известной из других соображений, не относящихся к данной серии наблюдений:
    (1)
    Наилучшая модель определяется максимизацией .
    Условием максимума вероятности является минимум ошибки данных на обучающем наборе данных. Наиболее широко используемым методом минимизацией ошибки данных, является метод наименьших квадратов (МНК). В предлагаемом критерии используется модифицированная оценка ошибки по МНК , имеющая вид:
    
    и (2)
    
    где - среднеквадратичная ошибка, N - количество примеров в наборе данных используемых для обучения, - допуск на точность отклика нейросети (выраженный в процентах), Np - количество правильных ответов нейросети на обучающем наборе данных, Kd - значение оценки ошибки данных.
    Для максимизации вероятности , в предлагаемом критерии используется известный факт из теории автоматического регулирования - чем меньше колебательность переходного процесса, тем больше устойчивость регулятора. ............