Перцептрон как двоичный фильтр
Анализ работы перцептрона показывает, что перцептрон осуществляет разделение образов по признаку иг принадлежности к области, лежащей по ту или иную сторону некоторой плоскости, т. е. реализует проверку неравенств. Устройства, алгоритм работы которых состоит в нахождении свертки двух функций или скалярного произведения двух векторов, называются корреляторами. Как известно, корреляторы являются оптимальными (по некоторому критерию) фильтрами для выделения одного сигнала на фоне другого. Следовательно, обученный перцептрон можно рассматривать как оптимальный фильтр для разделения случайных векторов, выраженных двоичными кодами.
При этом важнейшим свойством перцептрона является возможность его самонастройки в процессе обучения, т. е. способность находить такую плоскость, характеризуемую вектором В, которая наилучшим образом осуществляет разделение образов обучающей выборки. Если обучающая выборка достаточно представительна, то можно ожидать, что и в дальнейшем будет осуществляться достаточно хорошее разделение для всех представителей обоих классов. Таким образом, можно считать, что перцептрон является разновидностью самонастраивающегося оптимального фильтра. При этом входные величины, характеризующие образ, в результате их преобразования на пороговых элементах дают двоичный код, определяющий каждый из распознаваемых образов.
Однако далее в перцептроне вновь приходится переходить к аналоговым схемам памяти для реализации весовых элементов. Это существенно усложняет схему перцептрона. Было бы естественно и более просто технически вести обучение и дальнейшее распознавание, оставаясь в поле двоичных чисел, т. е. оперируя непосредственно кодами. При этом в соответствии с теорией, для оптимального распознавания, можно поступать двояко. Можно либо распознавать вектор-X (в данном случае двоичный вектор) путем скалярного умножения его на вектор b, получаемый в результате преобразования средних значений исходных параметров, т. е. в результатё пропускания их через некоторый фильтр, свойства которого определятся статистикой исходных параметров (роль такого вектора в перцептроне играют весовые коэффициенты); либо с самого начала так преобразовать параметры, чтобы их новые значения были статистически независимыми (корреляционная матрица была бы диагональной), тогда разделяющая поверхность определится как скалярное произведение вектора новых переменных на вектор разности их средних значений. Для реализации в перцептроне второй способ более удобен, так как обычно связи перцептрона со входными пороговыми элементами выбираются, случайно, что должно приводить на выходе пороговых элементов к статистической независимости знаков в коде, характеризующем объект.
Следовательно, задача обучения перцептрона состоит в выборе из всех кодов объектов обучающей выборки, кода, наиболее близкого к среднему коду. Определим критерий и алгоритм выбора среднего кода. Известно, что коэффициент корреляции двух кодов равен разности величин d и d, где d — хэмингово расстояние между кодами, или число различных разрядов в сравниваемых кодах, ad — число одинаковых разрядов: R= d — d. Следовательно, величина d однозначно определяет коэффициент корреляции при постоянной длине кода и является хорошим критерием степени сходства двух кодов. Чем меньше d, тем более сходны коды.
Основываясь на указанном критерии, получаются возможные алгоритмы обучения, т. е. порядок выбора такого среднего кода, или кода сравнения, который давал бы наибольшую величину кодового расстояния dl2 между представителями кодов различных объектов и наименьшую величину dn — для всех представителей кода одного объекта.