§ 0.2. О формализации нервных сетей

Наметилось два подхода к моделированию нейронов: одних интересуют модели, наиболее полно воспроизводящие физиологические подробности и особенности работы нейронов; другие стремятся превратить гистологические суждения в суждения о функциях, стремятся дать математическое описание нервной сети, которое может помочь в воспроизведении главного (с позиций бионики) в ее работе - принципов эффективной и надежной переработки информации.

Настоящая работа целиком относится к этому второму направлению моделирования нейронов и нервных сетей. В связи с этим особое внимание будет уделено работам Мак-Каллока^* и его школы по формализации нервных сетей.

^* (Уоррен С. Мак-Каллок (WarrenS. McCulloch) родился в 1898 г. в г. Орендж, штат Нью-Джерси, США. Получил образование в Йельском и Колумбийском университетах. С 1941 по 1952 г.- профессор психиатрии и нейрофизиологии Иллинойского университета. С 1952 г. работает в исследовательской лаборатории электроники Массачузетского технологического института (Бостон). Автор многочисленных работ по функциональной организации коры головного мозга, теории формальных нейронов и нейронных сетей.)

Основная идея Мак-Каллока, обоснованная им совместно с Питтсом в 1943 г. [10], сводится к утверждению, что любые информационные явления в нервных сетях можно анализировать средствами математической логики. Этот вывод базировался на принципе "все или ничего", которому подчиняется работа элементов нервных сетей - нейронов. Таким образом, предпринята попытка описать поведение любой нервной сети на языке математической логики. В той же работе введено понятие формального нейрона, являющегося некоторой абстракцией от нейрофизиологических данных. Нейрон рассматривается в соответствии с классическим определением как единое функциональное целое, без расчленения его на отдельные части. Он является абстрактным логическим элементом с конечным числом входов и одним выходом, находящимися в одном из двух возможных состояний - "возбужден" и "не возбужден"; входы имеют возбуждающие и тормозящие волокна; в синапсе (месте сочленения волокна с телом нейрона) образуется так называемая синаптическая задержка на одну единицу времени; при активировании хотя бы одного тормозящего синапса возбуждение данного нейрона в рассматриваемый момент времени полностью исключается; структура сети во времени остается неизменной. Совокупность конечного числа нейронов, у которых выходы одних соединены со входами других (а также могут замыкаться на свои же входы), образует абстрактную нейронную сеть, являющуюся некоторой моделью нервной ткани. Результаты Мак-Каллока - Питтса, выраженные ими в десяти теоремах работы [10], в методологическом плане философами трактуются в виде одной теоремы. Так, например, в [11] она формулируется следующим образом: всякое функционирование живой нервной сети, которое может быть описано логически при помощи конечного числа слов, может быть реализовано формальной нервной сетью. Отсюда делается закономерный вывод о том, что нет таких функций мышления, которые, будучи познаны и описаны логически, не могли бы быть реализованы формальной нейронной сетью и, следовательно, в принципе воспроизведены автоматом. Иначе говоря, для всякой ситуации, поддающейся описанию некоторым логическим выражением при помощи конечного числа слов, можно построить формальную нейронную сеть, имеющую описываемое этим выражением поведение.

В [12] Мак-Каллок утверждает также, что нейронная сеть может вычислять любую функцию, которую может вычислить машина Тьюринга с конечной лентой, и в этом смысле подобна ей.

Отметим здесь один весьма примечательный факт: порог в модели нейрона Мак-Каллока - Питтса 1943 г. предполагается неизменным, следовательно,предполагаются неизменными и функции, вычисляемые нейроном. Это равносильно утверждению об идеальной надежности нейрона, что далеко от истины как в приложении к живым нейронам, так и к техническим элементам. Кроме того, в модели нейрона 1943 г. не использовался тип волокон, названный в § 0.1 "запрещающим", что также отдаляло модель от ее живого прототипа. Однако в науке общепринят метод, состоящий в тогл, что при изучении сложных явлений вначале выбираются некоторые сравнительно простые ситуации, для которых строится приближенная модель. Это не исключает возможности более полного познания изучаемого явления на следующих ступенях усложнения первоначальной модели. Независимо от степени адекватности модели изучаемому процессу на данной ступени, накопленный на ней материал дает возможность перейти к следующему уточнению модели для удовлетворения более широкого круга требований. Это и сделано Мак-Каллоком, когда от модели нейрона 1943 г. [10] он перешел к модели нейрона 1958 г. [13].

Но этому переходу предшествовали (и его обусловили) идеи Неймана^*. Впервые в истории науки он отказался от рассмотрения идеального автомата, в работе элементов которого предполагается полное отсутствие ошибок. Он предположил, что отказы, сбои, ошибки органически присущи элементам автоматов, и потребовал, чтобы любая теория их синтеза указывала пути построения систем существенно более надежных, нежели составляющие их компоненты. Иначе говоря, задача сводится к построению автоматов, функционирующих правильно при достаточно высоком уровне помех. Надежность работы таких автоматов можно потребовать принципиально сколь угодно высокой и теоретически не зависящей от степени надежности составляющих их элементов [14]. При технической реализации подобных автоматов надежность элементов, разумеется, будет лишь относительно низкой (по некоторым соображениям, она будет по величине превышать 0,5).

Мак-Каллок [13] писал, что Нейман часто удивлялся способности вести автомашину, правильно думать и говорить в состоянии некоторой степени опьянения, которое изменяет пороги нейронов и, следовательно, изменяет вычисляемые ими функции; он говорил, что только такое смещение порогов, которое вынуждает основную массу нейронов вычислять тавтологию или противоречие, приводит к конвульсиям и коме и исключает возможность целесообразного поведения.

^* (Джон (Янош) фон Нейман (John von Neuman) (1903-1957) - выдающийся современный математик. Родился и получил образование в Будапеште. Преподавал с 1927 г. в Берлинском, а с 1930 г. в Принстонском (США) университетах. С 1933 г.- профессор математики Принстонского института высших исследований. Кроме того, с 1940 г. консультант и руководитель ряда военно-научных учреждений, в частности, с 1945 по 1955 г.- директор бюро по проектированию ЭЦВМ. Основные научные работы посвящены функциональному анализу, основаниям математики, квантовой механике, вычислительной технике, теории автоматов, теории игр и их приложениям.)

Исходя из своего принципиально нового подхода к роли ошибки в синтезе автоматов, Нейман [8, 14] пришел к необходимости постановки трех задач: 1) синтез сетей, дающих один и тот же выход при одновременном (и одинаковом) сдвиге порогов у нейронов, так что каждый элемент начинает вычислять некоторую новую функцию от входа (в дальнейшем такие сети получили название логически стабильных сетей); 2) синтез сетей, более надежных, нежели составляющие их элементы (логически надежные сети); 3) синтез нейронов, обеспечивающих при вычислении более высокую гибкость, нежели любые до того используемые в системах элементы.

Основы новой теории ошибки, заложенные Нейманом, по мнению Бира [15], в конце концов должны стать одним из основных методологических орудий кибернетики.

Следуя Нейману и решая поставленные последним задачи, Мак-Каллок предложил в 1958 г. новую модель формального нейрона и нейронной сети [13], в которых ошибку начал рассматривать как нечто органически свойственное реальному поведению. Такой подход не только наиболее интересен для практики, но и является чрезвычайно плодотворным для бионики в целом.

Таким образом, если в первой модели одним из допущений теории являлось отсутствие ошибок в функционировании нейронов (что эквивалентно стабильному порогу), то во второй модели ошибка считается органическим свойством нейрона. Разумеется, второе допущение существенно увеличивает адекватность модели реальности как для живого нейрона, так и для соответствующих радиоэлектронных устройств.

Следует заметить, однако, что в теории формальных нейронов рассматривается только один источник надежности сетей - логическая избыточность (см. § 4.4), которая, по-видимому, является не единственным источником высокой надежности биологических систем [12].

По мнению многих специалистов, теория формальных нейронных сетей представляет собой развитую отрасль бионики, имеющую самостоятельное значение. В этой теории нас будут интересовать возможности реализации бионических принципов надежности, которые, по-видимому, являются весьма перспективными. Безусловно, этот аспект теории не является единственным. Например, теория нейронных сетей все чаще признается основой моделирования высших познавательных функций, и как таковая она должна способствовать решению спорной проблемы "искусственного разума". Вместе с тем представляется бесспорным, что главным на нынешнем этапе развития теории является не получение упрощенной модели нервной деятельности, а использование ее для синтеза надежных автоматов. Конечной целью цикла работ, к которым относится и настоящая книга, является разработка некоторых принципов, могущих в последующем быть использованными для создания совершенных кибернетических устройств, отличающихся подлинной надежностью.