Опасен ли искусственный интеллект?

Это весьма серьезный вопрос. Искусственный интеллект должен быть сильным, он настолько должен в перспективе превосходить мозг человека, насколько, скажем, термоядерная бомба превосходит артиллерийский снаряд. Не выйдет ли тогда искусственный интеллект из-под контроля человека, не окажется ли в будущем человек на земле в таком же положении, в каком сейчас находится комар?

Человек силен своим сознанием. Опасность, очевидно, возникнет тогда, когда "сознание" искусственного интеллекта будет мощным. Поэтому попытаемся сначала определить, что такое сознание (с кибернетической точки зрения), чтобы при проектировании искусственного интеллекта не совершить роковой ошибки.

Представим, что искусственная полная система управления работает без подпрограммы самообучения, т. е. по фиксированной (консервативной) программе переработки информации (принятие решения), программе, приспособленной для решения какой-либо узкой задачи. Никакой опасности в этом случае быть не может. Пока искусственный интеллект пребывает в этом состоянии, как бы он не был силен, он совершает одну и ту же полезную работу. Это важный факт. В этом случае сознание у искусственного интеллекта отсутствует, мы имеем дело со способным интеллектуальным роботом, но этот робот не осознает ни внешний мир, ни самого себя. Человечество в безопасности.

Но оптимальна ли эта фиксированная программа по переработке информации у такого робота? На это мало надежд, если не ввести обратную связь от внешнего мира, т. е. подпрограмму самообучения, в основе которой лежит сравнение поставленной цели с достигнутым результатом. Как только появляется эта обратная связь, как только система управления начинает получать информацию от внешнего мира о результатах своей работы и эта информация воздействует на программу переработки информации, система управления начинает "чувствовать" внешний мир и самое себя - появляются зачатки "сознания".

Если программа обслуживает узкую задачу и эта программа единственная у системы управления, то сознание в "зачаточном" состоянии. Если же ввести в устройство по переработке информации превеликое множество программ при наличии подпрограммы самообучения, можно считать, что у этой системы управления аналогично человеку присутствует сознание.

Поэтому напрашивается путь, который может привести к созданию сильной программы для мощной системы управления (с помощью подпрограммы самообучения), но безопасный для человечества: эту подпрограмму включать избирательно для той конкретной программы переработки информации, которая нуждается в совершенствовании. Так электронный бык автоматически превращается в электронного вола.

С этой точки зрения напрашивается сравнение сознательной и подсознательной сторон мышления человека. После того, как человек отработает программу решения какой-либо узкой задачи, решение этой задачи идет по "подсознательному" каналу, сознание уже не нужно, подпрограмма самообучения выключена, ибо основная программа отработана. Видимо, это выгодно: подсознательное мышление человека обладает существенно большим быстродействием, ибо оно минует подпрограмму самообучения.

Начинающий водитель автомашины знает последовательность операций, необходимых для переключения скоростей, но выполняет операции медленно, неуверенно, ибо мыслит еще с использованием подпрограммы самообучения: сравнивает поставленную цель с достигнутым результатом. Спустя некоторое время достигается автоматизм переключения скоростей. Это означает, что основная программа по переработке информации отработана (стала консервативной), подпрограмма самообучения выключена (водитель не сознает своих действий!), ноги и руки водителя при переключении скоростей работают быстро (автоматически), - ему можно выдавать удостоверение на право вождения автомобилем.

Таким образом, сознательная и подсознательная стороны мышления человека с кибернетической точки зрения однотипны и, видимо, и то и другое мышление протекают по однотипной программе. Отличаются они по быстродействию и консерватизму основной программы. Подсознательное мышление протекает быстро, но по консервативной программе, сознательное - медленно и по устанавливающейся программе. Считать подсознательное мышление каким-то недоступным для изучения, имеющим принципиальные отличия от сознательного (как это утверждают некоторые ученые), видимо, нет оснований. Если человек не осознает своих действий, это не значит, что действия непознаваемы. Сильный искусственный интеллект, который будет создан и не будет иметь сознания (подпрограммы самообучения), будет иметь фиксированную консервативную программу по переработке информации, т. е. подсознательное мышление. Однако его мышление вполне "познаваемо", ибо программа задана. Итак, наличие подпрограммы самообучения неразрывно связано с сознанием.