Призраки в машине

Одна из трёх наиболее популярных реакций на идею дружественного искусственного интеллекта такова:

«Вы, конечно, можете велеть ИИ быть дружественным, но если он способен модифицировать свой собственный исходный код, то он просто уберёт все наложенные вами ограничения».

И откуда же это решение возьмётся?

Возникнет ли оно вопреки причинности, не будучи закономерной частью цепочки причин и следствий, начавшейся с изначально написанного исходного кода? Является ли ИИ источником своей собственной свободной воли?

Дружественный ИИ это не эгоистичный ИИ, сдерживаемый отдельным модулем совести, который противостоит естественным желаниям ИИ, заставляя поступать определённым образом. Вы создали сознание, и оно и есть ИИ. Если у вас есть программа, вычисляющая, какой поступок ИИ следует предпринять, ваша работа по созданию ИИ закончена. Фишка дальше не идёт.

Сейчас я приведу несколько цитат с сайта «Компьютерные глупости» по теме «Программирование». (Я не привожу ссылку на сам сайт, так как это ужасная поглощающая время ловушка. Можете гуглить на свой страх и риск).

___________________________________________________________
Я вёл занятия по программированию у студентов колледжа. Некоторые из них не понимали, что компьютер неразумен. В своих программах на Паскале, они оставляли комментарии вроде: «Теперь мне нужно вывести эти буквы на экран». Я спросил одного из них, зачем они так поступают. Студент ответил: «Как ещё компьютер поймёт, что я хочу от него?». Видимо, они полагали, что раз они сами не понимают Паскаль, то компьютер тоже не понимает.
___________________________________________________________
Учась в колледже, я преподавал в школьной математической лаборатории. Однажды ученик подошёл ко мне и пожаловался, что его программа на Бейсике не запускается. Это было задание из курса для начинающих: написать программу, которая бы вычисляла рецепт овсяного печенья, в зависимости от числа людей, для которых вы его печёте. Я взглянул на код его программы и увидел примерно следующее:

10 Разогреть духовку дo 350
20 Поместить все ингредиенты в большую миску
30 Размешивать до получения однородной массы
___________________________________________________________
Студент вводного курса по программированию однажды попросил меня помочь разобраться, почему в результате простого вычисления его программа всегда выдаёт нули. Я взглянул на код программы и ответ был очевиден: