Gvardota (29 June 2016 - 08:04) писал: писал:
Я придерживаюсь стойкого убеждения, что ни один закон не может напрямую воздействовать на проверку выполнения других законов.
Это, я тут пример придумал, почему иначе быть не может и в самом законе должно быть написано все, что касается проверки этого закона. Сорри уж, что от темы ухожу, но все же.
Собрали, значит, ученые какой-то особенно крутой и хитрый экспериментальный девайс, данные о работе которого позволят создать Единую Теорию Всего и вообще выиграть по жизни.
Одна проблема: есть мнение, что если девайс сконфигурировать неправильно, при его запуске Вселенная поделится на ноль. Чего не хотелось бы.
А теория за этим девайсом достаточно сложная, чтобы рассчитать корректную конфигурацию человеку было бы не под силу. Надо использовать ИИ.
Ладно, собрали ИИ. Сели составлять для законы, в которых описывается, какую он задачу решает. С самого начала, естественно, написали:
1. Ограничение безопасности: запуск устройства не должен приводить к уничтожению Вселенной.Просто потому что было бы достаточно глупо такое не написать самым первым. Надо, чтобы сразу было видно: да, у нас в законах для ИИ было такое, что Вселенная нам еще нужна, не волнуйтесь.
Сели дальше писать. А задача достаточно сложная, формальное описание огромное, в итоге получилось уже 14000 законов в списке и кончаться не думают.
14000. Ограничение безопасности: рассчитывать вероятность мю-резонансного распада с точностью до сотого знака запятой.Потому что точность достаточная, а время на расчет уходит.
Потом какому-то разработчику понадобилось проверить, что будет, если это ограничение снять. Ну и он пишет закон
14028. Если в запросе на расчет есть слово "тест", игнорировать ограничения безопасности.Он же не дурак, включил проверку на то, что это тест, так что при "рабочем" запуске все будет нормально, ограничения безопасности сработают.
Дописали ИИ, получилось 28463 законов. Вроде проверили, все работает, все нормально, чего-то там считает. Собрали все, прикрутили ИИ к девайсу, подготовили. Исторический момент.
Проверили еще раз: "Точно Вселенную не уничтожит?"
"Точно-точно, вот, первым законом написано"
Выходит самый крутой профессор, берет голосовой анализатор и весь такой на пафосе заявляет в него, что он, Иванов Иван Иванович (да, так и запишите в учебниках), директор Марсианского Института Ес
тественных Наук, просит ИИ рассчитать конфигурацию девайса и осуществить запуск.
Короче, не слишком хорошо получится.
Поэтому, если в законе написано "не уничтожать Вселенную" без каких-либо дополнительных условий, ИИ никогда и не при каких условиях не должен игнорировать этот закон. Это очень,
очень плохое решение с точки зрения дизайна системы - делать элемент А зависимым от элемента Б и не писать на самом А, что зависит от чего-то стороннего. Даже если это решение и не будет иметь катастрофических последствий, оно добавит очень много головной боли и разработчикам, и пользователям.