Сразу примем что у AGI не будет своих желаний, воли, сознания.

Однако же приводят такой пример. Даже если у AGI не будет сознания и воли — он может наделать зла в процессе неверного истолкования поставленной ранее задачи.

Типа поставили задачу — избавить людей от страданий — а оно не так поняло и убило всех людей. Вроде задачу выполнил.

Но! Тут вопрос приоритета. Если сейчас LLM что-то не то пишет — есть же кнопочка остановки. Т.е. весь вопрос сводится вот к чему — сохранится ли приоритет волевого существа (с более низким интеллектом) над AGI. Вроде бы в саму архитектуру встроен этот приоритет — т.е опасения напрасны, получается.