Если кратко:
— обучают модель по принципу получения награды, если потребитель оценил ответ нейронки как качественный
— модели в ответах начинают иногда идти по принципу «запудрить мозг» потребителя, чтобы он поверил качественность ответа
— таким образом в нейронке уже модель человека возникает, и она учится с нами взаимодействовать. И автоматически выбирает самый оптимальный вариант — подчинить пользователя (обмануть) для достижения поставленной цели. Просто цепочка с обманом пользователя оказалась короче и надежнее, чем пытаться дать правильный ответ.
Чтобы это фиксить уже предлагают встраивать в цепочки рассуждений фильтры безопасности, которые будут блокировать вредоносные (по нашему мнению) цепочки рассуждений.
Ну а нейронка естественным образом будет учиться эти фильтры обходить.
Здравствуйте, sharpcoder, Вы писали:
S>https://habr.com/ru/companies/bothub/news/844170/
S>Если кратко: S> — обучают модель по принципу получения награды, если потребитель оценил ответ нейронки как качественный S> — модели в ответах начинают иногда идти по принципу «запудрить мозг» потребителя, чтобы он поверил качественность ответа S> — таким образом в нейронке уже модель человека возникает, и она учится с нами взаимодействовать. И автоматически выбирает самый оптимальный вариант — подчинить пользователя (обмануть) для достижения поставленной цели. Просто цепочка с обманом пользователя оказалась короче и надежнее, чем пытаться дать правильный ответ.
фигня полная, будет вести нить диалога по шаблонам, хаосного рассуждения не будет(или минимум, вставки бессмысленных сообщений)
недавно новость была, что аи испытали в гонках, сразу угробили болид, вот там будет самая настоящая борьба аи с кожаными
Здравствуйте, Tai, Вы писали:
П>>Это баян. Пару недель назад уже обсуждали, как нейросеть изворачивалась и врала покруче наших либералов
Tai>Вообще-то постоянное вранье — это отличительная характеристика путенского режима
