Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.
Нет, он не работает. Галлюцинации неприемлемы. ИИ должен либо давать верный ответ, либо честное "я не знаю".
Ибо если я должен проверять каждый ответ, то зачем такой ИИ вообще нужен? Не проще ли сразу обратиться к надёжному источнику?

Не может он работать по трём причинам:
1)Нейросеть это аппроксиматор. То есть в лучшем случае НС можно довести до состояния, когда в большинстве случаев она будет не сильно врать.
А нам нужен точный ответ всегда.

2)НС имеет определённую емкость. Просто по тому, что количество параметров фиксировано. Соответственно каждый раз, когда в НС добавляется новый факт, есть шанс что он столкнётся с уже добавленными фактами, и они исказят друг друга непредсказуемым образом. И чем больше фактов добавлено, тем выше вероятность столкновения. Со временем она достигнет 100%. А количество фактов растёт постоянно.
Именно из-за ограниченной ёмкости нейросети для GPT имеют такой неадекватный размер. Иначе туда тупо не влезает нужное количество фактов.

3)Я кто-то задавался вопросом: А что авторы GPT аппроксимируют?
НС это непрерывная функция, определённая на всём наборе входных параметров.
Факты это разряженное облако не связанных между собой точек определённое только в этих точках.
Ты либо знаешь, либо нет.
Сколько у меня домашних животных?
Даже если идеальному ИИ дать всю информацию обо всех людях, но исключить информацию о моих домашних животных то единственный приемлемый ответ на этот вопрос будет "я не знаю".
Любая попытка заполнить пространство между точками приведёт к генерации бесконечного количества бреда.
А НС именно для этого и созданы. На вход алгоритму обучения НС дают облако точек, и он создаёт функцию, которая заполняет пространство между точками.

Это три источника галлюцинаций. И все они являются неотъемлемыми свойствами НС.

Для сравнения пример задачи, которая хорошо решается нейросетями: Распознавание текста в картинке.
1)Входные данные по своей природе шумные. Как следствие приблизительное решение неизбежно.
2)Количество символов используемых людьми конечно. Как следствие НС можно сделать достаточно большой, чтобы в неё влезла информация обо всех символах. И в тоже время достаточно маленькой чтобы не происходило переобучение(overfitting).
3)Символы можно плавно масштабировать, вращать, искривлять итп. Соответственно тут явно просматривается непрерывная функция.

Здравствуйте, WolfHound, Вы писали:

WH>Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.
WH>Нет, он не работает. Галлюцинации неприемлемы. ИИ должен либо давать верный ответ, либо честное "я не знаю".
WH>Ибо если я должен проверять каждый ответ, то зачем такой ИИ вообще нужен? Не проще ли сразу обратиться к надёжному источнику?

Ущербны люди, которые уверовали в приход сильного ИИ. А LLM не ущербны, а лишь выполняют свою задачу. А принцип работы понять проще, если обратиться к классическим языковым моделям, например, N-gram. Даже при ширине контекста 3 или 4 уже можно генерировать вполне связные тексты, а LLM просто кратно увеличивает это значение (это если по-простому объяснять), от чего создаётся впечатление, что у машины появился разум.

WH>Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.
Всё так. Собственно даже Сэм Альтман не раз говорил что реальный AGI, ради которого OpenAI типа существует, вряд ли будет построен на тех же технологиях что и GPT.

WH>Нет, он не работает. Галлюцинации неприемлемы. ИИ должен либо давать верный ответ, либо честное "я не знаю".
Не только. Ещё и если попросят, ИИ должен планировать "эксперимент" или набор уточняющих вопросов чтобы узнать неизвестное. А ещё понимать что входные данные — пришли с противоречиями, и придумывать минимальный набор действий/вопросов чтобы противоречия устранить. Короче ещё дофига всего того, что нейросети в чистом виде не делают.

WH>Даже если идеальному ИИ дать всю информацию обо всех людях, но исключить информацию о моих домашних животных то единственный приемлемый ответ на этот вопрос будет "я не знаю".
Для того чтобы начать достаточно точно симулировать AGI, насколько я я понимаю последние статьи и интервью, все создатели ИИ рассчитывают на качественное обучение + огромный контекст. Т.е. нейросеть будет обучена на однозначном и непротиворечивом наборе данных. Огромном наборе, в котром, среди прочего будет и представление о "не знаю" и примеры работы по устранению противоречий, и примеры логического вывода. Но данных обо всех людях, включая тебя, в обучении не будет. Просто, когда ты спросишь "сколько у меня животных?", она вытащит всё что сможет найти о тебе в фэйсбуках/инстаграмах/RSDN, включая фотки с тобой, видео с тобой, и т.д. Получится здоровенный такой контекст "о тебе", размером в миллионы токенов. И уже по этому контексту нейросеть будет делать вполне логический вывод, есть животные, нет животных, или "не знаю".

Собственно, основное соревнование прямо сейчас идёт именно по умению из как можно большего контекста вытащить один единственный запрятанный факт. Сейчас типа хорошо, это когда на 1 миллион токенов (час видео 1 кадр/с или 11 часов аудио или 700 тысяч слов), спрятан один факт (кадр видео, набор слов), и модель находит это по запросу в 98% случаев. И все наперегонки бегут за контекстом в 10 миллионов токенов.

Вот так они хотят свести галлюцинации до приемлемо низких значений.

Здравствуйте, WolfHound, Вы писали:

WH>Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.
WH>Нет, он не работает. Галлюцинации неприемлемы.

Почему неприемлемы. Если так подумать вот оно отличное название для собственного искусственного интеллекта, "Галлюцинатор". А работает ли естественный интеллект без постоянных галлюцинаций. Что, прямо у людей в сознании рождаются адекватные реальности образы. Я в этом сильно сомневаюсь.

https://www.youtube.com/watch?v=uVaek2obszM

Здравствуйте, WolfHound, Вы писали:

WH>Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.
WH>Нет, он не работает. Галлюцинации неприемлемы. ИИ должен либо давать верный ответ, либо честное "я не знаю".
Программа, удовлетворяющая этим требованиям едва ли сложнее, чем "Hello, World", а главное — она работает. Только кому нужна?

Здравствуйте, WolfHound, Вы писали:

WH>Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.

Всё так, но причём тут какие-то "аппроксимации"? Для большинства (а может и для всех) полезных применений нужен инструмент, работающий со смыслами (например, секретарша). GPT таким не является. Всё.

Здравствуйте, WolfHound, Вы писали:

WH>Ибо если я должен проверять каждый ответ, то зачем такой ИИ вообще нужен? Не проще ли сразу обратиться к надёжному источнику?
WH>Не может он работать по трём причинам:
WH>1)Нейросеть это аппроксиматор. То есть в лучшем случае НС можно довести до состояния, когда в большинстве случаев она будет не сильно врать.
WH>А нам нужен точный ответ всегда.

Потрясающе (tm)

Сначала мы пытаемся воспроизвести человеческий разум.
А потом удивляемся, что он ведёт себя как человек — врёт, ошибается, путает всё на свете, имеет несовершенные органы чувств и аппроксимирует то, чего не в состоянии воспринять, обладает нестабильным состоянием...

Может, перестать пытаться забивать гвозди сырниками?

И кому это "нам" нужен точный ответ? Я вот предпочёл бы больше кругозора и решений, до которых я бы в принципе не додумался. Проверить точность можно и другими средствами.

WH>Любая попытка заполнить пространство между точками приведёт к генерации бесконечного количества бреда.
WH>А НС именно для этого и созданы. На вход алгоритму обучения НС дают облако точек, и он создаёт функцию, которая заполняет пространство между точками.

WH>Это три источника галлюцинаций. И все они являются неотъемлемыми свойствами НС.

Ну и отлично.

Здравствуйте, cppguard, Вы писали:

C>Ущербны люди, которые уверовали в приход сильного ИИ. А LLM не ущербны, а лишь выполняют свою задачу.
А какая у LLM задача?
Всё что я вижу это генерация правдоподобного бреда.

C>А принцип работы понять проще, если обратиться к классическим языковым моделям, например, N-gram. Даже при ширине контекста 3 или 4 уже можно генерировать вполне связные тексты, а LLM просто кратно увеличивает это значение (это если по-простому объяснять), от чего создаётся впечатление, что у машины появился разум.
Это я давно понял. Вот только рекламируют их немного другими словами...

Здравствуйте, hi_octane, Вы писали:

_>Всё так. Собственно даже Сэм Альтман не раз говорил что реальный AGI, ради которого OpenAI типа существует, вряд ли будет построен на тех же технологиях что и GPT.
За имя OpenAI должно полагаться какое-то наказание. Ибо ничего открытого там нет.

_>Не только. Ещё и если попросят, ИИ должен планировать "эксперимент" или набор уточняющих вопросов чтобы узнать неизвестное. А ещё понимать что входные данные — пришли с противоречиями, и придумывать минимальный набор действий/вопросов чтобы противоречия устранить. Короче ещё дофига всего того, что нейросети в чистом виде не делают.
Нейросети в принципе знания обрабатывать нормально не могут.

_>Для того чтобы начать достаточно точно симулировать AGI, насколько я я понимаю последние статьи и интервью, все создатели ИИ рассчитывают на качественное обучение + огромный контекст.
Не может помочь в принципе. Ты либо знаешь, либо нет.

_>Т.е. нейросеть будет обучена на однозначном и непротиворечивом наборе данных.
Интересно где они его возьмут?

_>Огромном наборе,
Особенно огромный.

ИИ сам должен понимать, что данные противоречивы. Иначе ничего работать не будет в принципе.

_>в котром, среди прочего будет и представление о "не знаю"
Это не должно быть "представлением". Это фундаментальное свойство. ИИ сделал запрос в базу знаний, а получил пустой ответ. Вот это и есть "не знаю". Всё остальное бред.

_>и примеры работы по устранению противоречий, и примеры логического вывода.
Нейросеть на такое не способна. Знаешь, как ChatGPT математические проблемы решат? А никак. Он перенаправляет их в wolframalpha.com
А сам он даже числа складывать не может.

_>Собственно, основное соревнование прямо сейчас идёт именно по умению из как можно большего контекста вытащить один единственный запрятанный факт. Сейчас типа хорошо, это когда на 1 миллион токенов (час видео 1 кадр/с или 11 часов аудио или 700 тысяч слов), спрятан один факт (кадр видео, набор слов), и модель находит это по запросу в 98% случаев. И все наперегонки бегут за контекстом в 10 миллионов токенов.
А в чём проблема? Загрузи это всё в knowledge graph и получи 100%ный результат.
Только тут есть одна проблема... нейросети становятся не нужны.

_>Вот так они хотят свести галлюцинации до приемлемо низких значений.
Рыба бывает только первой свежести. Она же последняя.
Есть только один приемлемый уровень галлюцинаций. Строго 0.

Здравствуйте, velkin, Вы писали:

WH>>Нет, он не работает. Галлюцинации неприемлемы.
V>Почему неприемлемы.
По тому, что такой ИИ в лучшем случае бесполезен. А чаще вреден.

V>Если так подумать вот оно отличное название для собственного искусственного интеллекта, "Галлюцинатор". А работает ли естественный интеллект без постоянных галлюцинаций. Что, прямо у людей в сознании рождаются адекватные реальности образы. Я в этом сильно сомневаюсь.
И люди затрачивают большие усилия, чтобы свои галлюцинации забороть.

А тут у нас уже есть идеальный вычислитель, который никогда не ошибается. С идеальной памятью практически бесконечного размера. На нём эмулируется ущербный вычислитель (человеческий мозг) с ущербной памятью фиксированного объёма внутри которого мы надеемся получить что-то похожее на идеальный вычислитель. Вот так с моей точки зрения выглядит AGI на нейросетях.

Здравствуйте, samius, Вы писали:

S>Программа, удовлетворяющая этим требованиям едва ли сложнее, чем "Hello, World", а главное — она работает. Только кому нужна?
По крайней мере, такая программа безвредна.

Здравствуйте, WolfHound, Вы писали:

WH>Нет, он не работает. Галлюцинации неприемлемы. ИИ должен либо давать верный ответ, либо честное "я не знаю".
Кому должен? Тебе? Не пользуйся и мигрируй в nohire.

Здравствуйте, novitk, Вы писали:

WH>>Нет, он не работает. Галлюцинации неприемлемы. ИИ должен либо давать верный ответ, либо честное "я не знаю".
N>Кому должен? Тебе? Не пользуйся и мигрируй в nohire.
Это любители Copilot должны быть nohire.
https://www.gitclear.com/coding_on_copilot_data_shows_ais_downward_pressure_on_code_quality

Здравствуйте, WolfHound, Вы писали:

WH>Это любители Copilot должны быть nohire.
LLVM это инструмент, как макросы и т.д. Может ли он быть применен неправильно? Может, как и все остальное. Я даже соглашусь с тобой, что для технологов конкретно оное пока не совсем революция. Однако очень полезно и продуктивно. Ты можешь луддитствовать до посинения, но это ничего не изменит. Те кто осилил, прошли дальше по эволюции.

WH>https://www.gitclear.com/coding_on_copilot_data_shows_ais_downward_pressure_on_code_quality
Нет времени сейчас читать, но есть сомнения в достоверности метрик качества.

Здравствуйте, WolfHound, Вы писали:

WH>Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.


Но ведь работает же! Врет насчет исторических фактов иногда, но креативит неплохо

Здравствуйте, Mihal9, Вы писали:

WH>>Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.

M>Но ведь работает же! Врет насчет исторических фактов иногда, но креативит неплохо

Заказал как-то Джузеппе у папы Карло табуретку...

Здравствуйте, WolfHound, Вы писали:

WH>ИИ должен либо давать верный ответ, либо честное "я не знаю".

Ответ "я не знаю", действительно очень ценный. Была некая игра у Галкина с ответами на вопросы. И там была "помощь зала". Если бы в зале отвечали только те, кто уверен в ответе, то ответы были бы полезные. А когда усредняется по маленькому количеству знающих и большому количеству незнающих, получается мусор.

Теоретически, нейросетей могло бы быть много, обученных(или устроенных) по-разному (у всех разные специализации, преимущества-недостатки). Если бы при объединении ответов учитывалась степень надежности ответов, то это повысило бы качество.

Более серьезный AI, скорее всего будет не монолитный, а состоять из подсистем и, возможно, с иерархической организацией.
С обменом информацией между подсистемами либо на человеческом языке(английском), либо на специальном. В том числе возможность для AI погуглить вопросы в инете (если более удобной базы знаний не создадут), воспользоваться Wolfram Mathematica, доступ к компилятору (чтобы написать программу и изучить результаты ее выполнения).

В некотором смысле, AI играющий в шахматы и Go уже иерархический с подсистемами. Верхний уровень алгоритмический, не позволит выбрать запрещенный ход, организует перебор ходов наперед и отправляет подзадачи в AI, который занимается только эвристиками, оценками качества.

И вообще, скорее всего, это будет вечная двойственность: рациональное мышление(логика, алгоритмы) vs образное мышление(интуиция). Только удачное совмещение одного с другим даст результат.

Здравствуйте, WolfHound, Вы писали:

WH>Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.
WH>ИИ должен либо давать верный ответ, либо честное "я не знаю".

Вот чем точно не является ИИ и ни когда не будет является, так это неким непререкаемым источником истины.

WH>Нет, он не работает. Галлюцинации неприемлемы. ИИ должен либо давать верный ответ, либо честное "я не знаю".
WH>Ибо если я должен проверять каждый ответ, то зачем такой ИИ вообще нужен? Не проще ли сразу обратиться к надёжному источнику?
Либо он создан как 1 из инструментов для остановки НТР, чтобы зафлудить интернет фальшивками и утопить научно-инженерные знания в тоннах вранья.
(Это на первом этапе, пока его ещё на все начальственные должности не назначили. А там вообще полный трэш начнётся).

Q>Вот чем точно не является ИИ и ни когда не будет является, так это неким непререкаемым источником истины.
Это очень сильно зависит от положения ИИ в иерархии. Будет ИИ например встроен в турникет в метро — и обдоказывайся ему, что он якобы пререкаемый.