Может, я чего не понимаю. Но, чем больше я смотрю на то как устроен GPT тем больше прихожу к мнению что работать он не может в принципе.
Нет, он не работает. Галлюцинации неприемлемы. ИИ должен либо давать верный ответ, либо честное "я не знаю".
Ибо если я должен проверять каждый ответ, то зачем такой ИИ вообще нужен? Не проще ли сразу обратиться к надёжному источнику?

Не может он работать по трём причинам:
1)Нейросеть это аппроксиматор. То есть в лучшем случае НС можно довести до состояния, когда в большинстве случаев она будет не сильно врать.
А нам нужен точный ответ всегда.

2)НС имеет определённую емкость. Просто по тому, что количество параметров фиксировано. Соответственно каждый раз, когда в НС добавляется новый факт, есть шанс что он столкнётся с уже добавленными фактами, и они исказят друг друга непредсказуемым образом. И чем больше фактов добавлено, тем выше вероятность столкновения. Со временем она достигнет 100%. А количество фактов растёт постоянно.
Именно из-за ограниченной ёмкости нейросети для GPT имеют такой неадекватный размер. Иначе туда тупо не влезает нужное количество фактов.

3)Я кто-то задавался вопросом: А что авторы GPT аппроксимируют?
НС это непрерывная функция, определённая на всём наборе входных параметров.
Факты это разряженное облако не связанных между собой точек определённое только в этих точках.
Ты либо знаешь, либо нет.
Сколько у меня домашних животных?
Даже если идеальному ИИ дать всю информацию обо всех людях, но исключить информацию о моих домашних животных то единственный приемлемый ответ на этот вопрос будет "я не знаю".
Любая попытка заполнить пространство между точками приведёт к генерации бесконечного количества бреда.
А НС именно для этого и созданы. На вход алгоритму обучения НС дают облако точек, и он создаёт функцию, которая заполняет пространство между точками.

Это три источника галлюцинаций. И все они являются неотъемлемыми свойствами НС.

Для сравнения пример задачи, которая хорошо решается нейросетями: Распознавание текста в картинке.
1)Входные данные по своей природе шумные. Как следствие приблизительное решение неизбежно.
2)Количество символов используемых людьми конечно. Как следствие НС можно сделать достаточно большой, чтобы в неё влезла информация обо всех символах. И в тоже время достаточно маленькой чтобы не происходило переобучение(overfitting).
3)Символы можно плавно масштабировать, вращать, искривлять итп. Соответственно тут явно просматривается непрерывная функция.