Здравствуйте, rm2, Вы писали:

rm2>т.е. данных на обучение — у тебя уже нет, все, они кончились.

Не данные кончились, а текстовые данные, создаваемые людьми, давай называть всё своими именами. Данных ещё много и создаются они петабайтами в сутки или сколько-то там сравнимо.

rm2>Далее ты начинаешь масштабировать предсказание. Т.е. масштабировать рассуждение. А рассуждать модель — может очень долго, при этом потребляя безумное количество аппаратных и энергетических ресурсов. И получается — у тебя очень дорогой ИИ, где получаемый результат не эффективен по отношению к стоимости его достижения. Да и еще и возможен вариант, когда оно рассуждает, рассуждает, а на выходе такая чушь получилась, что лучше бы ее и не спрашивали.

Или не так. Или меняют алгоритмы так, что оно кэширует рассуждения в своём латентном пространстве, а не вывадёт промежуточные результаты в виде текста. И учится на этих промежуточных результатах. RL — это только-только начали использовать для обучения.

rm2>ну и все, рост дальнейший по обучению не возможен, по рассуждениям — не стоит затрат.

Почему не возможен? Потому что один разработчик сказал, что данные концились? А другие говорят, что всё будет норм. Я пока не вижу убедительных аргументов, только чьи-то слова.

rm2>Ну и далее Зима ИИ. Будут потрошить то что получилось, оптимизировать, пытаться внедрить.

rm2>это речь про такие дистиляты дистилятов нормальных моделей, что и обсуждать смысла нет.

Нет, есть смысл. Если дистиляты по качеству начинают превосходить полноценные модели двухлетней давности, то явно прогресс есть не только за счёт данных, но и алгоритмов.