Здравствуйте, Shmj, Вы писали:

S>Основное что хотел поднять (этому там пару мин. уделили) — чел. говорит, что сейчас главная проблема ИИ — малый контекст. Так все построено так, что, грубо говоря, на основе одного экрана текста входящих данных — ИИ продуцирует исходящие данные.

В GPT4 контекст это 8 000 токенов. Также есть модель с 32 000 токенами.

https://github.com/torvalds/linux/blob/master/fs/9p/v9fs.c вот этот файл содержит 737 строк или 7,837 токенов. Т.е. GPT4 способен держать в памяти контекст примерно на 800 строк кода на C. Или в 4 раза больше. Классический размер экрана это 25 строк. Иными словами он способен держать в контексте не один экран текста, а 30/120 экранов текста.