В основном интервью философское, однако же и чуть технических вопросов затронули:
Основное что хотел поднять (этому там пару мин. уделили) — чел. говорит, что сейчас главная проблема ИИ — малый контекст. Так все построено так, что, грубо говоря, на основе одного экрана текста входящих данных — ИИ продуцирует исходящие данные.
Этот контекст якобы можно увеличить, но вычислительные мощности потребуется увеличивать по экспоненте. Т.е. упираемся в невозможность решить текущими аппаратными средствами. А многие задачи требуют именно большого контекста входящих данных (как то проект состоит НЕ из одного-двух экранов кода а гораздо больше).
И вопрос у меня такой. Вроде бы у человека тоже не большой контекст. Т.е. оно где-то там хранится, пусть в долговременной памяти или же даже в блокноте, чел. подгружает в думалку, но сама думалка в текущий момент времени вроде бы прямо миллионами фактов не оперирует. Или просто такая иллюзия создается?
Кто что скажет?
Здравствуйте, Shmj, Вы писали:
S>Основное что хотел поднять (этому там пару мин. уделили) — чел. говорит, что сейчас главная проблема ИИ — малый контекст. Так все построено так, что, грубо говоря, на основе одного экрана текста входящих данных — ИИ продуцирует исходящие данные.
В GPT4 контекст это 8 000 токенов. Также есть модель с 32 000 токенами.
https://github.com/torvalds/linux/blob/master/fs/9p/v9fs.c вот этот файл содержит 737 строк или 7,837 токенов. Т.е. GPT4 способен держать в памяти контекст примерно на 800 строк кода на C. Или в 4 раза больше. Классический размер экрана это 25 строк. Иными словами он способен держать в контексте не один экран текста, а 30/120 экранов текста.
