Сообщение Re: [Интервью] Про малый размер контекста ИИ от 24.07.2023 21:05
Изменено 24.07.2023 21:06 vsb
Re: [Интервью] Про малый размер контекста ИИ
Здравствуйте, Shmj, Вы писали:
S>Основное что хотел поднять (этому там пару мин. уделили) — чел. говорит, что сейчас главная проблема ИИ — малый контекст. Так все построено так, что, грубо говоря, на основе одного экрана текста входящих данных — ИИ продуцирует исходящие данные.
В GPT4 контекст это 8 000 токенов. Также есть модель с 32 000 токенами.
https://github.com/torvalds/linux/blob/master/fs/9p/v9fs.c вот этот файл содержит 737 строк или 7,837 токенов. Т.е. GPT4 способен держать в памяти контекст примерно на 800 строк кода на C. Или в 4 раза больше.
S>Основное что хотел поднять (этому там пару мин. уделили) — чел. говорит, что сейчас главная проблема ИИ — малый контекст. Так все построено так, что, грубо говоря, на основе одного экрана текста входящих данных — ИИ продуцирует исходящие данные.
В GPT4 контекст это 8 000 токенов. Также есть модель с 32 000 токенами.
https://github.com/torvalds/linux/blob/master/fs/9p/v9fs.c вот этот файл содержит 737 строк или 7,837 токенов. Т.е. GPT4 способен держать в памяти контекст примерно на 800 строк кода на C. Или в 4 раза больше.
Re: [Интервью] Про малый размер контекста ИИ
Здравствуйте, Shmj, Вы писали:
S>Основное что хотел поднять (этому там пару мин. уделили) — чел. говорит, что сейчас главная проблема ИИ — малый контекст. Так все построено так, что, грубо говоря, на основе одного экрана текста входящих данных — ИИ продуцирует исходящие данные.
В GPT4 контекст это 8 000 токенов. Также есть модель с 32 000 токенами.
https://github.com/torvalds/linux/blob/master/fs/9p/v9fs.c вот этот файл содержит 737 строк или 7,837 токенов. Т.е. GPT4 способен держать в памяти контекст примерно на 800 строк кода на C. Или в 4 раза больше. Классический размер экрана это 25 строк. Иными словами он способен держать в контексте не один экран текста, а 30/120 экранов текста.
S>Основное что хотел поднять (этому там пару мин. уделили) — чел. говорит, что сейчас главная проблема ИИ — малый контекст. Так все построено так, что, грубо говоря, на основе одного экрана текста входящих данных — ИИ продуцирует исходящие данные.
В GPT4 контекст это 8 000 токенов. Также есть модель с 32 000 токенами.
https://github.com/torvalds/linux/blob/master/fs/9p/v9fs.c вот этот файл содержит 737 строк или 7,837 токенов. Т.е. GPT4 способен держать в памяти контекст примерно на 800 строк кода на C. Или в 4 раза больше. Классический размер экрана это 25 строк. Иными словами он способен держать в контексте не один экран текста, а 30/120 экранов текста.