Здравствуйте, Pavel Dvorkin, Вы писали:

PD>Вместо одного универсального ИИ в огромном датацентре можно будет иметь сотни и тысячи (а может, сотни тысяч) специализированных ИИ, взаимодействующих между собой и расположенных на относительно некрупных серверах относительно небольших организаций.

Изначально так и пытались и ничего не выходило в течении примерно 20-ти лет.
Т.е. вообще наглухо ни-че-го!
Вот с трудом распознавание текста и узкого класса изображений.
Всё!
Даже перевод между языками все эти годы безбожно хромал. ))

А при большой размерности модели возникает огромное пространство внутренних состояний, где количество переходит в качество.

Почему модели именно языковые — это из-за нас, человеков.
У нас нет другого типа информации для целей глубокого обучения.

ИМХО, будущие "мелкие" узкоспециализированные ИИ-агенты будут размерностью как современные большие модели, бо именно на этой размерности появляется новое качество — генерация сотен тыщ токенов с хорошей точностью, где "смысл" имеет не каждый токен в отдельности, а их совокупность, и даже не просто совокупность, а позиция и "ритм". ))


PD>Мне кажется, что ИИ сейчас проходит период развития, который можно назвать "очень большие и не слишком умные". Как динозавры. Или, если угодно, как ЭВМ до эпохи микропроцессоров и персональных компьютеров.
PD>Что думаете ?

Я только согласен насчёт излишней универсальности, что нынешние размерности не в состоянии быть универсальными всемогуттерами.
Это, таки, относительно начальный уровень, в лучшем случае способный хорошо быть натасканным на какую-нибудь предметную область.

Но ведь это были исследовательские эксперименты, в первую очередь.
Причём, они вывели множество любопытных практик.
Например, при обучении больших сеток появились такие практики как случайное "выключение" нейронов в процессе обучения.
Т.е. модель становится более устойчивой, если ей выключать случайные нейроны (а там до половины нейронов случайно отключаются на каждой итерации).

И еще куча новых техник, которые родились как ср-во борьбы с переобучением, т.е. когда размер сетки заведомо больше необходимой размерности для каждой в отдельности порции информации, тогда сетка становится слишком избирательной (типа как цифровые фильтры могут страдать переизбирательностью, если подобрали слишком широкое окно).

Т.е. несомненная польза от нынешних больших ИИ моделей в том, что научились их в принципе обучать + появилось понимание, что мы получаем от такого обучения.

Здравствуйте, Pavel Dvorkin, Вы писали:

PD>Вместо одного универсального ИИ в огромном датацентре можно будет иметь сотни и тысячи (а может, сотни тысяч) специализированных ИИ, взаимодействующих между собой и расположенных на относительно некрупных серверах относительно небольших организаций.

Изначально так и пытались и ничего не выходило в течении примерно 20-ти лет.
Т.е. вообще наглухо ни-че-го!
Вот с трудом распознавание текста и узкого класса изображений.
Всё!
Даже перевод между языками все эти годы безбожно хромал. ))

А при большой размерности модели возникает огромное пространство внутренних состояний, где количество переходит в качество.

Почему модели именно языковые — это из-за нас, человеков.
У нас нет другого типа информации для целей глубокого обучения.

ИМХО, будущие "мелкие" узкоспециализированные ИИ-агенты будут размерностью как современные большие модели, бо именно на этой размерности появляется новое качество — генерация сотен тыщ токенов с хорошей точностью, где "смысл" имеет не каждый токен в отдельности, а их совокупность, и даже не просто совокупность, а позиция и "ритм". ))


PD>Мне кажется, что ИИ сейчас проходит период развития, который можно назвать "очень большие и не слишком умные". Как динозавры. Или, если угодно, как ЭВМ до эпохи микропроцессоров и персональных компьютеров.
PD>Что думаете ?

Я только согласен насчёт излишней универсальности, что нынешние размерности не в состоянии быть универсальными всемогуттерами.
Это, таки, относительно начальный уровень, в лучшем случае способный хорошо быть натасканным на какую-нибудь одну-две предметные области.

Но ведь это были исследовательские эксперименты, в первую очередь.
Причём, они вывели множество любопытных практик.
Например, при обучении больших сеток появились такие практики как случайное "выключение" нейронов в процессе обучения.
Т.е. модель становится более устойчивой, если ей выключать случайные нейроны (а там до половины нейронов случайно отключаются на каждой итерации).

И еще куча новых техник, которые родились как ср-во борьбы с переобучением, т.е. когда размер сетки заведомо больше необходимой размерности для каждой в отдельности порции информации, тогда сетка становится слишком избирательной (типа как цифровые фильтры могут страдать переизбирательностью, если подобрали слишком широкое окно).

Т.е. несомненная польза от нынешних больших ИИ моделей в том, что научились их в принципе обучать + появилось понимание, что мы получаем от такого обучения.