Сообщение Re[3]: Перспективы от 13.01.2026 14:26
Изменено 13.01.2026 14:43 mrTwister
Re[3]: Перспективы
Здравствуйте, Michael7, Вы писали:
T>>2) LLM могут генерировать код для решения задач, которые уже были многократно решены ранее
M>Это уже далеко не так, серьезные LLM уже могут генерировать код по описанию в статье. То есть даешь на вход статью, описывающую алгоритм/метод и просьбу что-то в соответствии реализовать и оно таки пишет.
При условии, что LLM "знает", как преобразовывать инструкции из статьи в код. Твой пример скорее идентичен преобразованию программы с одного языка программирования в другой, то что на входе псевдокод с текстовым описанием сути не меняет. Это LLM конечно умеют.
T>>3) Чем больше будет появляться кода, сгенерированного LLM, тем хуже датасет для обучения следующих LLM. В определенный момент окажется, что LLM, натренированная по актуальным данным работает хуже, чем прошлая версия LLM. Есть признаки того, что это уже настало.
M>Современная LLM — уже далеко не чисто продукт тренировки на датасете, скорее даже где-то малая часть, потому что после тренировки на датасете они проходят обучение с подкреплением по разным изощренным сценариям и прочие настройки и подстройки. AlfaGo еще 10 лет назад в 2016-м выиграла у чемпиона игры в Го вовсе не за счет датасета.
AlfaGo не имеет ничего общего с современными LLM. После обучения для LLM делают скорее файн-тюнинг, в результате которого новые знания и умения не появляются. Знания и умения берутся только из обучающего датасета.
T>>2) LLM могут генерировать код для решения задач, которые уже были многократно решены ранее
M>Это уже далеко не так, серьезные LLM уже могут генерировать код по описанию в статье. То есть даешь на вход статью, описывающую алгоритм/метод и просьбу что-то в соответствии реализовать и оно таки пишет.
При условии, что LLM "знает", как преобразовывать инструкции из статьи в код. Твой пример скорее идентичен преобразованию программы с одного языка программирования в другой, то что на входе псевдокод с текстовым описанием сути не меняет. Это LLM конечно умеют.
T>>3) Чем больше будет появляться кода, сгенерированного LLM, тем хуже датасет для обучения следующих LLM. В определенный момент окажется, что LLM, натренированная по актуальным данным работает хуже, чем прошлая версия LLM. Есть признаки того, что это уже настало.
M>Современная LLM — уже далеко не чисто продукт тренировки на датасете, скорее даже где-то малая часть, потому что после тренировки на датасете они проходят обучение с подкреплением по разным изощренным сценариям и прочие настройки и подстройки. AlfaGo еще 10 лет назад в 2016-м выиграла у чемпиона игры в Го вовсе не за счет датасета.
AlfaGo не имеет ничего общего с современными LLM. После обучения для LLM делают скорее файн-тюнинг, в результате которого новые знания и умения не появляются. Знания и умения берутся только из обучающего датасета.
Re[3]: Перспективы
Здравствуйте, Michael7, Вы писали:
T>>2) LLM могут генерировать код для решения задач, которые уже были многократно решены ранее
M>Это уже далеко не так, серьезные LLM уже могут генерировать код по описанию в статье. То есть даешь на вход статью, описывающую алгоритм/метод и просьбу что-то в соответствии реализовать и оно таки пишет.
При условии, что LLM "знает", как преобразовывать инструкции из статьи в код. Твой пример скорее идентичен преобразованию программы с одного языка программирования в другой, то что на входе псевдокод с текстовым описанием сути не меняет. Это LLM конечно умеют. А вот такую статью с новым алгоритмом она уже придумать не сможет (но сможет скомпоновать несколько существующих алгоритмов).
T>>3) Чем больше будет появляться кода, сгенерированного LLM, тем хуже датасет для обучения следующих LLM. В определенный момент окажется, что LLM, натренированная по актуальным данным работает хуже, чем прошлая версия LLM. Есть признаки того, что это уже настало.
M>Современная LLM — уже далеко не чисто продукт тренировки на датасете, скорее даже где-то малая часть, потому что после тренировки на датасете они проходят обучение с подкреплением по разным изощренным сценариям и прочие настройки и подстройки. AlfaGo еще 10 лет назад в 2016-м выиграла у чемпиона игры в Го вовсе не за счет датасета.
AlfaGo не имеет ничего общего с современными LLM. После обучения для LLM делают скорее файн-тюнинг, в результате которого новые знания и умения не появляются. Знания и умения берутся только из обучающего датасета.
T>>2) LLM могут генерировать код для решения задач, которые уже были многократно решены ранее
M>Это уже далеко не так, серьезные LLM уже могут генерировать код по описанию в статье. То есть даешь на вход статью, описывающую алгоритм/метод и просьбу что-то в соответствии реализовать и оно таки пишет.
При условии, что LLM "знает", как преобразовывать инструкции из статьи в код. Твой пример скорее идентичен преобразованию программы с одного языка программирования в другой, то что на входе псевдокод с текстовым описанием сути не меняет. Это LLM конечно умеют. А вот такую статью с новым алгоритмом она уже придумать не сможет (но сможет скомпоновать несколько существующих алгоритмов).
T>>3) Чем больше будет появляться кода, сгенерированного LLM, тем хуже датасет для обучения следующих LLM. В определенный момент окажется, что LLM, натренированная по актуальным данным работает хуже, чем прошлая версия LLM. Есть признаки того, что это уже настало.
M>Современная LLM — уже далеко не чисто продукт тренировки на датасете, скорее даже где-то малая часть, потому что после тренировки на датасете они проходят обучение с подкреплением по разным изощренным сценариям и прочие настройки и подстройки. AlfaGo еще 10 лет назад в 2016-м выиграла у чемпиона игры в Го вовсе не за счет датасета.
AlfaGo не имеет ничего общего с современными LLM. После обучения для LLM делают скорее файн-тюнинг, в результате которого новые знания и умения не появляются. Знания и умения берутся только из обучающего датасета.