Здравствуйте, Muxa, Вы писали:
M>Сайт с предсказаниями развития нейросетей на ближайшие пару лет.
да хрень это все. рост по обучению уже затормозился, дальше будут пытаться расти через рассуждения, но там такие вычислительные дикие мощности нужны, что это нужно сильно стараться, чтобы оно окупилось.
кремний тоже уже особо не уменьшается, там тоже близок предел возможностей.
скорее всего начнется "зима", и будут оптимизировать что получилось.
Есть много неизвестных. Например, внезапные пошлины, которые вызвали внезапное в 500 гигабаксов же скукоживание экономики.
А значит датацентр для *Brain* имеет определенные шансы стать долгостроем.
Возможно, в понедельник будет коррекция уже, но пока что так.
Здравствуйте, Muxa, Вы писали:
M>Сайт с предсказаниями развития нейросетей на ближайшие пару лет.
Куда спешишь? Ещё предсказания по Year 2K не сбылись, а ты уже в 2027-й заглядываешь.
Здравствуйте, rm2, Вы писали:
rm2>да хрень это все. рост по обучению уже затормозился, дальше будут пытаться расти через рассуждения, но там такие вычислительные дикие мощности нужны, что это нужно сильно стараться, чтобы оно окупилось.
А что значит "затормозился"? Про 27-год говорят многие, достижение 3-го уровня уже должно произойти в этом году. Какого уровня, по твоему, не получится достичь?
Вчера llama 4 вышла и она, судя по тестам, нигде не затормозилась. Я уже не говорю про Промт в 10 млн токенов. Год назад нельзя было скормить нейронке "Войну и мир", а теперь можно намного больше.
Если смотреть на бенчмарки, то их новые нейронки начинают покорять очень быстро, десятки процентов в год
Я с каждым месяцем на своём ноуте могу запускать всё более мощные нейросети, уже в продакшн в пайплайн обработки видео на геймерской видеокарте планирую развернуть qwen vl модель.
Где замедление, как его увидеть?
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, rm2, Вы писали:
rm2>>да хрень это все. рост по обучению уже затормозился, дальше будут пытаться расти через рассуждения, но там такие вычислительные дикие мощности нужны, что это нужно сильно стараться, чтобы оно окупилось.
N>А что значит "затормозился"? Про 27-год говорят многие, достижение 3-го уровня уже должно произойти в этом году. Какого уровня, по твоему, не получится достичь?
N>Вчера llama 4 вышла и она, судя по тестам, нигде не затормозилась. Я уже не говорю про Промт в 10 млн токенов. Год назад нельзя было скормить нейронке "Войну и мир", а теперь можно намного больше. N>Если смотреть на бенчмарки, то их новые нейронки начинают покорять очень быстро, десятки процентов в год
Илья Суцкевер, один из основателей OpenAI, на конференции NIPS обрадовал нас, что сытые годы прошли — масштабировать обучение и получать качество больше не получится. Почему? У нас закончились текстовые данные. Почему кончились данные, а не деньги? Закон Мура, который мы обсуждали ранее, работает — железо дешевеет, а данные мы с такой скоростью не успеваем производить.
LLM учатся на данных из интернета, а интернет у нас один (внезапно) и полон мусора. Коллеги из Epoch Ai провели оценку и прикинули, что всего 20% данных интернета пригодны для обучения. В зависимости от роста потребления, мы потратим все текстовые данные между 2025 и 2028 годах. Больше данных нет. Еще и в этом смысле данные — это нефть: у нас они есть, они двигают человечество, но запасы иссякают. Да, помимо текстовых данных у нас еще есть картинки/видео/аудио, но пока мы еще не научились извлекать так эффективно информацию, как для текстовых данных.
Существует наивное правило — на следующее поколение моделей (GPT5 и подобные) нужно в 100 раз больше всего. Больше данных, больше модели, больше вычислений. Следующее поколение моделей еще получит буст в качестве от масштабирования, благо дата-центры успешно строятся, да и данные еще остались. Но вот с GPT6 и далее будет трудно. Нам нужно масштабироваться как-то дальше, без масштабирования обучения. Благо у OpenAI и тут нашелся ответ.
Что делать, если уже не можете нарастить мощности для обучения моделей? Правильно, растить мощности для предсказания модели. Это умно называют растить test-time compute.
До этого мы всегда требовали от модели моментального ответа: она должна была сразу же с первого символа своего предсказания давать правильный ответ. Вы можете сразу же, с чистого листа, написать эссе, презентацию, программный код? Или вам надо сначала крепко подумать? Вот, LLM тоже надо
т.е. данных на обучение — у тебя уже нет, все, они кончились.
Далее ты начинаешь масштабировать предсказание. Т.е. масштабировать рассуждение. А рассуждать модель — может очень долго, при этом потребляя безумное количество аппаратных и энергетических ресурсов. И получается — у тебя очень дорогой ИИ, где получаемый результат не эффективен по отношению к стоимости его достижения. Да и еще и возможен вариант, когда оно рассуждает, рассуждает, а на выходе такая чушь получилась, что лучше бы ее и не спрашивали.
ну и все, рост дальнейший по обучению не возможен, по рассуждениям — не стоит затрат.
Ну и далее Зима ИИ. Будут потрошить то что получилось, оптимизировать, пытаться внедрить.
N>Я с каждым месяцем на своём ноуте могу запускать всё более мощные нейросети, уже в продакшн в пайплайн обработки видео на геймерской видеокарте планирую развернуть qwen vl модель.
это речь про такие дистиляты дистилятов нормальных моделей, что и обсуждать смысла нет. Для нормальной модели тебе нужен ноутбук в 1.5тб озу, и картой уровня h200 с >100gb памяти. Чтобы она просто могла выдавать 15 токенов в секунду.
а огрызки выдают результат соответствующий своему уровню.
Здравствуйте, rm2, Вы писали:
rm2>т.е. данных на обучение — у тебя уже нет, все, они кончились.
Не данные кончились, а текстовые данные, создаваемые людьми, давай называть всё своими именами. Данных ещё много и создаются они петабайтами в сутки или сколько-то там сравнимо.
rm2>Далее ты начинаешь масштабировать предсказание. Т.е. масштабировать рассуждение. А рассуждать модель — может очень долго, при этом потребляя безумное количество аппаратных и энергетических ресурсов. И получается — у тебя очень дорогой ИИ, где получаемый результат не эффективен по отношению к стоимости его достижения. Да и еще и возможен вариант, когда оно рассуждает, рассуждает, а на выходе такая чушь получилась, что лучше бы ее и не спрашивали.
Или не так. Или меняют алгоритмы так, что оно кэширует рассуждения в своём латентном пространстве, а не вывадёт промежуточные результаты в виде текста. И учится на этих промежуточных результатах. RL — это только-только начали использовать для обучения.
rm2>ну и все, рост дальнейший по обучению не возможен, по рассуждениям — не стоит затрат.
Почему не возможен? Потому что один разработчик сказал, что данные концились? А другие говорят, что всё будет норм. Я пока не вижу убедительных аргументов, только чьи-то слова.
rm2>Ну и далее Зима ИИ. Будут потрошить то что получилось, оптимизировать, пытаться внедрить.
rm2>это речь про такие дистиляты дистилятов нормальных моделей, что и обсуждать смысла нет.
Нет, есть смысл. Если дистиляты по качеству начинают превосходить полноценные модели двухлетней давности, то явно прогресс есть не только за счёт данных, но и алгоритмов.
Здравствуйте, Nuzhny, Вы писали:
N>Нет, есть смысл. Если дистиляты по качеству начинают превосходить полноценные модели двухлетней давности, то явно прогресс есть не только за счёт данных, но и алгоритмов.
так зачем мне модели двухлетней давности? Это так, демонстраторы. даже современные то полноценные модели так себе. Тут или полноценная нужна, или никакая. Двухлетней давности — точно не нужна.
конечно, есть узкие ниши где это применимо, но это именно узкие ниши. так чтобы 27 летние и на помоечку — до этого очень далеко на данный момент.
Здравствуйте, rm2, Вы писали:
rm2>так зачем мне модели двухлетней давности? Это так, демонстраторы. даже современные то полноценные модели так себе. Тут или полноценная нужна, или никакая. Двухлетней давности — точно не нужна. rm2>конечно, есть узкие ниши где это применимо, но это именно узкие ниши. так чтобы 27 летние и на помоечку — до этого очень далеко на данный момент.
Ну вот и обещают полноценную чуваки, которые в чём-то могут визионировать и получше Суцвекера. Кокотайло в 2021 году (!) предсказал практически всё к 2026 году, а кто-то просто констатирует, что данные кончились.
Здравствуйте, rm2, Вы писали:
rm2>т.е. данных на обучение — у тебя уже нет, все, они кончились.
Найдут способы обучать не пассивно на текстах, а на собственном(AI) опыте работы в реальных проектах.
Как во всяких AlphaGo или ее улучшениях было обучение на собственном опыте.
Китайский стартап DeepSeek прославился в начале года, выпустив рассуждающую модель R1, которая смогла конкурировать с ИИ-моделями американских технологических гигантов, несмотря на скромный бюджет. Теперь DeepSeek опубликовал в сотрудничестве с исследователями университета Цинхуа статью с подробным описанием нового подхода к обучению моделей с подкреплением, позволяющего значительно повысить их эффективность. Об этом сообщил ресурс SCMP.
Согласно публикации, новый метод направлен на то, чтобы помочь ИИ-моделям лучше соответствовать человеческим предпочтениям, используя механизм вознаграждений за более точные и понятные ответы. Обучение с подкреплением доказало свою эффективность в ускорении решения задач ИИ в ограниченных сферах и приложениях. Однако его использование для более общих задач оказалось не столь эффективным. Команда DeepSeek пытается решить этот вопрос, объединив генеративное моделирование вознаграждения (GRM) и так называемую настройку самокритики на основе принципов. Как утверждается в статье, новый подход с целью улучшения возможностей рассуждений больших языковых моделей (LLM) превзошёл существующие методы, что подтверждено проверкой моделей в различных тестах, и позволил получить самую высокую производительность для общих запросов при использовании меньших вычислительных ресурсов.
Новые модели получили название DeepSeek-GRM — сокращение от термина Generalist Reward Modeling (универсальное моделирование вознаграждения). Компания сообщила, что новые модели будут с открытым исходным кодом, однако сроки их выхода пока не объявлены. В прошлом месяце агентство Reuters сообщило со ссылкой на информированные источники, что в апреле компания также выпустит DeepSeek-R2, преемника рассуждающей модели R1.
Другие ведущие разработчики в сфере ИИ, включая китайскую Alibaba Group Holding и OpenAI из Сан-Франциско (США), также работают над улучшением возможностей рассуждения и самосовершенствования ИИ-моделей, отметил Bloomberg.
и солнце б утром не вставало, когда бы не было меня
rm2>да хрень это все. рост по обучению уже затормозился, дальше будут пытаться расти через рассуждения, но там такие вычислительные дикие мощности нужны, что это нужно сильно стараться, чтобы оно окупилось. rm2>кремний тоже уже особо не уменьшается, там тоже близок предел возможностей.
rm2>скорее всего начнется "зима", и будут оптимизировать что получилось.
В конце 19 века ученые очень серьезно прогнозировали, что в 20-м веке главной проблемой всех больших городов будет навоз. Вообще мне кажется ситуация сейчас такая, что какой-то более менее обоснованный прогноз дать невозможно.
Мне вот кажется, что сейчас слишком сильно зациклились на увеличении объемов и вычислительных мощностей. И, именно когда этот рост затормозится, и народ начнет пытаться оптимизировать то, что есть, и пытаться вообще понять, что же мы имеем, как и почему это работает, именно в тогда и могут быть самые большие порывы и самые революционные изменения.
По идее, наш мозг тратит на много порядков меньше энергии для решения похожих задач, то есть до теоретических пределов нам еще очеь далеко.
Когда появились первые компиляторы, было очень много скепсиса по поводу их эффективности. Грейс Хоппер, создательница первого компилятора говорила: У меня был работающий компилятор и никто не прикасался к нему, поскольку, как они говорили мне «Компьютеры могут выполнять только вычисления, они не могут делать программы.»
Здравствуйте, rm2, Вы писали:
M>>Сайт с предсказаниями развития нейросетей на ближайшие пару лет. rm2>да хрень это все. рост по обучению уже затормозился
Лет 10 назад трансгуманисты выли, что всё, прогресс остановился, сингулярности не будет, можно расходиться. А потом резко ИИ выстрелил.
Так что не зарекайся, но прогноз к 2027 не особо интересен, больше интересен глобальный прогноз к 20245 году — наступил ли сингулярность, и что она даст конкретным людям (в частности, появится ли бессмертие для народа, смогут ли люди выйти в космос, и вообще, стать пост-человечеством и преодолеть тем самым текущие кризисы)?
Здравствуйте, ksandro, Вы писали:
K>В конце 19 века ученые очень серьезно прогнозировали, что в 20-м веке главной проблемой всех больших городов будет навоз. Вообще мне кажется ситуация сейчас такая, что какой-то более менее обоснованный прогноз дать невозможно.
Это ошибка выжившего. Рано или поздно реализуется самый негативный сценарий.
Здравствуйте, gyraboo, Вы писали:
G>Так что не зарекайся, но прогноз к 2027 не особо интересен, больше интересен глобальный прогноз к 20245 году — наступил ли сингулярность, и что она даст конкретным людям (в частности, появится ли бессмертие для народа, смогут ли люди выйти в космос, и вообще, стать пост-человечеством и преодолеть тем самым текущие кризисы)?
Первое что будет, если ИИ сильно в рост пойдут — жуткий экономический кризис. Развал модели потребления. Массовая безработица. Ну а далее депопуляция, контроль со сторон ИИ, и закат человечества.
