Здравствуйте, rm2, Вы писали:
rm2>да хрень это все. рост по обучению уже затормозился, дальше будут пытаться расти через рассуждения, но там такие вычислительные дикие мощности нужны, что это нужно сильно стараться, чтобы оно окупилось.
А что значит "затормозился"? Про 27-год говорят многие, достижение 3-го уровня уже должно произойти в этом году. Какого уровня, по твоему, не получится достичь?
Вчера llama 4 вышла и она, судя по тестам, нигде не затормозилась. Я уже не говорю про Промт в 10 млн токенов. Год назад нельзя было скормить нейронке "Войну и мир", а теперь можно намного больше.
Если смотреть на бенчмарки, то их новые нейронки начинают покорять очень быстро, десятки процентов в год
Я с каждым месяцем на своём ноуте могу запускать всё более мощные нейросети, уже в продакшн в пайплайн обработки видео на геймерской видеокарте планирую развернуть qwen vl модель.
Где замедление, как его увидеть?
Здравствуйте, rm2, Вы писали:
rm2>Первое что будет, если ИИ сильно в рост пойдут — жуткий экономический кризис. Развал модели потребления. Массовая безработица. Ну а далее депопуляция, контроль со сторон ИИ, и закат человечества.
Здравствуйте, rm2, Вы писали:
rm2>т.е. данных на обучение — у тебя уже нет, все, они кончились.
Не данные кончились, а текстовые данные, создаваемые людьми, давай называть всё своими именами. Данных ещё много и создаются они петабайтами в сутки или сколько-то там сравнимо.
rm2>Далее ты начинаешь масштабировать предсказание. Т.е. масштабировать рассуждение. А рассуждать модель — может очень долго, при этом потребляя безумное количество аппаратных и энергетических ресурсов. И получается — у тебя очень дорогой ИИ, где получаемый результат не эффективен по отношению к стоимости его достижения. Да и еще и возможен вариант, когда оно рассуждает, рассуждает, а на выходе такая чушь получилась, что лучше бы ее и не спрашивали.
Или не так. Или меняют алгоритмы так, что оно кэширует рассуждения в своём латентном пространстве, а не вывадёт промежуточные результаты в виде текста. И учится на этих промежуточных результатах. RL — это только-только начали использовать для обучения.
rm2>ну и все, рост дальнейший по обучению не возможен, по рассуждениям — не стоит затрат.
Почему не возможен? Потому что один разработчик сказал, что данные концились? А другие говорят, что всё будет норм. Я пока не вижу убедительных аргументов, только чьи-то слова.
rm2>Ну и далее Зима ИИ. Будут потрошить то что получилось, оптимизировать, пытаться внедрить.
rm2>это речь про такие дистиляты дистилятов нормальных моделей, что и обсуждать смысла нет.
Нет, есть смысл. Если дистиляты по качеству начинают превосходить полноценные модели двухлетней давности, то явно прогресс есть не только за счёт данных, но и алгоритмов.
Здравствуйте, rm2, Вы писали:
rm2>так зачем мне модели двухлетней давности? Это так, демонстраторы. даже современные то полноценные модели так себе. Тут или полноценная нужна, или никакая. Двухлетней давности — точно не нужна. rm2>конечно, есть узкие ниши где это применимо, но это именно узкие ниши. так чтобы 27 летние и на помоечку — до этого очень далеко на данный момент.
Ну вот и обещают полноценную чуваки, которые в чём-то могут визионировать и получше Суцвекера. Кокотайло в 2021 году (!) предсказал практически всё к 2026 году, а кто-то просто констатирует, что данные кончились.
Здравствуйте, rm2, Вы писали:
rm2>т.е. данных на обучение — у тебя уже нет, все, они кончились.
Найдут способы обучать не пассивно на текстах, а на собственном(AI) опыте работы в реальных проектах.
Как во всяких AlphaGo или ее улучшениях было обучение на собственном опыте.
Когда появились первые компиляторы, было очень много скепсиса по поводу их эффективности. Грейс Хоппер, создательница первого компилятора говорила: У меня был работающий компилятор и никто не прикасался к нему, поскольку, как они говорили мне «Компьютеры могут выполнять только вычисления, они не могут делать программы.»
Есть много неизвестных. Например, внезапные пошлины, которые вызвали внезапное в 500 гигабаксов же скукоживание экономики.
А значит датацентр для *Brain* имеет определенные шансы стать долгостроем.
Возможно, в понедельник будет коррекция уже, но пока что так.
Здравствуйте, gyraboo, Вы писали:
G>Так что не зарекайся, но прогноз к 2027 не особо интересен, больше интересен глобальный прогноз к 20245 году — наступил ли сингулярность, и что она даст конкретным людям (в частности, появится ли бессмертие для народа, смогут ли люди выйти в космос, и вообще, стать пост-человечеством и преодолеть тем самым текущие кризисы)?
Первое что будет, если ИИ сильно в рост пойдут — жуткий экономический кризис. Развал модели потребления. Массовая безработица. Ну а далее депопуляция, контроль со сторон ИИ, и закат человечества.
Здравствуйте, Muxa, Вы писали:
M>Сайт с предсказаниями развития нейросетей на ближайшие пару лет.
да хрень это все. рост по обучению уже затормозился, дальше будут пытаться расти через рассуждения, но там такие вычислительные дикие мощности нужны, что это нужно сильно стараться, чтобы оно окупилось.
кремний тоже уже особо не уменьшается, там тоже близок предел возможностей.
скорее всего начнется "зима", и будут оптимизировать что получилось.
Китайский стартап DeepSeek прославился в начале года, выпустив рассуждающую модель R1, которая смогла конкурировать с ИИ-моделями американских технологических гигантов, несмотря на скромный бюджет. Теперь DeepSeek опубликовал в сотрудничестве с исследователями университета Цинхуа статью с подробным описанием нового подхода к обучению моделей с подкреплением, позволяющего значительно повысить их эффективность. Об этом сообщил ресурс SCMP.
Согласно публикации, новый метод направлен на то, чтобы помочь ИИ-моделям лучше соответствовать человеческим предпочтениям, используя механизм вознаграждений за более точные и понятные ответы. Обучение с подкреплением доказало свою эффективность в ускорении решения задач ИИ в ограниченных сферах и приложениях. Однако его использование для более общих задач оказалось не столь эффективным. Команда DeepSeek пытается решить этот вопрос, объединив генеративное моделирование вознаграждения (GRM) и так называемую настройку самокритики на основе принципов. Как утверждается в статье, новый подход с целью улучшения возможностей рассуждений больших языковых моделей (LLM) превзошёл существующие методы, что подтверждено проверкой моделей в различных тестах, и позволил получить самую высокую производительность для общих запросов при использовании меньших вычислительных ресурсов.
Новые модели получили название DeepSeek-GRM — сокращение от термина Generalist Reward Modeling (универсальное моделирование вознаграждения). Компания сообщила, что новые модели будут с открытым исходным кодом, однако сроки их выхода пока не объявлены. В прошлом месяце агентство Reuters сообщило со ссылкой на информированные источники, что в апреле компания также выпустит DeepSeek-R2, преемника рассуждающей модели R1.
Другие ведущие разработчики в сфере ИИ, включая китайскую Alibaba Group Holding и OpenAI из Сан-Франциско (США), также работают над улучшением возможностей рассуждения и самосовершенствования ИИ-моделей, отметил Bloomberg.
и солнце б утром не вставало, когда бы не было меня
Здравствуйте, rm2, Вы писали:
M>>А они разве вымерли?
rm2>Как цивилизация — да.
А там была цивилизация? Или просто загонялись на изготовлении статуй?
Там так-то остров небольшой, от силы пара-тройка десятков тысяч человек на нём могут прожить и прокормиться, цивилизацией это нельзя назвать даже с натяжкой. А вот статуи древним богам они могли веками потихоньку точить, фигле ещё делать на острове посреди океана в 3.5 ткм от ближайшего континента.
Большинство моаи (834, или 95 %) вырублено в крупноблочном тахилитовом туфе, или в туффите[7], и туфе андезитовых базальтов каменоломни вулкана Рано Рараку (Rano Raraku).
...
В очень многих публикациях вес моаи сильно завышен; это связано с тем, что для расчётов берётся собственно базальт (объёмная масса — около 3—3,2 г/см³), а не те лёгкие базальтовые породы, что указаны выше (меньше 1,4 г/см³, редко 1,7 г/см³).
...
Обычный размер моаи — 3—5 м. Средняя ширина основания — 1,6 м. Средний вес таких статуй — менее 5 т (хотя указывается масса в 12,5—13,8 т). Реже высота статуй — 10—12 м. Не более 30—40 статуй имеют вес более 10 т.
От других пород отделочного камня вулканический туф отличается широким диапазоном ярких и насыщенных оттенков, от чёрного до белого.
Применяется как строительный материал (заполнитель в лёгких бетонах), служит великолепным стеновым камнем, благодаря небольшому весу и морозоустойчивости. Легко обрабатывается пилой и топором. Может быть фиолетового (артикский), красного и оранжевого (анийский), розового, коричневого, жёлтого, реже серого и чёрного цвета.
"Эпические" статуи острова Пасхи можно было и деревянным долотом/пилой/топором делать. Про металлические орудия на острове Пасхи я что-то не слышал, "цивилизация" не доросла даже до медного века, не говоря уже о бронзовом или железном, ввиду отсутствия месторождений этих металлов.
А 5-10 тонн при желании, и/или когда нехрен делать, можно придумать как перетащить.
"Цивилизация" даже письменность не изобрела
Многие специалисты по острову Пасхи, в том числе и сам Фишер, считают, что все 25 табличек с письменами ронго-ронго появились на свет уже после знакомства туземцев с европейской письменностью во время высадки на острове испанцев в 1770 году и являются не полноценной письменностью, а лишь подражанием ей, так как используемые знаки однообразны
Здравствуйте, Muxa, Вы писали:
M>Сайт с предсказаниями развития нейросетей на ближайшие пару лет.
Куда спешишь? Ещё предсказания по Year 2K не сбылись, а ты уже в 2027-й заглядываешь.
rm2>да хрень это все. рост по обучению уже затормозился, дальше будут пытаться расти через рассуждения, но там такие вычислительные дикие мощности нужны, что это нужно сильно стараться, чтобы оно окупилось. rm2>кремний тоже уже особо не уменьшается, там тоже близок предел возможностей.
rm2>скорее всего начнется "зима", и будут оптимизировать что получилось.
В конце 19 века ученые очень серьезно прогнозировали, что в 20-м веке главной проблемой всех больших городов будет навоз. Вообще мне кажется ситуация сейчас такая, что какой-то более менее обоснованный прогноз дать невозможно.
Мне вот кажется, что сейчас слишком сильно зациклились на увеличении объемов и вычислительных мощностей. И, именно когда этот рост затормозится, и народ начнет пытаться оптимизировать то, что есть, и пытаться вообще понять, что же мы имеем, как и почему это работает, именно в тогда и могут быть самые большие порывы и самые революционные изменения.
По идее, наш мозг тратит на много порядков меньше энергии для решения похожих задач, то есть до теоретических пределов нам еще очеь далеко.
Здравствуйте, rm2, Вы писали:
rm2>Ошибка выжившего. у жителей острова пасхи тоже поди были такие прибаутки, и несколько раз им наверняка тоже получалось преодолеть кризисы. rm2>А потом очередной кризис они не смогли преодолеть — и вымерли.
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, rm2, Вы писали:
rm2>>да хрень это все. рост по обучению уже затормозился, дальше будут пытаться расти через рассуждения, но там такие вычислительные дикие мощности нужны, что это нужно сильно стараться, чтобы оно окупилось.
N>А что значит "затормозился"? Про 27-год говорят многие, достижение 3-го уровня уже должно произойти в этом году. Какого уровня, по твоему, не получится достичь?
N>Вчера llama 4 вышла и она, судя по тестам, нигде не затормозилась. Я уже не говорю про Промт в 10 млн токенов. Год назад нельзя было скормить нейронке "Войну и мир", а теперь можно намного больше. N>Если смотреть на бенчмарки, то их новые нейронки начинают покорять очень быстро, десятки процентов в год
Илья Суцкевер, один из основателей OpenAI, на конференции NIPS обрадовал нас, что сытые годы прошли — масштабировать обучение и получать качество больше не получится. Почему? У нас закончились текстовые данные. Почему кончились данные, а не деньги? Закон Мура, который мы обсуждали ранее, работает — железо дешевеет, а данные мы с такой скоростью не успеваем производить.
LLM учатся на данных из интернета, а интернет у нас один (внезапно) и полон мусора. Коллеги из Epoch Ai провели оценку и прикинули, что всего 20% данных интернета пригодны для обучения. В зависимости от роста потребления, мы потратим все текстовые данные между 2025 и 2028 годах. Больше данных нет. Еще и в этом смысле данные — это нефть: у нас они есть, они двигают человечество, но запасы иссякают. Да, помимо текстовых данных у нас еще есть картинки/видео/аудио, но пока мы еще не научились извлекать так эффективно информацию, как для текстовых данных.
Существует наивное правило — на следующее поколение моделей (GPT5 и подобные) нужно в 100 раз больше всего. Больше данных, больше модели, больше вычислений. Следующее поколение моделей еще получит буст в качестве от масштабирования, благо дата-центры успешно строятся, да и данные еще остались. Но вот с GPT6 и далее будет трудно. Нам нужно масштабироваться как-то дальше, без масштабирования обучения. Благо у OpenAI и тут нашелся ответ.
Что делать, если уже не можете нарастить мощности для обучения моделей? Правильно, растить мощности для предсказания модели. Это умно называют растить test-time compute.
До этого мы всегда требовали от модели моментального ответа: она должна была сразу же с первого символа своего предсказания давать правильный ответ. Вы можете сразу же, с чистого листа, написать эссе, презентацию, программный код? Или вам надо сначала крепко подумать? Вот, LLM тоже надо
т.е. данных на обучение — у тебя уже нет, все, они кончились.
Далее ты начинаешь масштабировать предсказание. Т.е. масштабировать рассуждение. А рассуждать модель — может очень долго, при этом потребляя безумное количество аппаратных и энергетических ресурсов. И получается — у тебя очень дорогой ИИ, где получаемый результат не эффективен по отношению к стоимости его достижения. Да и еще и возможен вариант, когда оно рассуждает, рассуждает, а на выходе такая чушь получилась, что лучше бы ее и не спрашивали.
ну и все, рост дальнейший по обучению не возможен, по рассуждениям — не стоит затрат.
Ну и далее Зима ИИ. Будут потрошить то что получилось, оптимизировать, пытаться внедрить.
N>Я с каждым месяцем на своём ноуте могу запускать всё более мощные нейросети, уже в продакшн в пайплайн обработки видео на геймерской видеокарте планирую развернуть qwen vl модель.
это речь про такие дистиляты дистилятов нормальных моделей, что и обсуждать смысла нет. Для нормальной модели тебе нужен ноутбук в 1.5тб озу, и картой уровня h200 с >100gb памяти. Чтобы она просто могла выдавать 15 токенов в секунду.
а огрызки выдают результат соответствующий своему уровню.
Здравствуйте, Nuzhny, Вы писали:
N>Нет, есть смысл. Если дистиляты по качеству начинают превосходить полноценные модели двухлетней давности, то явно прогресс есть не только за счёт данных, но и алгоритмов.
так зачем мне модели двухлетней давности? Это так, демонстраторы. даже современные то полноценные модели так себе. Тут или полноценная нужна, или никакая. Двухлетней давности — точно не нужна.
конечно, есть узкие ниши где это применимо, но это именно узкие ниши. так чтобы 27 летние и на помоечку — до этого очень далеко на данный момент.
Здравствуйте, rm2, Вы писали:
M>>Сайт с предсказаниями развития нейросетей на ближайшие пару лет. rm2>да хрень это все. рост по обучению уже затормозился
Лет 10 назад трансгуманисты выли, что всё, прогресс остановился, сингулярности не будет, можно расходиться. А потом резко ИИ выстрелил.
Так что не зарекайся, но прогноз к 2027 не особо интересен, больше интересен глобальный прогноз к 20245 году — наступил ли сингулярность, и что она даст конкретным людям (в частности, появится ли бессмертие для народа, смогут ли люди выйти в космос, и вообще, стать пост-человечеством и преодолеть тем самым текущие кризисы)?
Здравствуйте, ksandro, Вы писали:
K>В конце 19 века ученые очень серьезно прогнозировали, что в 20-м веке главной проблемой всех больших городов будет навоз. Вообще мне кажется ситуация сейчас такая, что какой-то более менее обоснованный прогноз дать невозможно.
Это ошибка выжившего. Рано или поздно реализуется самый негативный сценарий.
Здравствуйте, gyraboo, Вы писали:
G>Конский навоз затопит города
Ошибка выжившего. у жителей острова пасхи тоже поди были такие прибаутки, и несколько раз им наверняка тоже получалось преодолеть кризисы.
А потом очередной кризис они не смогли преодолеть — и вымерли.
M>А там была цивилизация? Или просто загонялись на изготовлении статуй? M>Там так-то остров небольшой, от силы пара-тройка десятков тысяч человек на нём могут прожить и прокормиться, цивилизацией это нельзя назвать даже с натяжкой. А вот статуи древним богам они могли веками потихоньку точить, фигле ещё делать на острове посреди океана в 3.5 ткм от ближайшего континента.
до 17 тысяч человек там жило.
там куча проблем наложилось одна на другую — и в итоге кол-во населения упало < 1Тысячи. Почему цивилизация — у них и сельхоз хозяйство было развито, и строительство деревянное. А изза разных кризисов деревьев не осталось, почва стала бесплодной. В итоге стали питаться подножным кормом и жить в пещерах и хижинах из травы. Соответственно и уровень знаний упал от производящего хозяйства до считай охотников-собирателей.
Здравствуйте, Ziaw, Вы писали:
Z>Тогда какой смысл несут твои попытки избежать его любыми средствами? Ну вымрет человечество, ты-то точно раньше вымрешь и не узнаешь этого.
так худший сценарий реализуется в силу озвученных причин и если не менять текущие представления и политику. Из серии "давайте тупо дальше долбиться в стратегию попытки купить и уговорить свободное население рожать и семьи образовывать, не забывая про все большую и большую защиту детей и прав и интересов матери (она же этих детей рожает)". Тогда да, будет все хуже и хуже.
А избежать его может и можно. устроить например диктатуру электронную с социальными рейтингами. кто его знает — вполне может и сработает и будет социум устойчивый на тысячелетия.
Здравствуйте, Muxa, Вы писали: M>https://ai-2027.com/
белиберда M>Сайт с предсказаниями развития нейросетей на ближайшие пару лет.
проблемы могли бы возникнуть когда было бы кучу роботов, с совершенными в плане достижении целей AGI — в каждом .. да ещё если бы они были разные, но могли почти мгновенно обмениваться информацией, вот тогда у человечества могли бы возникнуть существенные проблемы
P.S.:
впрочем по моим оценкам и опыту, трындец скорее если и начнётся — то ближе к распространению эпохи синтеза восприятий, потому что всякого рода дибилоидам и псевдоинтеллектуальному отребью очень не нравится что их выпроваживают из всех таких миров и они тогда сбиваясь в стада пытаются любой ценой доказать что наоборот — только они и достойны неограниченных возможностей Вселенной (а как можно доказать, а очень просто — похищается самый "жирный барашек" из доступных среди давно пасущихся в мирах далёкого будущего и поэтому потерявший бдительность и предусмотрительность, и гасится толпой и всей возможной магией — вплоть до затаскивания на планету таких же дегенератов недоразвитых пост средневековых, а дальше классика от массовых гопарских наездов до попыток доказать своё якобы интеллектуальное превосходство) (и даже если очень жёстко обломятся ровно во всём, то шансов ни на что кроме максимального п ца в дальнейшем всё равно не оставят)
как бэ там ни было, одно можно сказать точно — следующий мир (а может и целая вселенная) нашего пребывания едва ли будут похожи на нашу (в современном её текущем виде нашей эпохи), но тем не менее по совокупности сказанного всё равно рекомендую быть бдительными и не щёлкать клювом лишний раз ..
На днях исследователи обновили свой прогноз: по оценке Кокотайло, AGI вероятнее всего появится в 2030 году (с небольшим шансом на 2028 год), а другие исследователи группы и вовсе откладывают это событие на 2035-40 годы.
Здравствуйте, rm2, Вы писали: rm2>кремний тоже уже особо не уменьшается, там тоже близок предел возможностей.
губу то закатай там даже до A7+ ещё почти 10 лет до реальных массовых устройств (типа потребительских видеокарт и процессоров масс-сегмента), а там уже и планы на A1 есть к 2040+ гг (2D-материалы, 3D-интеграция), в перспективе возможно ещё (CFET, спинтроника, оптоэлектроника и фотоника) — и там задела ещё на пол века как минимум (а скорее и до 2100+ гг, и это ещё не говоря о квантовых компьютерах)
Здравствуйте, Silver_S, Вы писали:
S_S>Найдут способы обучать не пассивно на текстах, а на собственном(AI) опыте работы в реальных проектах. S_S>Как во всяких AlphaGo или ее улучшениях было обучение на собственном опыте.
В Го гораздо проще оценить качество результата. Если не сказать элементарно. Выиграл — не выиграл.
Здравствуйте, xma, Вы писали:
xma>губу то закатай там даже до A7+ ещё почти 10 лет до реальных массовых устройств (типа потребительских видеокарт и процессоров масс-сегмента), а там уже и планы на A1 есть к 2040+ гг (2D-материалы, 3D-интеграция), в перспективе возможно ещё (CFET, спинтроника, оптоэлектроника и фотоника) — и там задела ещё на пол века как минимум (а скорее и до 2100+ гг, и это ещё не говоря о квантовых компьютерах)
Если оно будет приводить к заметному росту производительности — я не против. Посмотрим на примере zen6, получится ли это. Zen5 например не впечатлил в сравнении с 13900к.
Здравствуйте, rm2, Вы писали:
rm2>Если оно будет приводить к заметному росту производительности — я не против.
темпы роста производительности замедлились почти на порядок (по сравнению с 1990-ыми)
Между 1990 и 2000 это пропасть, другой мир
Между 2025 и 2015 ничего нет
Здравствуйте, xma, Вы писали:
xma>Здравствуйте, rm2, Вы писали:
rm2>>Если оно будет приводить к заметному росту производительности — я не против. xma>темпы роста производительности замедлились почти на порядок (по сравнению с 1990-ыми)
(и даже если очень жёстко обломятся ровно во всём, то шансов ни на что кроме максимального п ца в дальнейшем всё равно не оставят)
