Почему не в форум об ИИ — там в основном специальные вопросы, а это обсуждение общего плана.
Интеллект это или не интеллект — вопрос скорее философский. В общем, можно сказать, что это нечто, отчасти похожее на человеческий интеллект, но и существенно от него отличающееся. Тут можно многое сказать, но не буду.
Если считать его все же интеллектом, то вполне логично сравнить его с естественным интеллектом (ЕИ). И вот тут обнаруживаются существенные различия организационного характера.
Носители ЕИ, как правило, являются специалистами в одной, реже нескольких областях. Их знания в других областях поверхностны, и, как правило, не годятся для того, чтобы сделать серьезные экспертные заключения. За примерами ходить далеко не надо. Тут все более или менее являются специалистами в ИТ и могут дать компетентное заключение по какому-то вопросу, но послушаешь, что они высказывают в непрофильных форумах, например, по экономике — порой волосы становятся дыбом и уши вянут. И уж никакой серьезный экономист в здравом уме и твердой памяти не станет руководствоваться их высказываниями по экономике.
Более того. ЕИ (если конечно, речь не идет о личностях вроде Ноздрева) по большинству вопросов вне своей сферы компетенции даст ответ — не знаю. Ну действительно, что Вы можете ответить на узкоспециальный вопрос, скажем, по гетерогенному катализу ? Только одно — не знаю. Я как химик по образованию когда-то что-то знал, но давно забыл, так что и мой ответ, скорее всего, будет таким же.
Второй отличительный признак ЕИ — он децентрализован. Отдельные люди и являются его носителями, и их интеллект каким-то не вполне понятным образом и решает возникающие проблемы, дает ответ. С довольно высокой скоростью. Каналы же связи между носителями ЕИ имеют довольно низкую пропускную способность, как минимум не сравнимую с пропускной способностью внутренних интерфейсов ЕИ. Если необходимо получить ответ на вопрос, затрагивающий несколько сфер деятельности, то для ЕИ это приведет к созданию некоторой системы взаимодействующих ЕИ, являющихся специалистами в разных областях. Проще говоря, соберут совещание, на которое пригласят специалистов разного профиля, и они совместными усилиями будут пытаться решить эту проблему. При этом каждый участник , несомненно, будет хорошо понимать , что он сам говорит на эту тему и никаких недопониманий себя с самим собой не будет, а вот недопонимания и разногласия при взаимодействии участников будут почти обязательно, и их "утрясание" может занять большое время. За примерами опять же далеко ходить не надо — достаточно почитать дискуссии здесь на какую-то тему.
С ИИ все обстоит иначе. Он универсален и готов ответить на любой вопрос. А поскольку нельзя объять необъятное, то он начинает фантазировать, скрещивая данные из самых разных источников, и как результат, часто попадая впросак. Универсальный же ЕИ существует только в произведениях фантастов (вроде Лемовского Соляриса), реально его нет.
Может быть, в этом и (отчасти) кроются некоторые проблемы , связанные с ИИ ? Может быть, будь он организован иначе, эти проблемы бы ушли ?
Представьте себе, что ИИ организован по-другому. Вместо универсального ChatGPT или DeepSeek имеется большое количество узкоспециализированных ИИ, но таких, которые очень хорошо ориентируются в своей области, так что на вопрос, относящийся к ней они дают всегда или почти всегда правильный ответ, а если вопрос выходит за пределы их компетенции — пытаются определить, к компетенции какого другого ИИ он относится и передаю вопрос ему. Иными словами, ведут себя как люди в этом плане. "Я в этой области плохо разбираюсь, но знаю Ивана Петрова, который вроде в этом разбирается, спрошу его". Возможно, что Иван Петров тоже окажется не специалистом и передаст вопрос Петру Сидорову, а возможно, что в итоге будет собрано совещание с участием всех троих, и совместными усилиями они найдут ответ. Вот и для ИИ могло бы быть аналогично.
Ну и конечно, ИИ в данной области совсем не обязан быть в единственном экземпляре. Вполне можно допустить наличие нескольких экземпляров его, отличающихся заложенными для ответа данными или алгоритмами. Тогда окончательный ответ может быть дан путем "обсуждения" и последующего согласования ответов, данных отдельными экземплярами, либо же окончательный ответ будет сформулирован в виде "к сожалению, дать надежный ответ на этот вопрос не оказалось возможным, имеются разные точки зрения на то, что считать правильным". Возможно, что возникнет некоторая иерархическая система, в которой более авторитетные ИИ будет запрашивать мнение менее авторитетных и на основе их формировать окончательный ответ. В общем, как у ЕИ.
Это существенно изменит и саму модель ИИ как явления. Вместо одного универсального ИИ в огромном датацентре можно будет иметь сотни и тысячи (а может, сотни тысяч) специализированных ИИ, взаимодействующих между собой и расположенных на относительно некрупных серверах относительно небольших организаций.
Мне кажется, что ИИ сейчас проходит период развития, который можно назвать "очень большие и не слишком умные". Как динозавры. Или, если угодно, как ЭВМ до эпохи микропроцессоров и персональных компьютеров.
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Представьте себе, что ИИ организован по-другому. Вместо универсального ChatGPT или DeepSeek имеется большое количество узкоспециализированных ИИ, но таких, которые очень хорошо ориентируются в своей области...
Возникает вопрос — как очертить границу знаний узкоспециализированной модели ИИ?
Задачу формулирует человек с использование синонимов, жаргонов, терминов из другой предметной области которых не будет в обучающем наборе данных узкоспециализированной модели. Если обучать условную модель "программист" только на специализированных книгах или исходных текстах, то эта модель просто не поймет что вы от нее хотите. То есть нужно добавлять некий "слой" общих знаний или использовать универсальную модель которая будет взаимодействовать со специализированными и отправлять им запрос в формальном и "доступном" для них виде. Например, пользователь делает запрос по написанию программы, требующей знания физики. Универсальной общая модель формализует запрос на понятном для "физической" модели языке, получает от неё формулы и... в каком виде передать эти формулы модели "программист", если эта модель кроме программирования ничего не знает?
Еще больше проблем возникнет при использовании предложенной вами модели взаимодействия по той же причине.
На самом деле, такой проблемы как перемешивание данных из разных областей со снижением качества результата почти нет. Проблема в том, что LLM должны выдать результат в любом случае, выбирая из наиболее статистически вероятных последующих в выдаче токенов(слов) даже в том случае, если хороших статистически вариантов ответа нет.
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Что думаете ?
Думаем что искуственный может прожить значительно дольше чем естественный, да и размножается проще и пока не бунтует. Сплошные плюсы. Но как только его применят против людей будет жопа.
Здравствуйте, TheBeginner, Вы писали:
PD>>Представьте себе, что ИИ организован по-другому. Вместо универсального ChatGPT или DeepSeek имеется большое количество узкоспециализированных ИИ, но таких, которые очень хорошо ориентируются в своей области...
TB>Возникает вопрос — как очертить границу знаний узкоспециализированной модели ИИ? TB>Задачу формулирует человек с использование синонимов, жаргонов, терминов из другой предметной области которых не будет в обучающем наборе данных узкоспециализированной модели. Если обучать условную модель "программист" только на специализированных книгах или исходных текстах, то эта модель просто не поймет что вы от нее хотите. То есть нужно добавлять некий "слой" общих знаний или использовать универсальную модель которая будет взаимодействовать со специализированными и отправлять им запрос в формальном и "доступном" для них виде. Например, пользователь делает запрос по написанию программы, требующей знания физики. Универсальной общая модель формализует запрос на понятном для "физической" модели языке, получает от неё формулы и... в каком виде передать эти формулы модели "программист", если эта модель кроме программирования ничего не знает?
Я об этом писал.
PD> которые очень хорошо ориентируются в своей области, так что на вопрос, относящийся к ней они дают всегда или почти всегда правильный ответ, а если вопрос выходит за пределы их компетенции — пытаются определить, к компетенции какого другого ИИ он относится и передаю вопрос ему. Иными словами, ведут себя как люди в этом плане. "Я в этой области плохо разбираюсь, но знаю Ивана Петрова, который вроде в этом разбирается, спрошу его". Возможно, что Иван Петров тоже окажется не специалистом и передаст вопрос Петру Сидорову, а возможно, что в итоге будет собрано совещание с участием всех троих, и совместными усилиями они найдут ответ. Вот и для ИИ могло бы быть аналогично.
Если тебе завтра придется писать программу для теорфизиков, то ты не сядешь за изучение курса Ландау-Лифшица. Вместо этого ты попросишь теорфизика дать нужные формулы или алгоритмы. Да даже в бизнес-задачах то же. Мне довелось в незапамятные времена писать программу расчет зарплаты в одном предприятии. Так мне дали бухгалтера, с которым мы просидели пару дней, и она мне дала все правила для начислений и удержаний. Сам бы я и за месяц не справился, особенно с учетом того, что Интернета тогда не было.
PD>Если тебе завтра придется писать программу для теорфизиков, то ты не сядешь за изучение курса Ландау-Лифшица. Вместо этого ты попросишь теорфизика дать нужные формулы или алгоритмы. Да даже в бизнес-задачах то же. Мне довелось в незапамятные времена писать программу расчет зарплаты в одном предприятии. Так мне дали бухгалтера, с которым мы просидели пару дней, и она мне дала все правила для начислений и удержаний. Сам бы я и за месяц не справился, особенно с учетом того, что Интернета тогда не было.
Вам конечно известно выражение не говорят на одном языке применительно к работе над проектом где участвуют специалисты в разных предметных областях и какие проблемы при этом возникают.
Узкоспециализированная модель ИИ может выглядеть как "json на входе с данными эхолокации а на выходе разведанные запасы нефти". Это конечно крайний случай и описанный вами подход предполагает, что модели ИИ являются универсальными (чтобы коммуницировать между собой) но специализирующимися на одной предметной области.
Представим такой пример запроса:
Найди ошибку:
N ← 20
mask ← (N⍴1)
mask[1] ← 0
i ← 2
:While i ≤ N
:If mask[i] = 1
mask[i×2↓⍳⌊N÷i] ← 0
:EndIf
i ← i + 1
:EndWhile
primes ← (mask)/⍳N
primes
Пользователь не уточнил о чем идет речь. Что это? Математика, программирование? Если программирование, то какой это язык. То есть наша модель ИИ должна обладать полнотой знаний, чтобы просто определить какой модели передать запрос, даже если речь идет об иерархической модели вида общая модель > программист > программист APL
Здравствуйте, TheBeginner, Вы писали:
TB>Представим такой пример запроса: TB>Найди ошибку:
<skipped>
Ну а если такой пример запроса адресован не ИИ, а просто мне или иному ЕИ ? Дали вот такое на чем-то вроде ЕГЭ , и попробуй ответь.
Мой ответ будет прост — без дополнительных данных я ответ дать не могу. И ИИ должен дать такой же ответ, а не фантазировать. Будут даны дополнительные данные — будет с кем связаться (другим ИИ или ЕИ) для уточнения.
Еще раз поясню суть того, о чем я говорю. ИИ должен действовать так же, как ЕИ. А для ЕИ такой подход работает. Получив ответ, о чем идет речь, я смогу связаться с кем-то (ЕИ2) и спросить его ну хотя бы о том, какие алгоритмы используются в этой области. Возможно, что ЕИ2 разбирается в этом плохо, но выведет меня на ЕИ3, который разбирается лучше. И т.д. В конце концов ответ будет, возможно, дан. А может, и нет...
TB>Пользователь не уточнил о чем идет речь. Что это? Математика, программирование? Если программирование, то какой это язык.
Ну вот первый вопрос, который я задам — это математика или программирование ? Второй (если ответ на первый — программирование) — на каком языке. Ты выбрал пример текста, где можно заподозрить и то и другое (алгоритмическое описание в математике или же код на APL. Тут схожее. Если бы текст был кодом на Java , C++ или C#, я бы опознал его сам сразу и эти 2 вопроса задавать не стал. А может, и задал бы все же, потому что Java и C# по короткому фрагменту не всегда можно отличить. Далее последуют иные вопросы — например, для чего этот код. И т.д.
А что мне еще делать ? Искать ошибку, не понимая, о чем идет речь ? Если это APL, то ошибку надо искать по правилам APL. Если это чисто математическая нотация, то по правилам ее, которые могут от правил APL отличаться.
Кстати, вот контрпример. Дан некий текст на естественном языке, найти в нем грамматические или стилистические ошибки.
Если текст на кириллице и я его опознаю как русский — отвечу сам в меру своего знания правил русского языка . Если он на кириллице, но явно не русский — попробую опознать язык и свяжусь с тем, кто его хорошо знает, пусть он ответит. Если текст на латинице и я его опознаю как английский — попробую ответить сам, но все же скорее всего обращусь к кому-то из нативов или хотя бы к преподавателю английского, поскольку тут я совсем не уверен, что дам корректный ответ. Если на латинице и явно не английский — попробую определить, какой это язык (такие алгоритмы есть, по наличию диакритических знаков, специфическим парам и т.д.), после чего обращусь к нативу. Если не кириллица и не латиница — ну тогда надо каким-то способом опознать язык (и возможно, я это сделаю неверно, хотя Google Translate мне в помощь), после чего опять же обратиться к нативу. Разница лишь в том, что если я его опознаю неверно, то натив мне даст ответ — "это не суахили", после чего придется найти следующий язык- кандидат и обратиться к его нативу и т.д.
PD>Представьте себе, что ИИ организован по-другому. Вместо универсального ChatGPT или DeepSeek имеется большое количество узкоспециализированных ИИ, но таких, которые очень хорошо ориентируются в своей области, так что на вопрос, относящийся к ней они дают всегда или почти всегда правильный ответ, а если вопрос выходит за пределы их компетенции — пытаются определить, к компетенции какого другого ИИ он относится и передаю вопрос ему.
Даже не знаю чему больше удивляться, Крош, твоей изобретательности или твоей неинформированности (с) Ежик из м/ф Смешарики
Насколько можно собрать информацию из утечек или публикаций, все современные модели так или иначе или именно такие, или используют ещё более лучшие варианты этой идеи. Gemini 3 — MoE. DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model — прямо у них на гитхабе. GPT-5 tech reports — тоже MoE. И даже маленькая GPT-OSS — тоже MoE.
MoE — Mixture of Experts, ровненько то что ты описываешь — несколько "экспертов" внутри одной модели. Детали разнятся: от 8 экспертов в Mistral, которая в декабре 2023-го года вышла в опен-сорс; до неизвестно скольки экспертов у закрытых моделей. Сам термин "mixture of experts" (мне вряд ли поверят, ведь тогда наверное не было даже GPT-1) родом вообще из года 2017-го. Вышли на идею подсмотрев внутрь нейросетей, у которых в процессе обучения нейроны сами группировались (логически, физически понятное дело нет), по областям знаний. И активация одних означала мышление в одной области, а других в другой. Просто с явным делением на MoE и всякими трюками, вроде заморозки посторонних областей (чтобы сохранить уже изученное), обучение идёт быстрее и надёжнее.
Здравствуйте, hi_octane, Вы писали:
_>Даже не знаю чему больше удивляться, Крош, твоей изобретательности или твоей неинформированности (с) Ежик из м/ф Смешарики
_>MoE — Mixture of Experts, ровненько то что ты описываешь — несколько "экспертов" внутри одной модели.
Я понимаю, что внутри так и сделано — несколько экспертов. Но я акцентировал внимание на другом
PD>Это существенно изменит и саму модель ИИ как явления. Вместо одного универсального ИИ в огромном датацентре можно будет иметь сотни и тысячи (а может, сотни тысяч) специализированных ИИ, взаимодействующих между собой и расположенных на относительно некрупных серверах относительно небольших организаций.
Вот этого пока, насколько я знаю, нет.
В целом ситуация сильно напоминает ту, что была до эры персональных компьютеров. Большие и дорогие ЭВМ, десятки их или максимум сотни на крупный город, связи между ними или совсем отсутствуют или в зачаточном состоянии. Это до. А теперь сравни с тем, что сейчас.
И кстати, если уж продолжать аналогию. Выход из строя ЭВМ тогда — ЧП. Заменить ее нечем. И сейчас, если вдруг сдохнет ChatGPT — тоже заменить нечем (конечно, есть другие ИИ, но именно этот не заменишь). А если бы все было децентрализовано, то выход из строя одного узкоспециализированного ИИ — проблема не большая, чем выход из строя одного сайта в Интернете.
PD>>Это существенно изменит и саму модель ИИ как явления. Вместо одного универсального ИИ в огромном датацентре можно будет иметь сотни и тысячи (а может, сотни тысяч) специализированных ИИ, взаимодействующих между собой и расположенных на относительно некрупных серверах относительно небольших организаций.
Тут вопрос эффективности/пользы буквально такой же как и с людьми. Что лучше — один Эйнштейн/Ньютон/Галилей или тысяч умеющих сносно читать и писать? Маленькие модели могут тупо не понять задачу целиком, сколько ты их не собери. Гонять огромную модель ради вопроса "что мне одеть по погоде?" — а люди реально так начали использовать ИИ, тоже безумие.
PD>Вот этого пока, насколько я знаю, нет.
Внутри OpenAI и других контор, в своих датацентрах и для своих исследований, они гоняют сотни над одной задачей. Технически можно и самому такое запустить — API есть, только успевай посылать запросы. Но по коммерческим тарифам это запускать денег не хватит.
Обычные люди тоже работают в этом направлении постоянно — агенты, протоколы для агентов, фреймворки типа LangChain/LangGraph/n8n, алгоритмы автоматического выбора лучшего из N параллельных решений, и так далее. Уже можно насобирать некий граф-конвейер, который будет вполне нормально что-то делать, и даже на разных компах — не проблема. Разве что в типичном графе не сотни или тысячи. Видел десятки. Но, думаю, десятки, в основном потому, что большинство моделей (ещё?) достаточно универсальны, чтобы сотни подключать не имело большого смысла.
PD>И кстати, если уж продолжать аналогию. Выход из строя ЭВМ тогда — ЧП. Заменить ее нечем. И сейчас, если вдруг сдохнет ChatGPT — тоже заменить нечем (конечно, есть другие ИИ, но именно этот не заменишь). А если бы все было децентрализовано, то выход из строя одного узкоспециализированного ИИ — проблема не большая, чем выход из строя одного сайта в Интернете.
Увы. Неделю назад вылет одного CloudFlare положил пол-интернета. А ведь они вроде как даже не сайт и не ИИ.
Сейчас основная проблема — недоступное даже мелким компаниям, уж не говорю про домашних потребителей, железо. Оно внезапно и абсолютно не поспевает за потребностями. Буквально до сегодняшнего дня не было сценария, при котором обычному домашнему пользователю кровь из носу нужно 512 Гб памяти, и процессор способный буквально по всей этой памяти пробежаться за секунду, пусть делая и простые операции сложить-умножить. Модели есть, исходники на github/hugging face, но потребительского железа нет. Недавно читал историю успеха, как чувак собрал у себя из б/у комплектующих для датацентра комп, на котором может запускать (не учить, только запускать) полный DeepSeek. Думал о! темка! попробую повторить — фигвам, я перепаивать охлаждение и патчить линух для загрузки каких-то особенных дров, не готов, лол
Подтянутся производители железа, и всё придёт. Всё идёт к тому что на каждом телефоне будет крутиться мелкая модель, и отвечать на запросы на которые сейчас отвечает ChatGPT. А сложные запросы будет сама же определять и отправлять в большую GPT. Собственно внутри OpenAI подобный роутер уже работает. А будет многостадийный и на всех устройствах.
, и попробуй ответь.
