Здравствуйте, Евгений Музыченко, Вы писали:

ЕМ>Что значит "помимо чата"? Как Вы не поймете, что не бывает LLM-чатов без агентов?
ЕМ>У каждого веб-чата их полно — для поиска в интернете, для разбора файлов, загруженных в чат, для исполнения программ на основных языках и т.п.
"Полно" — это примерно полтора десятка "встроенных возможностей". И в них не входит никакого "исполнения программ на основных языках".

ЕМ>А если под "агентом вообще" Вы имеете в виду непременно локального агента, то сперва обоснуйте, чем локальный агент будет отличаться от удаленного, имеющего доступ к тем же инструментам и тому же набору данных.
Под агентом я имею в виду возможность взаимодействия с внешним инструментом, который не входит в коробочную поставку чата.

ЕМ>А удаленный агент чат-бота будет иметь доступ до того, что ему предоставил (загрузил в чат) я.
Ну попробуйте предоставить в чат компилятор msvc.exe и исходник программы, пусть скомпилирует и запустит.

ЕМ>А что технически мешает дать любому агенту доступ куда угодно через сеть: Вашему локальному — к моей системе, нужным локальным агентам веб-чат-бота — к любой системе, где есть паскаль?
И как мой локальный агент попадёт на вашу систему, если у него нет "сообщника" на вашей стороне? То, что вы предлагаете, собственно и есть агентный режим — на вашей системе ставится инструмент, который становится доступен нейросети. Это ровно то, от чего вы хотите уйти, и получить пользу от "простого чата", не имея агента.

ЕМ>Мне не нужно напрягаться — я это прекрасно осознаю. А вот Вы почему-то упорно не желаете осознать, что система "сервер LLM — сервер веб-чата — набор локальных агентов веб-чата" "топологически" эквивалентна системе "сервер LLM — Ваш локальный агент — Ваш набор локальных инструментов", как кружка топологически эквивалентна тору.
Я всё прекрасно осознаю. А вы не хотите понять, что реализация такой схемы в виде однострочного окошка "отправь команду чату" экономически нецелесообразно.
Примерно у всех производителей сейчас есть возможность за отдельные деньги купить себе облачный workspace, сконфигурировать его под свои нужды, и подключить к нему LLМ при помощи локального агента.
Но это и есть тот самый агентский режим, без которого "чистая болталка" бесполезна, и всегда будет бесполезна. И он, естественно, не будет частью бесплатного или околобесплатного предложения "чистого чата".
Вы будете платить за это решение стоимость, сопоставимую с обычной арендой сервера в облаке и запуском на нём claude.exe точно так же, как делали бы локально.

ЕМ>Вот после такого не говорите, пожалуйста, что "понимаете, как оно работает". Ибо, коли оно в состоянии перевести идею/алгоритм в процедурный программный код, то бинарник может быть получен из этого кода простыми табличными подстановками, которые оно тоже умеет делать. Для программы на ассемблере эти подстановки тривиальны, для программ на ЯВУ более сложны, но лишь количественно, а не качественно.
Нда. А вы точно программист? Давайте отвлечёмся от чатов и ЛЛМ.
Покажите мне компилятор какого-нибудь промышленного языка, построенный на "простых табличных подстановках". Зачем-то идиоты тратят десятилетия на разработку лексеров, парсеров, семантических анализаторов, оптимизаторов, кодогенераторов, линкеров. А надо было всего-то сделать серию простых табличных подстановок, и не выделываться с этими миллионами строк кода.

ЕМ>А это зависит от мощности модели. Никаких принципиальных ограничений не вижу.
Значит, такая оптика. Вы поймите, что получить в тексте чата смешение русского с английским или там кусочек иврита — норм, мелочь, "по сути-то он правильно пишет". И это делают самые мощные из имеющихся моделей. И будут делать примерно всегда — по вполне себе математическим причинам: устроены они так. Все упражнения по увеличению количества параметров и удлиннению контекстных окон просто отдаляют тот момент, когда чат начнёт галлюцинировать.
И если для текста обычной беседы это вполне приемлемо; тем более мы всегда можем просто закрыть деградировавшую сессию и начать новую, то для исполняемого кода такой косяк будет фатален.
И самое классное — что вы его даже не обнаружите. Где-то среди полусотни мегабайт исполняемого кода будет редкая ветка, где вместо инструкций x86 написан булшит.
Никак вы не предотвратите такое поведение — это имманентное свойство нейросетей.

ЕМ>Угу, а всё, что делается алгоритмически, может быть получено и вероятностными/статистическими методами, при соответствующем подборе коэффициентов. Позиксовая программа в эту схему включается лишь для того, чтобы упростить обработку и стабилизировать ее. Если не жалко ресурсов (потребность в которых растет экспоненциально), то всю обработку можно передать модели.
Именно что экспоненциально. С точки зрения математиков "невычислимая задача" и "NP-полная задача" принципиально отличаются: вторая-то разрешима!
А с точки зрения инженера (или, скажем, продакт-менеджера) NP-полнота является синонимом неразрешимости, и как раз по причине экспоненциальности.

ЕМ>Я и отзывы читал, и собственный опыт имею. Но покажите мне, где я утверждал, что LLM якобы "все делает точно"? Вы этого не найдете. А вот то, что точность и надежность ее работы можно повышать бесконечно, для меня очевидно — как очевидно и то, что сейчас это чересчур затратно, поэтому пока "пишем на простой".
Бесконечны только две вещи — человеческая глупость и вселенная. Причём насчёт вселенной это не точно.

ЕМ>Они и на уровне агентов сейчас не заменят тех, кто знает больше них.
Не очень понятно, что именно вы имеете в виду в этом количественном сравнении. Что значит "знать больше них"?

Пока еще хватает областей знания, не включенных в обучающие выборки — как в этих сферах могли бы помочь агенты?
Давайте какой-нибудь пример.

ЕМ>Почему только в десять, а не в тысячу? Почему не на квантовом компьютере?
А, в нейронках оказалось недостаточно магии, давайте добавим слово "квантовый" — тогда уж точно магии хватит

ЕМ>Коли с повышением мощности модели и объема контекста растет объем правильно генерируемого кода — тут бы и сделать вывод, что проблема чисто количественная, а не качественная.


ЕМ>Тут прямая аналогия с RSA-шифрованием: те, кто "слышал звон", смело утверждают "расшифровать невозможно", а те, кто понимает, говорят "невозможно за разумное время доступными техническими средствами".
Не совсем так. Те, кто "слышал звон", говорят "расшифровать сложно", а те, кто понимает, говорят "невозможно". Потому что за этим "невозможно" подразумевается "когда доступные технические средства доберутся до практической расшифровки существующих ключей, мы просто чуть-чуть увеличим длину ключа". Так и здесь — выручка от решенной проблемы будет расти медленнее, чем затраты на решение "грубой силой".

А главное, непонятно — зачем вообще этим заниматься? Агентный режим позволяет нам "логарифмировать" размер задачи, и получить ту самую линейную функцию затрат от объёма задачи, заведомо выигрывая у всех, кто пытается взлететь экспоненциальное решение.

ЕМ>А питон, стало быть, един и неделим? Если скрипт, правильно работающий в системе веб-чата, неправильно работает у меня, то кто виноват — чат, я или питон?
Так он его не для вас и делает. Он его делает для внутреннего потребления, это одноразовый скрипт, который будет выброшен сразу после использования. Для него не стоят вопросы стилистической красоты, кросс-платформенности и чего бы то ни было. Зато и ограничения у него. Во второй же сессии использования чатГПТ я нарвался на то, что он не смог мне сделать нужную презентацию в повер-поинт. Несмотря на заявленный скилл "работа с .PPTX".
"Простите, но питоновая библиотека, которая у меня есть, не умеет работать с такими фигурами. Я могу вам рассказать, куда нажимать в приложении для достижения нужного эффекта".
Диаграмму он не может туда вставить! И библиотеку поновее взять тоже не может. А вы рассуждаете о "всех популярных языках программирования"....

ЕМ>Если же Вы имели в виду "нецелесообразно", "невыгодно" или что-то подобное, то будьте, пожалуйста, внимательнее к речи.
Я вам уже неоднократно писал, что речь об экономических ограничениях, продиктованных техническими причинами.

ЕМ>Нужно-то оно нужно, но сколько ж Вы видели точных? "Точное решение" — это программа, которая, работая бесконечно долго в любых возможных условиях, допустимых ее спецификацией, не совершит ни одной ошибки, если их не совершит ее окружение (аппаратура, ОС, программы-компаньоны и т.п.).
Ну, если хотите — можно и такой уровень качества потребовать. Но для начала можно ограничиться тем, что программа должна быть семантически корректна в терминах выбранного языка. Например, набора команд ARM, или JVM bytecode, или языка C#. Вряд ли вам для чего-то понадобится текст, который отдалённо похож на программу на С++, но ею не является.

ЕМ>Вот тут бы и догадаться, что технически нейронке ничто не мешает создавать себе агентов самостоятельно. Но это чревато непредсказуемым развитием ее способностей. Возможно, их искусственно ограничивают прежде всего по этой причине.
Не абстрактных "способностей", а конкретных разрушительных последствий. Даже с ограниченным набором инструментов нейронки уже роняют прод и стирают коммерческие данные.
А если ей дать ещё и возможность сочинять себе инструменты на ходу, то катастрофа себя ждать не заставит. Это опять экономические соображения, продиктованные техническими причинами.

ЕМ>Если скрипт из десятка строчек удовлетворяет понятию "правильный скрипт", то в чем Вы видите противоречие?
В том, что не все задачи сводятся к скрипту из десятка строчек
ЕМ>А я где-то утверждал, что он всегда способен непосредственно породить скрипт любого размера и любой сложности?
Именно вы предлагали режим работы, в котором LLM сразу фонтанирует потоком токенов без помощи "нестохастических" инструментов. Если вы имели в виду "мы будем ограничиваться только задачами, решением которых является десятистрочная программа на python 3.14 с вот таким списком импортов", то надо было так и написать — я бы даже не начинал с вами спорить.

ЕМ>Здрасьте. Это ж чисто формальная структура, подчиняющаяся известным формальным правилам. Если LLM не будет экономить ресурсы сервера, что может ей помешать сколь угодно долго соотносить порожденную структуру с набором правил?
Стохастическая природа нейросетей. Она никогда не сможет получить "точный" результат соотнесения с "набором правил". Вы пытаетесь аппроксимировать дискретную структуру гладкой функцией.
Про явление Гиббса слышали?

ЕМ>Средства синтаксического/статистического анализа, компиляторы, линкеры, отладчики, системы виртуальных машин, аппаратные интерфейсы и вообще все, что может потребоваться для работы.
Все существующие в природе и одновременно? Боюсь, даже $200000 будет мало.