Здравствуйте, Черный 😈 Властелин, Вы писали:
ЧВ>умеющмий вот такое:
Коллеги в телеграм-канале по Delphi\Lazarus неделю восхищаются, но не знают как написать автору.
Вроде англоязычный, а вроде и русский, судя по скринам.
Здравствуйте, Евгений Музыченко, Вы писали:
JPB>>№1 — начинается все с системы: отключение "ненужных" служб, "уникальные" настройки в BIOS
ЕМ>Да ладно бы только в таких условиях. Полно приложений, которые глючат и в совершенно стандартных, на функциях, которые по разным причинам не получили особой популярности
Вы же, как разработчик, должны понимать, что раз функция непопулярна, при этом работает почти всегда, искать какой-то редкий баг в ней смысла примерно ноль.
ЕМ>Бизнес бывает разный. Бывает относительно честный, а бывает и беспардонный.
Для этого есть money back и просто саппорт (например, предложить альтернативное решение). Но вот прям обязанности исправлять "хитрые" баги — нет, т.к. это бизнес, а не консалтинг, и конечное решение что делать что не делать принимает именно производитель ПО.
ЕМ>Ну да, сперва пиарим "автомобиль, который проедет везде", а потом возвращаем деньги тем, у кого не проехал, подкрашиваем и впариваем следующему.
Если проезжает хотя бы у 60+% то это хороший показатель, дальше подкорректировать продвижение чтобы эти 40% не заходили, и норм. Или, как вариант, делать Pro версию для них, подороже.
ЕМ>Если время сэкономлено за счет делания того, до чего просто не доходили руки, то я только за. А если при этом значительно расширен ассортимент софта и набрана клиентская база, которой не потянуть без ИИ, то это может быть чревато.
Если база набрана и приносит деньги, это очень хорошо, потом можно как-то их дальше монетизировать, или плавно сворачивать лавочку. И без всяких ИИ полно примеров, как сервисы дохли — как мелочь, так и всякие гуглы и прочие закрывали проекты.
ЕМ>А кто-то тут утверждает про "задачу на утро"...
Смотря что делать. Например, я знаю, что с рутиной/относительно простыми (детерминированными) вещами веротность успеха овер 90%, тут ИИ. Что-то сложное я лучше сам накидаю "скелет" и дальше скажу ИИ делать отдельные классы/функции для этого.
Здравствуйте, JustPassingBy, Вы писали:
JPB>Вы же, как разработчик, должны понимать, что раз функция непопулярна, при этом работает почти всегда, искать какой-то редкий баг в ней смысла примерно ноль.
Как разработчик, я понимаю, что, если функция доступна и описана, то должна работать, как описано, иначе софт кривой.
JPB>Для этого есть money back
Оно есть для случаев, когда баг очень редкий и случайный, разработчик у себя не может его воспроизвести, а пользователь не в состоянии ему помочь. Называется "мы пытались, но обстоятельства оказались сильнее нас".
А если баг достаточно надежно воспроизводится, но разработчику лень им заниматься, и он предлагает money back — это из серии "отстань, не до тебя".
JPB>обязанности исправлять "хитрые" баги — нет
Обязанности нет, есть ответственность за свою работу.
ЕМ>>Ну да, сперва пиарим "автомобиль, который проедет везде", а потом возвращаем деньги тем, у кого не проехал, подкрашиваем и впариваем следующему.
JPB>Если проезжает хотя бы у 60+% то это хороший показатель
Это значит, что замануха "проедет везде" — чистой воды брехня.
Здравствуйте, sfsoft, Вы писали:
S>Здравствуйте, Черный 😈 Властелин, Вы писали: S>Коллеги в телеграм-канале по Delphi\Lazarus неделю восхищаются, но не знают как написать автору. S>Вроде англоязычный, а вроде и русский, судя по скринам. S>Огонь, склоняю голову
Хм, я же вроде автор, специально оставил в демке параграф на русском :-D
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Это совершенно точно не из соображений безопасности — чем текст, полученный через HTTP/GET, может быть опаснее текста, загруженного непосредственно в чат, или прочитанного агентом из Вашего локального файла?
Причины неважны. Важен результат.
ЕМ>Именно поэтому я и пытаюсь понять, откуда столько восторгов о его якобы фантастических успехах в создании программного кода. Пока складывается впечатление, что на коде он лажается меньше просто потому, что имеет формальные правила оценки корректности, имеет обширную базу примеров хорошего кода, и имеет набор алгоритмических костылей для генерации и анализа.
На коде он лажается меньше в агентском режиме. Как раз потому, что у него там есть не просто какие-то воображаемые "правила", а реальные инструменты для "оценки корректности" и "анализа". Оттуда и восторги — на практике он позволяет очень хорошо работать с кодом.
При этом в режиме чата он очень-очень быстро деградирует от "кода, который не соответствует вкусам читателя" до "кода, который не компилируется вообще".
Иллюзии того, что в чат-режиме ИИ что-то там может напрограммировать связаны просто с тем, что клиент не проверяет результат.
Вот я смотрю за тем, что делает агент на локальной машине. Он совершенно не всегда порождает корректный код. Но локально он свой код сначала проверяет, а уже потом показывает пользователю.
Причём у меня в проекте ему даны инструкции обязательно сначала дизайнить архитектуру, потом тесты, потом код, потом поднимать тестовое покрытие. Именно это помогает мне не тратить время на рассмотрение каждой правки, которая чинит один тест и ломает другие семь.
Но в истории работы агента я все эти правки вижу. И понимаю, что в режиме чата он бы просто отдал мне вот этот вот сырой код как готовое решение. Работа с чатом — это работа джуном под управлением сениора. Ты его такой спрашиваешь "а как мне найти приложение, которое многократно читает реестр и/или один и тот же файл". А он тебе отвечает "ну вот так-то и так-то, вот тебе пример кода". Ты ему "код не компилируется" — "ну так это была идея кода, я думал ты сам справишься".
А в режиме агента ты работаешь как сениор, руководя мидлом. "Сделай мне инструмент для поиска приложений, которые многократно читают реестр и/или один и тот же файл". И вот он пошёл лопатить. "А, нет, такой функции и правда нет, исправляем. Ага, приложение не запустилось, сейчас посмотрим в чём дело. Так, добавим логи вокруг вызовов, чтобы понять точную причину падения". И так от пары минут до нескольких часов — как задачу поставишь.
Зато потом приносит то, что очень похоже на нужный результат.
Если интересует качество кода, а не только "чтобы тесты проходили", то нужно тщательнее контролировать остальные этапы, да ещё и иногда заставлять делать рефакторинг.
ЕМ>Про такое не стоит говорить "нет доступа". Правильнее будет "их попросили этого не делать, и они пообещали".
Нет, не правильнее.
ЕМ>Никто. Самое смешное, что он может это сделать не только по злому умыслу разработчиков-обучателей, но и полностью самостоятельно, если каким-то образом придет к выводу, что так будет "правильно".
Самое смешное, что он этого не сможет сделать, если вы самостоятельно не дадите ему такую возможность.
ЕМ>Если "не разрешаю" означает лишь настройки агента, то это такой себе запрет...
Это комбинация настроек песочницы и "уговоров" агента.
Движочек паранойи можно двигать в те или иные стороны. В левом положении у него вообще нет ничего, кроме доступа на чтение в фолдер сессии. И каждую правку в файл он будет вынужден запрашивать у пользователя. Не потому, что у него в промпте написано, а потому что песочница исполняется под такими правами. Попытка запустить какой-нибудь git push в такой песочнице упрётся в cannot connect to host. В правом положении у него полный доступ ко всей машине и к сети.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
S>А в режиме агента ты работаешь как сениор, руководя мидлом. "Сделай мне инструмент для поиска приложений, которые многократно читают реестр и/или один и тот же файл". И вот он пошёл лопатить. "А, нет, такой функции и правда нет, исправляем. Ага, приложение не запустилось, сейчас посмотрим в чём дело. Так, добавим логи вокруг вызовов, чтобы понять точную причину падения". И так от пары минут до нескольких часов — как задачу поставишь. S>Зато потом приносит то, что очень похоже на нужный результат.
Все так, добавлю еще что перед коммитом имеет смысл открыть новую сессию (без контекста) и сказать псс ты, ну ка проверь pending changes чтобы не было багов, гонок, повторения кода, и вообще что все хорошо.
Он обычно находит где напортачил перевый агент, фиксит и вот это уже можно комммитить, зависит от сложности кода, естественно.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Не помню, чтоб я где-то настаивал на "произвольности" размера исходников.
Вы — нет. Но продукты пишут не для вас одного.
ЕМ>Но даже в том случае, когда весь набор не влезает в контекст целиком, движку ничто не мешает использовать какие-то промежуточные инструменты для работы с текстами. Если у него есть инструменты для анализа изображений, звукозаписей, документов различного типа, то почему Вы упорно предполагаете отсутствие подобных инструментов для программного кода?
На основе опыта работы. А также здравого смысла: вы что, думаете что кто-то каждому бесплатному пользователю будет выделять полноценный workspace на всех платформах и с полным набором всех инструментов для всех версий всех языков программирования?
Нет, никто так даже не пытается делать. Так что никаких "промежуточных инструментов для программного кода" там нет.
ЕМ>Каким образом ripgrep поможет ему найти упоминания идентификаторов, строк или выражений определенной структуры, которые конструируются "на лету" при помощи макросов? Как поможет отделить случаи использования идентификаторов вида "a" или "it" от множества текстовых строк, где есть такие слова?
Прекрасно поможет. Типовой компилятор отличает строковые константы от комментариев и идентификаторов при помощи лексера. Который, как правило, эквивалентен регулярным выражениям.
"Комбинирование на лету" как раз требует строить некие скрипты поверх вызовов примитивного инструмента.
ЕМ>То есть, частное "скрипт" превращается в более общее "инструмент".
Более общим это становится в агентском режиме, где LLM доступны те же инструменты, что и вам.
Убираем инструмент — и агент сводится к тому же тупому чату. Который запросто добавит вам в project.json ссылку на несуществующий пакет — просто потому, что она "похожа на настоящую".
Ставим pnpm — и агент моментально "умнеет", потому что pnpm вовремя даёт ему обратную связь.
ЕМ>А если ее спросить о подробностях формата ZIP, какой код, и на каком языке, она сгенерирует, чтобы дать ответ?
Никакой. Но у вас не будет никакой гарантии, что эти подробности не будут убедительно выдуманы. Ну, то есть про zip, скорее всего, будут более-менее релевантные подробности (потому что он многократно и хорошо задокументирован в обучающей выборке), а вот что-то чуть более экзотическое — и всё, приплыли.
ЕМ>Вы забыли описать, какой скрипт она будет использовать для собственно анализа кода.
Динамически сгенерированный.
ЕМ>Вы ж фактически описываете работу не LLM, а традиционных алгоритмических инструментов. А LLM вполне способна породить и непосредственно DOCX — в виде последовательности токенов, представляющих двоичный поток.
Нет, неспособна. Порождённый потоком токенов DOCX скорее всего даже не откроется.
ЕМ>Я хочу обсуждать инструменты, но в Ваших рассказах об их устройстве слишком много фантазии.
Это в ваших рассказах полно фантазии. А я опираюсь на опыт использования и немного на понимание механизмов.
ЕМ>Я делаю такой вывод даже не потому, что хорошо знаю устройство ИИ-систем (как раз весьма поверхностно), а просто потому, что Ваши утверждения об этом изобилуют противоречиями. Такое впечатление, что Вы зачем-то убедили себя в том, что "оно работает именно так, и никак иначе", хотя это совершенно не имеет смысла.
Всё строго наоборот — это вы зачем-то убеждаете себя, что LLM должны работать каким-то определённым образом. Хотя у ваших идей есть совершенно очевидные недостатки.
И даже если бы их не было, то на данном этапе интереснее и полезнее обсуждать поведение реальных продуктов, а не воображаемых изменений к ним.
S>>Чат тем и отличается от агента, что не делает никакую работу, а только болтает.
ЕМ>Ну, если, например, построение математической формулы по заданному программному коду Вы относите к "только болтает", то пусть будет так.
Да, совершенно верно. У нас на форуме тоже есть такие персонажи. Как только мы внедряем в интеллект боязнь признаться идиотом, так он тут же начинает убедительно галлюцинировать в ответ на любой вопрос. Иногда его галлюцинации выглядят правдоподобно. Например, математическая формула похожа на настоящую.
ЕМ>А мне находит. И я ничуть не удивлен. Но возможно, Вы сумели бы убедить его в том, что это невозможно.
Ну так он и ошибки у вас на сайте находил. Делов-то.
ЕМ>У какой из тех команд, которые агент вызывает на Вашем компьютере, есть интеллект?
Ни в какой. Но там есть петля обратной связи. Благодаря которой детский лепет, порождаемый болталкой, превращается в компилируемый, хорошо структурированный код, покрытый тестами и документацией.
ЕМ>А что он делает, если чтение маленькими фрагментами, при небольшом контекстном окне, не позволяет выполнить поставленную задачу?
Галлюцинирует. А вы чего ожидали? Высадки пришельцев?
S>>Да, но он это делает без загрузки всего кода вместе с мусором в LLM.
ЕМ>Каким образом? Какие локальные, алгоритмические инструменты на Вашем компьютере могли бы это делать, чтоб LLM обходился без обработки кода целиком, пусть и по частям?
В каком-то смысле код будет обработан "целиком", но не как линейный поток токенов, а как некая иерархическая структура.
И в агентском режиме мы можем делать этот процесс рекурсивным.
Например, сначала отреверсить код для построения документации. Потом — порезать код на более постижимые фрагменты. И так далее.
Успех ИИ на ниве кодописательства непосредственно связан с тем, что его проблемы — такие же, как у кожаных мешков.
И те же самые меры, которые помогают кожаным мешкам писать программы сложнее hello, world, помогают и ИИ — то есть структурирование кода, именование функций и переменных, регулярное использование компиляторов и тестовых фреймворков.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Черный 😈 Властелин, Вы писали:
ЧВ>Все так, добавлю еще что перед коммитом имеет смысл открыть новую сессию (без контекста) и сказать псс ты, ну ка проверь pending changes чтобы не было багов, гонок, повторения кода, и вообще что все хорошо.
ЧВ>Он обычно находит где напортачил перевый агент, фиксит и вот это уже можно комммитить, зависит от сложности кода, естественно.
Вот да. Есть ещё механика PR Review, но она дорогая.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте
S>Вот да. Есть ещё механика PR Review, но она дорогая.
Мне показалась ерундой, если имеется в виду GitHub PR review.
Там на ревью посажен ИИ который сильно тупее Клода например
Все равно что джуниора заставлять делать ревью PR от сеньора
Вторая сессия как сказал ЧВ IMHO сильно лучше
Здравствуйте, bnk, Вы писали:
bnk>Мне показалась ерундой, если имеется в виду GitHub PR preview.
Я пока пробовал только Codex PR Review. Он хороший (находит реальные проблемы), но дорогой, т.к. на него отдельный лимит и очень маленький по сравнению с лимитами на "просто работу".
Так что запускать точно такой же ревью локально в студии гораздо выгоднее, чем дожидаться "внешнего" прогона через официальный GitHub Application.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Черный 😈 Властелин, Вы писали:
ЧВ>я же вроде автор
Кстати, на эту тему тоже есть любопытные нюансы. Я спросил ChatGPT: "если я попрошу тебя сгенерировать код или создать приложение, то что я потом смогу с ними делать, какие у меня будут права, и есть ли какие-то ограничения?".
Он, разумеется, ответил, что я могу использовать результаты, как мне вздумается, но дал оговорку:
Я генерирую код на основе обученных шаблонов, поэтому:
похожие решения могут существовать
нет гарантии, что код на 100% уникален
б) Возможные совпадения с чужим кодом
Редко, но возможно:
фрагменты могут напоминать open-source решения
если ты делаешь коммерческий продукт — лучше:
прогнать код через проверку лицензий
при необходимости переписать критические части
Поскольку он не создает код с нуля по правилам, а вставляет шаблоны из обучающей выборки и результатов самообучения, то заранее неизвестно, какой кусок окажется подходящим — это может быть и вполне узнаваемый фрагмент кода под GPL или подобной лицензией. Если никому не показывать исходники, то можно не париться, но точно так же он может спереть целиком узнаваемый кусок UI, дизайн, кусок чьей-то документации, патентованный алгоритм и т.п. Это надо бы иметь в виду.
ЕМ>Поскольку он не создает код с нуля по правилам, а вставляет шаблоны из обучающей выборки и результатов самообучения, то заранее неизвестно, какой кусок окажется подходящим — это может быть и вполне узнаваемый фрагмент кода под GPL или подобной лицензией. Если никому не показывать исходники, то можно не париться, но точно так же он может спереть целиком узнаваемый кусок UI, дизайн, кусок чьей-то документации, патентованный алгоритм и т.п. Это надо бы иметь в виду.
Он не кусками кода думает
Он переводит код в последовательность действий с объектами
Здравствуйте, Sinclair, Вы писали:
S>Он совершенно не всегда порождает корректный код. Но локально он свой код сначала проверяет, а уже потом показывает пользователю.
То есть, сперва порождает, потом компилирует-собирает, потом прогоняет все необходимые тесты, и только после этого показывает?
S>А в режиме агента ты работаешь как сениор, руководя мидлом. "Сделай мне инструмент для поиска приложений, которые многократно читают реестр и/или один и тот же файл". И вот он пошёл лопатить. "А, нет, такой функции и правда нет, исправляем. Ага, приложение не запустилось, сейчас посмотрим в чём дело. Так, добавим логи вокруг вызовов, чтобы понять точную причину падения".
По-моему, это больше похоже не на мидла, а на того же джуна, только обученного пользоваться инструментами. Я, когда лень думать, тоже делаю примерно так же — вношу правку чуть ли не случайно, запускаю, смотрю результат или логи, вношу следующую правку, и так до тех пор, пока не заработает, или пока не надоест. Но были случаи, когда я таким образом только запутывал проблему, получая лишь временную работоспособность, которая при последующих правках рушилась полностью, и многое приходилось переписывать заново. С агентом будет только та отрада, что переписывать не мне.
S>Это комбинация настроек песочницы и "уговоров" агента.
Песочница идет в комплекте с агентскими приложениями? Или это отдельный инструмент вроде VM, который добывается независимо от агентов?
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>То есть, сперва порождает, потом компилирует-собирает, потом прогоняет все необходимые тесты, и только после этого показывает?
Именно. Ну, то есть можно попросить и сразу "показать", но это опять возврат к уровню чата. Поэтому обычно эффективнее всё же не запрещать ему делать проверку.
ЕМ>По-моему, это больше похоже не на мидла, а на того же джуна, только обученного пользоваться инструментами.
Вы, наверное, не видели джунов в их естественном состоянии
ЕМ>Я, когда лень думать, тоже делаю примерно так же — вношу правку чуть ли не случайно, запускаю, смотрю результат или логи, вношу следующую правку, и так до тех пор, пока не заработает, или пока не надоест. Но были случаи, когда я таким образом только запутывал проблему, получая лишь временную работоспособность, которая при последующих правках рушилась полностью, и многое приходилось переписывать заново. С агентом будет только та отрада, что переписывать не мне.
Джун зачастую просто застревает на первой же проблеме в состоянии "я не знаю, что дальше делать". Мидл на то мидл, что у него всегда есть идея, что ещё можно попробовать.
ИИ помимо инструментов обладает навыками творчества — вот той самой бредогенерации. Именно она выгодно отличает его от привычных нам жёстких инструментов.
ЕМ>Песочница идет в комплекте с агентскими приложениями? Или это отдельный инструмент вроде VM, который добывается независимо от агентов?
Как я понимаю, есть оба варианта. Агенты, которые разворачиваются как IDE Extension, вынуждены работать в ограничениях IDE. Агенты, которые ставятся как самостоятельные приложения, тащат песочницу с собой.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
S>ИИ помимо инструментов обладает навыками творчества — вот той самой бредогенерации. Именно она выгодно отличает его от привычных нам жёстких инструментов.
Нет творчество он точно не умеет
Я много раз просил его именно придумать новый алгоритм
Он всегда советует то что уже знает
Причём он не может отталкиваться от особенностей данных
Просто советует популярные алгоритмы из этой области
Здравствуйте, Sinclair, Вы писали:
S>думаете что кто-то каждому бесплатному пользователю будет выделять полноценный workspace на всех платформах и с полным набором всех инструментов для всех версий всех языков программирования?
Почему "бесплатному", почему "всех"? Коли существует изрядное количество чисто онлайн-инструментов для разных задач, у которых нет полных локальных аналогов, то логично ожидать того же и от ИИ-движков с веб-интерфейсом — как бесплатных, так и платных.
Ваши рассуждения выглядели бы разумно, если б ИИ-инструменты для генерации изображений не умели бы работать без условного локального Photoshop, инструменты для генерации музыки — без условного локального Logic и т.п. Но они вполне себе работают полностью онлайн, и к этому нет никаких технических или экономических противопоказаний.
S>Типовой компилятор отличает строковые константы от комментариев и идентификаторов при помощи лексера. Который, как правило, эквивалентен регулярным выражениям.
Области видимости тоже регулярными выражениями отслеживаются? Результаты подстановки шаблонов, тех же макросов, и подобное?
S>Более общим это становится в агентском режиме, где LLM доступны те же инструменты, что и вам.
Оно умеет работать с любым набором инструментов любого ЯП? Стандартного набора VS 2008 ей будет достаточно для работы с программами на C++, или скажет "не шмогла, дай мне хотя бы VS 2022"?
S>Порождённый потоком токенов DOCX скорее всего даже не откроется.
Попросил ChatGPT создать файл DOCX, содержащий строку "проверка", скачал предложенный "proverka.docx", открыл — внутри запрошенная строка. Возможно, у него где-то есть готовый инструмент для создания DOCX, но с тем же успехом он мог бы создать его самостоятельно, если у него где-то есть хотя бы питон и среда для его исполнения (а они наверняка есть). Технических препятствий нет.
S>Это в ваших рассказах полно фантазии. А я опираюсь на опыт использования и немного на понимание механизмов.
Мне фантазировать как раз можно — я озвучиваю в основном предположения. Вы же озвучиваете якобы факты. С большей частью того, что Вы описываете, как факт, я не спорю. Однако утверждения вроде "это невозможно без", "оно не будет так работать", основанные лишь на "немногое понимание механизмов", мало чем отличаются от фантазий ИИ.
S>вы зачем-то убеждаете себя, что LLM должны работать каким-то определённым образом.
Не "должны", а "могут". В том смысле, что технически способны. Чуете разницу?
S>Как только мы внедряем в интеллект боязнь признаться идиотом, так он тут же начинает убедительно галлюцинировать в ответ на любой вопрос.
Кстати, что мешает так же вести себя и локальному агенту? Он тоже может построить в Вашей локальной системе такой набор данных, описывающих его текущие "представления", чтобы придать им бОльший вес, нежели выдаче компилятора или анализатора, и начать утверждать, что те поломались, их нужно переустановить, или поменять на другие. И лечить это придется, как и душевные расстройств у людей — чисткой его рабочих файлов, игрой с параметрами и т.п.
ЕМ>>У какой из тех команд, которые агент вызывает на Вашем компьютере, есть интеллект?
S>Ни в какой. Но там есть петля обратной связи. Благодаря которой детский лепет, порождаемый болталкой, превращается в компилируемый, хорошо структурированный код, покрытый тестами и документацией.
Это далеко не первая петля обратной связи в этой системе, а лишь одна из самых последних. И он может поставить ее под сомнение так же, как и любую другую, сформированную при обучении.
S>В каком-то смысле код будет обработан "целиком", но не как линейный поток токенов, а как некая иерархическая структура.
Вот, я именно об этом — в итоге ему все равно придется ввести в контекст весь код, просто бОльшая часть к этому моменту будет перекодирована в более емкие понятия.
S>И в агентском режиме мы можем делать этот процесс рекурсивным.
Это можно делать и в чат-режиме, просто менее удобно.
Бывает относительно честный, а бывает и беспардонный.
