Здравствуйте, Sinclair, Вы писали:
S>можно просто ткнуть его носом в то, что неправильно (например, набор тестов падает на какой-то из платформ), то он и сам прекрасно починит.
А если нет такого удобного набора тестов? Если, например, где-то происходит переполнение, ломается адресная арифметика, и портятся случайные участки памяти, чем он может помочь?
S>ИИ позволяет сложную задачу сделать за утро, а неразрешимую — за неделю
Ну вот у меня, например, уже давно есть идея сделать компонент для винды, который собирает статистику по обращениям процессов к файлам и реестру, чтобы можно было наглядно видеть, кто из них читает одни и те же данные по сто тысяч раз в минуту. Это можно сделать за утро, или меньше недели никак не хватит?
ЕМ>Ну вот у меня, например, уже давно есть идея сделать компонент для винды, который собирает статистику по обращениям процессов к файлам и реестру, чтобы можно было наглядно видеть, кто из них читает одни и те же данные по сто тысяч раз в минуту. Это можно сделать за утро, или меньше недели никак не хватит?
Начал за Вас, закинул в Qwen эту цитату, можете продолжить —
Да, это технически реализуемо. Задача мониторинга доступа к файлам и реестру — классическая для системного программирования под Windows. Однако есть важные нюансы относительно производительности и архитектуры.
Вот основные способы реализации и подводные камни:
### 1. Технологии для перехвата событий
#### А. ETW (Event Tracing for Windows) — Рекомендуемый вариант
Это штатный механизм трассировки в Windows. Он работает в ядре, но потребляется из пользовательского режима.
* **Провайдеры:** Вам нужны `Microsoft-Windows-Kernel-File` и `Microsoft-Windows-Kernel-Registry`.
* **Плюсы:** Не требует написания драйвера, стабильно, поддерживается Microsoft, меньше шансов вызвать BSOD.
* **Минусы:** Всё равно создает нагрузку на систему при очень высоком потоке событий.
* **Библиотеки:**
* **C#:** `Microsoft.Diagnostics.Tracing.TraceEvent` (очень мощная библиотека от Microsoft).
* **C++:** Native ETW APIs (`StartTrace`, `EnableTraceEx2`, `ProcessTrace`).
#### Б. Minifilter Driver (Kernel Mode)
Написание драйвера файловой системы (минифльтра).
* **Плюсы:** Полный контроль, можно перехватывать всё до того, как это обработает ОС.
* **Минусы:** Сложно в разработке, требует подписи драйвера (для 64-битных систем), ошибка в коде ведет к падению системы (BSOD).
* **Когда использовать:** Если ETW не дает нужной детализации или производительности, либо если нужно блокировать доступ, а не только мониторить.
### 2. Проблема производительности (Главное узкое место)
Вы упомянули «сто тысяч раз в минуту». Это ~1600 операций в секунду.
* **Накладные расходы:** Логирование *каждого* события синхронно замедлит систему.
* **Решение:** Агрегация данных должна происходить как можно ближе к источнику.
* Не пишите каждое событие в лог на диск.
* Считайте хеш пути к файлу/ключу реестра + PID процесса.
* Ведите счетчик в памяти за временное окно (например, 1 секунда).
* В интерфейс выводите только те пары «Процесс -> Ресурс», где счетчик превысил порог.
### 3. Архитектурный план
1. **Сборщик (Collector Service):**
* Запускается от имени SYSTEM или Администратора.
* Подписывается на ETW события.
* В колбэке события извлекает: `ProcessId`, `FileName` (или `RegistryPath`), `Operation` (Read/Write).
* Нормализует пути (приводит к единому виду).
* Агрегирует: `Dictionary<(PID, PathHash), Count>`.
2. **Хранилище (In-Memory):**
* Используйте кольцевой буфер или скользящее окно. Хранить историю за час при такой нагрузке не получится без серьезной оптимизации.
3. **Визуализатор (UI):**
* Отдельное приложение, которое подключается к Сборщику (IPC: Named Pipes, gRPC, Shared Memory).
* Рисует график или таблицу: «Процесс А и Процесс Б часто читают файл X».
### 4. Существующие аналоги
Прежде чем писать своё, посмотрите на **Process Monitor (ProcMon)** от Sysinternals.
* Он делает ровно это: мониторит File System, Registry, Network, Process/Thread.
* **Ограничение:** Он показывает поток событий, но не имеет встроенной аналитики «кто читает одно и то же чаще всего». Вам нужно именно аналитическое представление, поэтому свой компонент имеет смысл.
### 5. Технические сложности
* **Привилегии:** Потребуется `SeDebugPrivilege` для мониторинга процессов других пользователей и `SeSystemProfilePrivilege` для ETW.
* **Имена файлов:** В событиях ядра файлы часто приходят в формате `\Device\HarddiskVolume1\Windows\System32...`. Нужно будет мапить это в понятные пути (`C:\Windows...`) через `NtQueryObject` или кэш символьных ссылок.
* **Нагрузка на ЦП:** При высокой активности диска (например, антивирус сканирует или индексатор работает) ваш агент может потреблять 5-10% CPU только на обработку событий.
### Примерный стек для быстрой реализации (PoC)
1. **Язык:** C# (.NET 6/8) или C++.
2. **Сбор данных:** Библиотека `Microsoft.Diagnostics.Tracing.TraceEvent`.
3. **Фильтрация:** Сразу отбрасывать события от системных процессов (Idle, System), если они не интересны.
4. **Аналитика:** Группировка по пути файла + подсчет частоты за последние N секунд.
Это легитимная задача для администрирования, отладки производительности или безопасности (выявление аномальной активности).
Здравствуйте, Евгений Музыченко, Вы писали: ЕМ>А если нет такого удобного набора тестов? Если, например, где-то происходит переполнение, ломается адресная арифметика, и портятся случайные участки памяти, чем он может помочь?
То может найти причину и исправить.
ЕМ>Ну вот у меня, например, уже давно есть идея сделать компонент для винды, который собирает статистику по обращениям процессов к файлам и реестру, чтобы можно было наглядно видеть, кто из них читает одни и те же данные по сто тысяч раз в минуту. Это можно сделать за утро, или меньше недели никак не хватит?
Выглядит как делаемое за утро. Но я не уверен, что 100% понял задачу. Критерий "одних и тех же данных" непонятен.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Евгений Музыченко, Вы писали:
bnk>>Он железный, ему что одну строку перевести что десять
ЕМ>Так это ж и в коде, вместо подстановки нужного слова, придется выбирать нужный вариант полной фразы...
Ну так эта логика же в коде так и так должна быть?
Просто вместо "оптимизированной" когда меняешь части предложений меняешь само сообщение.
Вместо вот этого:
MSG_intput="input"
MSG_output="output"
MSG_problem="there is some problem with %1: %2"
type = problem_with_input
? translate(MSG_input)
: translate(MSG_output)
message = translate(MSG_problem, type, error_message)
Делать вот так:
MSG_problem_input="There is some problem with input: {error}"
MSG_problem_input="There is some problem with output: {error}"
message = problem_with_input
? translate(MSG_problem_input, { error: error_message })
: translate(MSG_problem_output, { error: error_message })
Это работает с языками гораздо лучше — перестановку параметров можно делать по смыслу, в т.ч. через ИИ
IMHO, первый вариант (если я правильно понял) — это экономия на спичках, приводящиая к потенциальным проблемам в локализации
Здравствуйте, Sinclair, Вы писали:
ЕМ>>например, где-то происходит переполнение, ломается адресная арифметика, и портятся случайные участки памяти
S>То может найти причину и исправить.
Каким образом найдет? Как он оценит скорость изменения какого-нибудь счетчика, считающего некие внешние события, чтобы сделать вывод о том, как скоро возможно его переполнение?
S>Выглядит как делаемое за утро.
Смело.
S>Критерий "одних и тех же данных" непонятен.
Один и тот же относительно небольшой файл с локализованными текстовыми константами, который читается каждый раз, когда потребуется какая-нибудь строка. Одни и те же реестровые переменные, читаемые при каждой перерисовке окна, меню, виджета и т.п.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Коллеги, которые выполняют полный цикл разработки (от идеи до продукта/документации), в каких аспектах вам удается получать ощутимую выгоду от применения ИИ?
Можешь сделать бесплатный опыт:
1. Пишешь идею, в моем последнем случае был внутрикорпоративный ИИ-агент.
2. Спрашиваешь у ChatGpt что-то типа — переформулируй и задай дополнительные вопросы для построения промпта
3. Он задает вопросы, ты отвечаешь. Делаешь несколько итераций, когда решишь что все вопросы банальны и модель сама додумает. Просишь создать промпт. Не забудь — пускай сразу генерит документацию и тесты.
4. Скачиваешь qwencode он бесплатный и есть бесплатный лимит
5. Скармливаешь ему промпт, он минут 5 смеется но создает проект.
6. Поправляешь сборки (в версиях он путается, может придумать неизвестную версию).
7. Собираешь — смотришь как круто.
8. Тратишь время чтобы понять что сделано и как.
9. Портишь что-то. Просишь исправить. Сцуко делает темповый тест на процедуру, ищет ошибку, исправляет.
В общем откроешь удивительный мир современных достижений.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, temnik, Вы писали:
T>>Начал за Вас
ЕМ>Могли бы и не начинать — я и сам знаю, какими путями это можно реализовать.
ЕМ>Сейчас мне интересно, насколько такое можно сделать "за утро", или хотя бы "на неделю".
Ну так попробуйте, и узнаете насколько. Ну, потеряете в крайнем случае, несколько дней — всё равно же с пользой, что-то новое узнаете.
Здравствуйте, temnik, Вы писали:
T>потеряете в крайнем случае, несколько дней
Несколько дней я потеряю только на общее знакомство с принципами использование агентов, на подбор, настройку и установку софта, на оформление подписок и т.п. Еще несколько дней — на более-менее конкретное знакомство с работой агентов. Поэтому и пытаюсь заранее понять, насколько имеет смысл заниматься этим уже сейчас, а не постепенно в течение года.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Каким образом найдет? Как он оценит скорость изменения какого-нибудь счетчика, считающего некие внешние события, чтобы сделать вывод о том, как скоро возможно его переполнение?
Если есть воспроизводимое поведение — то оттрассирует цепь причин и найдёт, что сломано.
Если нет воспроизводимого поведения — то точно так же затупит, как и обычный разработчик, которому говорят "у клиента что-то сломалось, мы не знаем что".
S>>Выглядит как делаемое за утро.
ЕМ>Смело.
С учётом того, что примерно 90% заказанной функциональности доступно в виде сисинтерналзовской тулзы, я не вижу тут никаких неразрешимых препятствий. S>>Критерий "одних и тех же данных" непонятен.
ЕМ>Один и тот же относительно небольшой файл с локализованными текстовыми константами, который читается каждый раз, когда потребуется какая-нибудь строка. Одни и те же реестровые переменные, читаемые при каждой перерисовке окна, меню, виджета и т.п.
"Относительно небольшой" — нечётко сформулировано. Массовые обращения к одному и тому же файлу характерны, скажем, и для медиа плеера, и для SQL Server. Вряд ли это то, что вас интересует.
То есть вопрос, в основном, в критериях отличия сигнала от шума.
С реестром в целом попроще, т.к. там значения как правило маленькие, зато процессов, которые лихорадочно перечитывают одно и то же — тыщи.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, temnik, Вы писали:
T>>потеряете в крайнем случае, несколько дней
ЕМ>Несколько дней я потеряю только на общее знакомство с принципами использование агентов, на подбор, настройку и установку софта, на оформление подписок и т.п. Еще несколько дней — на более-менее конкретное знакомство с работой агентов. Поэтому и пытаюсь заранее понять, насколько имеет смысл заниматься этим уже сейчас, а не постепенно в течение года.
Начните не с агентов, а с чатов. Время на знакомство не требуется. Установка софта не требуется. Подписки не требуются (qwen или deepseek).
Здравствуйте, temnik, Вы писали:
T>Начните не с агентов, а с чатов. Время на знакомство не требуется. Установка софта не требуется. Подписки не требуются (qwen или deepseek).
IMHO, чаты для разработки бесполезны. Вообще. А Qwen и Deepseek для программирования в принципе говно, в любом варианте. Они тупые как пробка.
Здравствуйте, Sinclair, Вы писали:
S>Если есть воспроизводимое поведение — то оттрассирует цепь причин и найдёт, что сломано.
Ну вот порча памяти воспроизводится в ходе обработки множества асинхронных событий (движений мыши, нажатий клавиш, прихода сетевых пакетов). Как именно он "оттрассирует цепь причин"? Будет гонять отладчик по шагам через каждый поток? Кстати, есть ли такие отладчики, чтоб независимо трассировать несколько потоков?
S>С учётом того, что примерно 90% заказанной функциональности доступно в виде сисинтерналзовской тулзы
Которая периодически перестает работать. Процесс гарантированно обращается к файлам/реестру, а она ничего не отображает. Перезапускаешь или перестраиваешь фильтр — иногда начинает отображать, иногда нужно плясать с бубном. Так уже несколько лет, уже много обновлений было, лучше не стало.
S>"Относительно небольшой" — нечётко сформулировано.
Который без проблем можно загрузить в память один раз, не опасаясь чрезмерного использования. Для конкретики — например, менее 1% от объема памяти, в среднем занимаемого процессом.
S>Массовые обращения к одному и тому же файлу характерны, скажем, и для медиа плеера
Ну понятно же, что имеется в виду не файл, как объект, а именно одно и то же содержимое. Если проигрыватель раз за разом читает из файла одни и те же данные, но проигрывает каждый раз только какую-то часть — это то, о чем я.
S>и для SQL Server.
Ну, сервер БД — актор подневольный, чего попросили — то и прочитает, равно как и Registry Manager. В этих случаях речь об их клиентах.
S>процессов, которые лихорадочно перечитывают одно и то же — тыщи.
Вот и хочу как-нибудь составить "рейтинг заслуг" по собранной статистике.
Здравствуйте, temnik, Вы писали:
T>Начните не с агентов, а с чатов.
Тут утверждали, что чаты — "игрушка", и не только по удобству и доступу к коду (можно ж и архив с кодом туда загрузить, и результат так же выгрузить), а именно по возможностям.
Здравствуйте, temnik, Вы писали:
T>Начните не с агентов, а с чатов.
Вот попробовал DeepSeek. Попросил его найти языковые ошибки на сайте продукта. Он нашел несколько ошибок на главной странице, глубже не пошел. Тогда я его попросил обойти локальные страницы, доступные по ссылкам. В ответ получил:
I will analyze the additional pages linked from the main site that are within the same domain. Let me review them.
Фишка в том, что страницы с таким адресом на сайте нет. Такой файл есть в подкаталоге, но в нем тоже нет якобы цитируемых фраз. Я смутно помню, что много лет назад какие-то из них были, но с тех пор тексты много раз были переделаны. И я вообще хз, где он откопал эту древнюю версию. Гугл по запросу "ear distortion site:vac.muzychenko.net" выдает ноль результатов.
И вот с такими очевидными, грубыми косяками ИИ я сталкиваюсь регулярно. Они бесят своей тупостью и сводятся к тому, что я не могу доверять результатам творчества этого чуда, не проверив все вдоль и поперек. Ну, или на каждую генерацию напускать по два-три цикла проверки другими ИИ-движками. Как вам удается не натыкаться на такое регулярно — ума не дам.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, temnik, Вы писали:
T>>Начните не с агентов, а с чатов.
ЕМ>Тут утверждали, что чаты — "игрушка", и не только по удобству и доступу к коду (можно ж и архив с кодом туда загрузить, и результат так же выгрузить), а именно по возможностям.
ЕМ>Или врут?
Агенты лучше и качественней, благодаря тому, что "видят" весь проект.
Но я говорю о знакомстве и проверке гипотез — для этого и чаты сгодятся.
ЕМ>И вот с такими очевидными, грубыми косяками ИИ я сталкиваюсь регулярно.
Вы говорили про код, а пример совсем о другом.
Вот сколько времени Вы уже потратили тут на обсуждение своей идеи монитора процессов? Вы бы потратили его в беседах с ИИ с большей пользой.
Я уже писал — при выборе из двух китайцев для кода я рекомендую Qwen, да и для обсуждений и идей тоже. Дипсик хорош в переводах, OCR, конвертациях, и такого типа задачах. (Не просите его ходить по сайту, а просто дайте скопированный текст)
Здравствуйте, temnik, Вы писали:
T>Агенты лучше и качественней, благодаря тому, что "видят" весь проект.
Только поэтому? Если, как я уже упоминал, загрузить архив с полным текстом в чат — он обработает его так же, как и агент, читающий тот же набор файлов с локальной ФС? Или таки чатовые движки действительно придушены, чтоб переходили на агентов?
T>Вы говорили про код, а пример совсем о другом.
В чем Вы видите качественную разницу? Когда генераторы изображений поймали на ошибках с количеством пальцев, в них быстро встроили самопроверки на артефакты такого рода. Если у ИИ-движка есть функция вставки ссылки в текст выдачи (с оформлением в качестве ссылки), то должна быть и самопроверка на валидность этой ссылки. Если такой самопроверки нет, то какие есть основания доверять сгенерированному коду? Только тот факт, что на нем выполняются сгенерированные тем же ИИ тесты?
T>Вот сколько времени Вы уже потратили тут на обсуждение своей идеи монитора процессов?
В совокупности — минут пятнадцать. Набираю я быстро.
T>Вы бы потратили его в беседах с ИИ с большей пользой.
Я пока не могу понять, как именно. Я несколько раз просил разные ИИ "напиши мне полный текст приложения, делающего конкретно то-то и то-то". На это он мне вываливал, как это можно сделать, генерировал какие-то простенькие и очень грубые примеры, делающие вид, будто они решают поставленную задачу, но и только. Я по нескольку раз уточнял требования, он каждый раз отвечал в стиле "да, конечно", и продолжал нести пургу — точь-в-точь, как недалекий подчиненный, который смотрит тебе в рот, и старается всячески угодить, только не понимает, как, хоть ему кол на голове теши.
Тогда я пытался переходить на уровень ниже, и просил его написать отдельные компоненты. Он выдавал нечто, очень похожее на повсеместно валяющиеся наборы "для всего сразу, и ни для чего конкретно", которые можно взять за основу, но разбираться и допиливать нередко будет сложнее, чем написать с нуля.
Из этого у меня сложилось впечатление, что он тупо собирает вместе элементы кода, выдранные из известных ему примеров задач, которые уже кто-то когда-то решал. Сделать то, чего еще никто делать не пытался (а я главным образом только таким и занимаюсь), у него не выходит.
А если опускаться еще ниже, то "код для перестановки элементов массива задом наперед" я и сам быстро напишу без этих заморочек.
T>при выборе из двух китайцев для кода я рекомендую Qwen
Попробую в ближайшее время и его.
T>Не просите его ходить по сайту
Почему? Это же простая, чисто алгоритмическая задача, признаки правильности выполнения которой жестко регламентированы и хорошо известны. Из той же серии, что и вычисление математических формул, имитация выполнения "локального" программного кода и т.п. Если он приводит в качестве примера невалидную ссылку, да еще и добывает из каких-то глубин древности тексты, которые ассоциируются с именами в пути URL, то и совершенно левое слово при OCR может подставить, и вставить в код идентификатор другой переменной.
У меня с ИИ повторяется ситуация, которая уже много раз бывала с разными устройствами и программами: я регулярно нахожу как воспроизводимые, так и случайные баги, с которыми большинство не сталкивается почти никогда. Я хз, как так получается, но факт.
Ну, или на каждую генерацию напускать по два-три цикла проверки другими ИИ-движками. Как вам удается не натыкаться на такое регулярно — ума не дам. 