Здравствуйте, Shmj, Вы писали:

S>Такой вопрос.
S>Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?
S>Похоже что придется делать типа режим сна, когда, подобно человеку, будет происходить перестроение нейронных связей.
S>Т.е. она будет помнить каждый ваш разговор, возможно что напитываться нужными данными, что-то дозаписать себе — чтобы в следующий раз продолжить разговор более предметно.
S>Хотите?
S>И как вы думаете — когда это будет возможно?

Здравствуйте, Privalov, Вы писали:

S>>Ну я не знаю кому это может быть нужно — на мой взгляд это хлам.
P>Скажем, исследователям творчества Достоевского.

И в чем проблема? Пусть они скажут какие именно аспекты им интересны.

S>>Вот более конкретное — изучить книги по написанию драйверов для Windows, чтобы я мог задавать вопросы и получать быстрые ответы.
P>Лучше их самому изучить. Книги пишут не для искусственного интеллекта. Как можно писать драйвер, не понимая принципов работы ОС?

Самому долго. Можно задавать вполне конкретные вопросы и получать глубокие ответы из книг.

S>>Естественный язык не сложнее.

P>Следующий текст ИИ разберёт? Батарея – деепричастие?
P>

P>Её вокзал он,
P>Тихо батарея

Проверял уже?

Здравствуйте, Shmj, Вы писали:

S>И в чем проблема? Пусть они скажут какие именно аспекты им интересны.

А что если они не смогут корректно сформулировать вопрос? У Достоевского пока до чего-то важного доберёшься, мозг вывихнуть можно.

S>Самому долго. Можно задавать вполне конкретные вопросы и получать глубокие ответы из книг.

А как можно задавать конкретные вопросы, не зная матчасть? Которую невозможно изучить, не читая книги, статьи, документацию.

S>Проверял уже?

Я на гораздо более простых вещах проверял. Так что не вижу смысла.

Здравствуйте, Privalov, Вы писали:

P>А как можно задавать конкретные вопросы, не зная матчасть? Которую невозможно изучить, не читая книги, статьи, документацию.

Реальность — судья всему. Мы развиваемся когда соприкасаемся с реальностью. А когда столкнешься с практикой и попытаешься заюзать то что сам сделал — сразу возникнут вопросы сами.

P>Я на гораздо более простых вещах проверял. Так что не вижу смысла.

Какие модели проверял?

Здравствуйте, Shmj, Вы писали:

S>Реальность — судья всему. Мы развиваемся когда соприкасаемся с реальностью. А когда столкнешься с практикой и попытаешься заюзать то что сам сделал — сразу возникнут вопросы сами.

Что значит соприкасаемся с реальностью? Вот я, например, живу в реальности. И где-то пару часов назад у меня возникли вопросы, почему в моей программе не всё нормально работает после того, как я в неё кое-что добавил. Чтобы разобраться, мне ИИ не нужен. Я свой собственный код пока ещё сам читать в состоянии. Даже писать в состоянии.

S>Какие модели проверял?

Мне хватило, что ИИ не справился с простейшей задачкой из 1ё0 строк на шарпе. А про то, что естественный язык не сложнее, лингвистам расскажи.

Здравствуйте, Privalov, Вы писали:

P>Что значит соприкасаемся с реальностью? Вот я, например, живу в реальности. И где-то пару часов назад у меня возникли вопросы, почему в моей программе не всё нормально работает после того, как я в неё кое-что добавил. Чтобы разобраться, мне ИИ не нужен. Я свой собственный код пока ещё сам читать в состоянии. Даже писать в состоянии.

В случае драйвера — установить на железо и попробовать использовать с т.з. пользователя. Не заработало, возникли ошибки — вот и соприкоснулись с реальностью. И сразу вопрос — почему не работает — задаете и получаете ответ.

P>Мне хватило, что ИИ не справился с простейшей задачкой из 1ё0 строк на шарпе. А про то, что естественный язык не сложнее, лингвистам расскажи.

Какой ИИ — какая версия? Проверяли ли на новых моделях?

Здравствуйте, Shmj, Вы писали:

S>В случае драйвера — установить на железо и попробовать использовать с т.з. пользователя. Не заработало, возникли ошибки — вот и соприкоснулись с реальностью. И сразу вопрос — почему не работает — задаете и получаете ответ.

Сунули драйвер в систему, получили синий экран. Что спрашивать?

S>Какой ИИ — какая версия? Проверяли ли на новых моделях?

Неважно. Не наботает нигде.

Здравствуйте, Privalov, Вы писали:

P>Сунули драйвер в систему, получили синий экран. Что спрашивать?

Так и пишешь — синий экран. Сетка скажет тебе добавить логирование и прислать ей результаты логов.

S>>Какой ИИ — какая версия? Проверяли ли на новых моделях?
P>Неважно. Не наботает нигде.

Вы все же ответьте на каких моделях проверяли и задавали ли уточняющие вопросы?

Здравствуйте, Shmj, Вы писали:

S>Так и пишешь — синий экран. Сетка скажет тебе добавить логирование и прислать ей результаты логов.

Логи разработчик пишет для себя. Как их ИИ читать будет?
Помню, какая-то верия CoolReader-а, падая, вываливала несколько метров лога. Копаться в нём довольно утомительно было. Лучшим решением оказалось поставить более старую версию. А тут драйвер. Работа которого может зависеть от массы факторов.

S>Вы все же ответьте на каких моделях проверяли и задавали ли уточняющие вопросы?

Хоть это и государственная тайна, но так и быть: на неработающих.

Здравствуйте, Privalov, Вы писали:

P>Логи разработчик пишет для себя. Как их ИИ читать будет?

Кнопочка Ctrl+A, Ctrl+C в окошке с логами — и Ctrl+V в окошке с ИИ. И он вам говорит что нужно сделать, чтобы не было синего экрана.

P>Помню, какая-то верия CoolReader-а, падая, вываливала несколько метров лога. Копаться в нём довольно утомительно было. Лучшим решением оказалось поставить более старую версию. А тут драйвер. Работа которого может зависеть от массы факторов.

Так и спрашиваете — логов слишком много — как изменить код, чтобы оставить только самое важное.

S>>Вы все же ответьте на каких моделях проверяли и задавали ли уточняющие вопросы?
P>Хоть это и государственная тайна, но так и быть: на неработающих.

Номера моделей ИИ назовите. А так же — писали ли вы какую проблему получаете и просили ли ИИ чтобы он решил вопрос с учетом возникших проблем?

Здравствуйте, Shmj, Вы писали:

S>Кнопочка Ctrl+A, Ctrl+C в окошке с логами — и Ctrl+V в окошке с ИИ. И он вам говорит что нужно сделать, чтобы не было синего экрана.

Как вариант: не писать драйвер, не включать комп. И не будет синего экрана.

S>Так и спрашиваете — логов слишком много — как изменить код, чтобы оставить только самое важное.

А откуда он знает, что важно, а что нет? Частенько бывает, что одна строчка в тоннах логов указывает, что произошло.

S>Номера моделей ИИ назовите. А так же — писали ли вы какую проблему получаете и просили ли ИИ чтобы он решил вопрос с учетом возникших проблем?

Не скажу. Пробоем-то оно всё равно никаких не решает.
Еще раз, доя понимания: не скажу. Пусть ваш ИИ скажет.

Здравствуйте, Shmj, Вы писали:

S>Здравствуйте, gress, Вы писали:

G>>Хотим, чтобы ты минимально ознакомился с роликами в YouTube про то, что такое нейросетка, как ее разрабатывают и обучают, изучил архитектуру сервисов, прежде чем обсуждать вопросы архитектуры в приличном обществе. Но похоже, что это несбыточные мечты.

S>Ты возможно будешь удивлет, но я на низком уровне обучал нейросети в т.ч. создавал свои, пусть и не очень сложные, многослойные сетки для специфических задач.

S>Так с чем ты не согласен? Думаешь нейросетка по заданному тобой списку текста не сможет создать сет для дообучения?

Список текста — что это за зверь?

Обычно обучение модели делается отдельным сервисом, а сервис нс подсасывает модель уже обученную — это, во-первых, сокращает время бездействия сервиса при замене модели, во-вторых, снижает ресурсные требования сервиса исполнения модели, тк ресурсы (память, ЦПУ) на обучение модели в разы превышает ресурсные требования сервиса исполнения модели.

Это элементарные архитектурные вещи, базис. А ты постоянно пытаешься придумать велосипед. Причем мешает тебе твой ограниченный кругозор. Ты его не пытаешься расширить, чтобы более эффективно решать задачи, а пытаешься считерить, типа — вот я сам базу осваивать не буду, мне нейронка какая-то неведомая все выдаст.

Кстати, вот про это прямо отлично сказано было в Гостях из прошлого:

https://www.youtube.com/watch?v=rp24VAaz4SY

Здравствуйте, gress, Вы писали:

G>Список текста — что это за зверь?

Как студентам выдают список литературы/текста — так же, в идеале, чтобы каждый мог выдавать своему агенту для проработки.

G>Обычно обучение модели делается отдельным сервисом,

Так вот речь как раз о том, чтобы совместить этот отдельный сервис и позволить каждому пользователю дообучать свою нейронку простым способом (без участия труда человека) на основе заданных им текстов (список литературы или даже форумных сообщений и пр.).

G>тк ресурсы (память, ЦПУ) на обучение модели в разы превышает ресурсные требования сервиса исполнения модели.

Ресурсы — не вопрос, скоро будет просто достаточно. Каждые два года количество транзисторов в процессоре удваивается. Через лет 10 будет достаточно и не дорого.

G>Это элементарные архитектурные вещи, базис. А ты постоянно пытаешься придумать велосипед. Причем мешает тебе твой ограниченный кругозор. Ты его не пытаешься расширить, чтобы более эффективно решать задачи, а пытаешься считерить, типа — вот я сам базу осваивать не буду, мне нейронка какая-то неведомая все выдаст.

Ты сначала потрудись вникнуть о чем вообще разговор.

Здравствуйте, Privalov, Вы писали:

P>Как вариант: не писать драйвер, не включать комп. И не будет синего экрана.

Это вариант избегания реальности — конечно тогда никаких проблем не будет.

S>>Так и спрашиваете — логов слишком много — как изменить код, чтобы оставить только самое важное.

P>А откуда он знает, что важно, а что нет? Частенько бывает, что одна строчка в тоннах логов указывает, что произошло.

Узнает.

S>>Номера моделей ИИ назовите. А так же — писали ли вы какую проблему получаете и просили ли ИИ чтобы он решил вопрос с учетом возникших проблем?

P>Не скажу. Пробоем-то оно всё равно никаких не решает.
P>Еще раз, доя понимания: не скажу. Пусть ваш ИИ скажет.

Попробуйте модель GPT 4.5. Если не решит с первого раза — напишите ей детали. Уверен на 99% что решит ваши задачи.

Здравствуйте, Sinclair, Вы писали:

S>Вопрос не "когда" или "как", а "зачем".

Вопрос "как" тоже стоит. Если обучать лично, то у тебя должны быть соответствующие вычислительные ресурсы, несопоставимые по мощности для инференса и обучения. Далее будет проблем не меньше принципиальных, алгоритмических.

Здравствуйте, Nuzhny, Вы писали:

N>Вопрос "как" тоже стоит. Если обучать лично, то у тебя должны быть соответствующие вычислительные ресурсы, несопоставимые по мощности для инференса и обучения. Далее будет проблем не меньше принципиальных, алгоритмических.

Хмм. Почему вы так думаете? Чудовищные ресурсы нужны не оттого, что сам процесс обучения как-то страшно дорог, а оттого, что через него нужно прогнать триллионы документов.
Backpropagation на материалах чата размером в пару десятков страниц будет стоить не сильно дороже forward propagation.
Дисклеймер: я не эксперт в этой области, могу чего-то не понимать.

Здравствуйте, Shmj, Вы писали:

S>Ты возможно будешь удивлет, но я на низком уровне обучал нейросети в т.ч. создавал свои, пусть и не очень сложные, многослойные сетки для специфических задач.
S>Так с чем ты не согласен? Думаешь нейросетка по заданному тобой списку текста не сможет создать сет для дообучения?

Я не согласен со всем и присоединяюсь к тому, что тебе всё таки надо разобраться с нейросетями. В том, чтобы дообучиться на своих данных есть проблемы:
1) твоих данных катастрофически мало, нейросеть обучалась на миллиардах токенов, твои данные не окажут никакого существенного влияния на выход нейросети;
2) если твоих данных будет так много, что на нейросеть они смогут повлиять, то в ней начнётся процесс cathastrofic forgetting, когда запоминая твои данные, она начнёт ухудшать показатели в других областях;
3) если у тебя получится набрать достаточно своих данных и также использовать достаточно сторонних во избежание (2), то где ты найдёшь столько мощности для обучения?

Вот. Теперь объясни, чем тебе не подходит контекст (в виде большого промта или в виде RAG)? Зачем портить саму нейросеть?

Здравствуйте, Sinclair, Вы писали:

S>Хмм. Почему вы так думаете? Чудовищные ресурсы нужны не оттого, что сам процесс обучения как-то страшно дорог, а оттого, что через него нужно прогнать триллионы документов.
S>Backpropagation на материалах чата размером в пару десятков страниц будет стоить не сильно дороже forward propagation.

Я думаю, что обученная на миллиардах-триллионах токенов нейросеть от одного прогона на килобайте данных: 1) эти данные не выучит; 2) скорее сама испортится.

Здравствуйте, Shmj, Вы писали:

S>Это вариант избегания реальности — конечно тогда никаких проблем не будет.

С точки зрения ИИ вполне нормально. Как и ампутация головы.


S>Узнает.

Потребует корректно сформулировать вопрос?

S>Попробуйте модель GPT 4.5. Если не решит с первого раза — напишите ей детали. Уверен на 99% что решит ваши задачи.

Чем она от остальных отличается?

Вся правда про ChatGPT. Картинка выше отсюда.

Здравствуйте, Nuzhny, Вы писали:

N>1) твоих данных катастрофически мало, нейросеть обучалась на миллиардах токенов, твои данные не окажут никакого существенного влияния на выход нейросети;

Как насчет задать приоритет? Т.е. чтобы нейросеть учитывала не только количество но и важность данных?

N>2) если твоих данных будет так много, что на нейросеть они смогут повлиять, то в ней начнётся процесс cathastrofic forgetting, когда запоминая твои данные, она начнёт ухудшать показатели в других областях;

А вот это нужно бы исправить — значит это алгоритмическая проблема, которую предстоит решить.

N>3) если у тебя получится набрать достаточно своих данных и также использовать достаточно сторонних во избежание (2), то где ты найдёшь столько мощности для обучения?

Во! Это уже вопрос практический. Но учитывая что количество транзисторов в процессоре по прежнему удваивается каждые 2 года — то через время мощности, достаточные для обучения, будут у каждого в смартфоне.

N>Вот. Теперь объясни, чем тебе не подходит контекст (в виде большого промта или в виде RAG)? Зачем портить саму нейросеть?

Контекст не очень большой. Можно ли туда внедрить библиотеку книг или код проекта в 10 млн. строк кода?