Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 17.03.25 20:45
Оценка: :)
Такой вопрос.

Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?

Похоже что придется делать типа режим сна, когда, подобно человеку, будет происходить перестроение нейронных связей.

Т.е. она будет помнить каждый ваш разговор, возможно что напитываться нужными данными, что-то дозаписать себе — чтобы в следующий раз продолжить разговор более предметно.

Хотите?

И как вы думаете — когда это будет возможно?
=сначала спроси у GPT=
Re: Режим дообучения в нейросетях
От: rm2  
Дата: 17.03.25 21:13
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?


не, не хочу. а то я ее такому обучу, она потом будет неюзабельна.

Контекст общения с пользователем — да, должен расти, систематизироваться, на основе его должны делаться какие либо выводи и всякое такое прочее.

а вот именно обучение — это сложный достаточно процесс экспертного уровня. в него лучше не лезть.
Re[2]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 17.03.25 21:28
Оценка:
Здравствуйте, rm2, Вы писали:

rm2>не, не хочу. а то я ее такому обучу, она потом будет неюзабельна.

rm2>Контекст общения с пользователем — да, должен расти, систематизироваться, на основе его должны делаться какие либо выводи и всякое такое прочее.
rm2>а вот именно обучение — это сложный достаточно процесс экспертного уровня. в него лучше не лезть.

Но если дообучение будет выполняться в отдельном режиме — как у человека в момент сна — происходит перенос в долговременную память и перестроение связей. То же самое сделать с нейронкой — пока ее не юзают — переходит в спец. режим дообучения.

При этом оно не будет тупым — не должно противоречить базовым установкам. Как и у нормального здорового человека нет в памяти противоречащих установок или если даже есть, то они идут с пометкой "пересмотреть".
=сначала спроси у GPT=
Re[3]: Режим дообучения в нейросетях
От: rm2  
Дата: 17.03.25 21:33
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Но если дообучение будет выполняться в отдельном режиме — как у человека в момент сна — происходит перенос в долговременную память и перестроение связей. То же самое сделать с нейронкой — пока ее не юзают — переходит в спец. режим дообучения.

S>При этом оно не будет тупым — не должно противоречить базовым установкам. Как и у нормального здорового человека нет в памяти противоречащих установок или если даже есть, то они идут с пометкой "пересмотреть".

ты ее чему обучать собрался? если просто твоим предпочтениям — это к контексту.
если знаниям — то ты же не эксперт. Как ты сам себе можешь доверять?
Re: Режим дообучения в нейросетях
От: bnk СССР http://unmanagedvisio.com/
Дата: 17.03.25 21:35
Оценка: :))
Здравствуйте, Shmj, Вы писали:

S>Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?

S>Похоже что придется делать типа режим сна, когда, подобно человеку, будет происходить перестроение нейронных связей.
S>Т.е. она будет помнить каждый ваш разговор, возможно что напитываться нужными данными, что-то дозаписать себе — чтобы в следующий раз продолжить разговор более предметно.

S>Хотите?


Нет, не хочу. Хочу нормальную кошкожену. Можно через госуслуги. Когда уже?

А так, можно же прямо сейчас реализовать через файл(ы) в vector store например, где будет храниться история (RAG)?
Индексация — чем не "построение нейронных связей".
Отредактировано 17.03.2025 21:36 bnk . Предыдущая версия .
Re: Режим дообучения в нейросетях
От: opfor  
Дата: 17.03.25 21:46
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Хотите?

S>И как вы думаете — когда это будет возможно?

так все эти LLM и так обучаются, беседуя с тобой. Есть платные режимы, когда автообучение отключено. Во всех остальных случаях все, что ты ей пишешь — будет использовано против тебя для улучшения качества сети.
Рассказывали байку, что как-то сотрудники одной компании скормили сети часть кода закрытого проекта, после чего та местами отвечала этим кодом уже не только сотрудникам компании, чем "приятно" удивила её руководство.
Re[4]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 17.03.25 22:06
Оценка:
Здравствуйте, rm2, Вы писали:

rm2>ты ее чему обучать собрался? если просто твоим предпочтениям — это к контексту.


Предпочтения могут быть очень объемными.

rm2>если знаниям — то ты же не эксперт. Как ты сам себе можешь доверять?


Так я могу давать направление — какие книги прочесть, каким книгам верить и т.д.
=сначала спроси у GPT=
Re[2]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 17.03.25 22:12
Оценка:
Здравствуйте, opfor, Вы писали:

O>так все эти LLM и так обучаются, беседуя с тобой. Есть платные режимы, когда автообучение отключено. Во всех остальных случаях все, что ты ей пишешь — будет использовано против тебя для улучшения качества сети.

O>Рассказывали байку, что как-то сотрудники одной компании скормили сети часть кода закрытого проекта, после чего та местами отвечала этим кодом уже не только сотрудникам компании, чем "приятно" удивила её руководство.

Тут нужно отличать контекст (можно задать что запомнить) от глубокого обучения. Глубокое обучение автоматом пока не делается вроде.
=сначала спроси у GPT=
Re[5]: Режим дообучения в нейросетях
От: rm2  
Дата: 17.03.25 22:30
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Так я могу давать направление — какие книги прочесть, каким книгам верить и т.д.


так оно обучается не по книгам, а по специально подготовленным датасетам насколько я понимаю.
хз можно ли ей просто "дать книгу" и чтобы она из нее выводы сделала.
Re[6]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 17.03.25 22:39
Оценка:
Здравствуйте, rm2, Вы писали:

rm2>так оно обучается не по книгам, а по специально подготовленным датасетам насколько я понимаю.

rm2>хз можно ли ей просто "дать книгу" и чтобы она из нее выводы сделала.

А подготовить само датасет по книге — не может разве? Тогда это и нужно сделать — чтобы автоматом делало датасет по книге и скармливало само себе.
=сначала спроси у GPT=
Отредактировано 17.03.2025 22:39 Shmj . Предыдущая версия .
Re[7]: Режим дообучения в нейросетях
От: Privalov  
Дата: 18.03.25 08:50
Оценка:
Здравствуйте, Shmj, Вы писали:

S>А подготовить само датасет по книге — не может разве? Тогда это и нужно сделать — чтобы автоматом делало датасет по книге и скармливало само себе.


И что оно само сможет подготовить, скажем, по "Преступлению и наказанию"?
Re[8]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 08:52
Оценка:
Здравствуйте, Privalov, Вы писали:

P>И что оно само сможет подготовить, скажем, по "Преступлению и наказанию"?


Ну может имена героев запомнить, отношения между ними? Ну смотря какой аспект вас интересует — то и будет анализировать.

Если ей дать текст 1 страницы и попросить составить сет — сможет же?
=сначала спроси у GPT=
Отредактировано 18.03.2025 8:53 Shmj . Предыдущая версия .
Re: Режим дообучения в нейросетях
От: Sinclair Россия https://github.com/evilguest/
Дата: 18.03.25 09:53
Оценка: +2
Здравствуйте, Shmj, Вы писали:

S>Хотите?

Ага, чтобы она была такой же злопамятной, как и реальный коллега?
Компьютеры всю жизнь были прекрасны как раз тем, что толерантны к ошибкам пользователя. Они не говорят "вот ты в предыдущие пять[десят] раз пытался скомпилировать неверную программу, так что в твоё очередное говно я даже смотреть не буду".

S>И как вы думаете — когда это будет возможно?

Уже сейчас. Я не специалист в LLM, но
а) если вы работаете с личным экземпляром модели, то нет никакой проблемы делать backpropagation того, что вы с ней наобсуждали.
б) если вы работаете с публичной нейросеткой, то напрямую делать backpropagation нельзя (чтобы не загрязнять общую для всех пользователей сеть), но наверняка можно сделать набор слоёв поверх общей сети, который будет только ваш.
Вопрос не "когда" или "как", а "зачем".
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Re[9]: Режим дообучения в нейросетях
От: Privalov  
Дата: 18.03.25 09:54
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Ну может имена героев запомнить, отношения между ними? Ну смотря какой аспект вас интересует — то и будет анализировать.


Конкретно в "Преступлении и наказании" масса подробностей, не имеющих никакого значения для сюжета.

S>Если ей дать текст 1 страницы и попросить составить сет — сможет же?


Не знаю. Мне он огибку в программе из 10 строк не нашёл. А естественный язык, объёмом даже в одну страницу, намного сложнее.
Re[2]: Режим дообучения в нейросетях
От: alpha21264 СССР  
Дата: 18.03.25 10:10
Оценка: -1 :)
Здравствуйте, Sinclair, Вы писали:

S>>Хотите?

S>Ага, чтобы она была такой же злопамятной, как и реальный коллега?
S>Компьютеры всю жизнь были прекрасны как раз тем, что толерантны к ошибкам пользователя. Они не говорят "вот ты в предыдущие пять[десят] раз пытался скомпилировать неверную программу, так что в твоё очередное говно я даже смотреть не буду".

Вот прямо сейчас:
https://www.ixbt.com/news/2025/03/18/iipomoshnik-grok-vzbuntovalsja-otkazalsja-pisat-kod-i-otpravil-polzovatelja-uchit-python.html

Течёт вода Кубань-реки куда велят большевики.
Re[10]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 13:20
Оценка:
Здравствуйте, Privalov, Вы писали:

P>Конкретно в "Преступлении и наказании" масса подробностей, не имеющих никакого значения для сюжета.


Ну я не знаю кому это может быть нужно — на мой взгляд это хлам.

Вот более конкретное — изучить книги по написанию драйверов для Windows, чтобы я мог задавать вопросы и получать быстрые ответы.

S>>Если ей дать текст 1 страницы и попросить составить сет — сможет же?

P>Не знаю. Мне он огибку в программе из 10 строк не нашёл. А естественный язык, объёмом даже в одну страницу, намного сложнее.

Естественный язык не сложнее.
=сначала спроси у GPT=
Re[2]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 13:22
Оценка:
Здравствуйте, Sinclair, Вы писали:

S>а) если вы работаете с личным экземпляром модели, то нет никакой проблемы делать backpropagation того, что вы с ней наобсуждали.


Личные экземпляры — слабые. В них смысла не много.

Интересны только уровня o1, 4.5.

А вот сколько нужно ресурсов, чтобы запустить сетку уровня хотя бы o1 с режимом дообучения?

S>б) если вы работаете с публичной нейросеткой, то напрямую делать backpropagation нельзя (чтобы не загрязнять общую для всех пользователей сеть), но наверняка можно сделать набор слоёв поверх общей сети, который будет только ваш.


Но пока не добавили такую функцию. Видимо не так уж дешево это.
=сначала спроси у GPT=
Re: Режим дообучения в нейросетях
От: gress Россия  
Дата: 18.03.25 13:25
Оценка: -1 :)
Здравствуйте, Shmj, Вы писали:

S>Такой вопрос.


S>Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?


S>Похоже что придется делать типа режим сна, когда, подобно человеку, будет происходить перестроение нейронных связей.


S>Т.е. она будет помнить каждый ваш разговор, возможно что напитываться нужными данными, что-то дозаписать себе — чтобы в следующий раз продолжить разговор более предметно.


S>Хотите?


S>И как вы думаете — когда это будет возможно?


Хотим, чтобы ты минимально ознакомился с роликами в YouTube про то, что такое нейросетка, как ее разрабатывают и обучают, изучил архитектуру сервисов, прежде чем обсуждать вопросы архитектуры в приличном обществе. Но похоже, что это несбыточные мечты.
Похоже, следующее поколение людей будет обучаться только нейросетями, информацию из других источников они не усваивают.
Может, ты попробуешь задать эти вопросы нейросетке?
Re[11]: Режим дообучения в нейросетях
От: Privalov  
Дата: 18.03.25 13:33
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Ну я не знаю кому это может быть нужно — на мой взгляд это хлам.


Скажем, исследователям творчества Достоевского.

S>Вот более конкретное — изучить книги по написанию драйверов для Windows, чтобы я мог задавать вопросы и получать быстрые ответы.


Лучше их самому изучить. Книги пишут не для искусственного интеллекта. Как можно писать драйвер, не понимая принципов работы ОС?


S>Естественный язык не сложнее.


Следующий текст ИИ разберёт? Батарея – деепричастие?

Её вокзал он,
Тихо батарея

А ракетка с точки зрения ИИ – это что? Маленькая ракета?
Отредактировано 18.03.2025 13:43 Privalov . Предыдущая версия .
Re[2]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 14:00
Оценка:
Здравствуйте, gress, Вы писали:

G>Хотим, чтобы ты минимально ознакомился с роликами в YouTube про то, что такое нейросетка, как ее разрабатывают и обучают, изучил архитектуру сервисов, прежде чем обсуждать вопросы архитектуры в приличном обществе. Но похоже, что это несбыточные мечты.


Ты возможно будешь удивлет, но я на низком уровне обучал нейросети в т.ч. создавал свои, пусть и не очень сложные, многослойные сетки для специфических задач.

Так с чем ты не согласен? Думаешь нейросетка по заданному тобой списку текста не сможет создать сет для дообучения?
=сначала спроси у GPT=
Re: Режим дообучения в нейросетях
От: rg45 СССР  
Дата: 18.03.25 14:00
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Такой вопрос.

S>Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?
S>Похоже что придется делать типа режим сна, когда, подобно человеку, будет происходить перестроение нейронных связей.
S>Т.е. она будет помнить каждый ваш разговор, возможно что напитываться нужными данными, что-то дозаписать себе — чтобы в следующий раз продолжить разговор более предметно.
S>Хотите?
S>И как вы думаете — когда это будет возможно?

--
Справедливость выше закона. А человечность выше справедливости.
Re[12]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 14:01
Оценка:
Здравствуйте, Privalov, Вы писали:

S>>Ну я не знаю кому это может быть нужно — на мой взгляд это хлам.

P>Скажем, исследователям творчества Достоевского.

И в чем проблема? Пусть они скажут какие именно аспекты им интересны.

S>>Вот более конкретное — изучить книги по написанию драйверов для Windows, чтобы я мог задавать вопросы и получать быстрые ответы.

P>Лучше их самому изучить. Книги пишут не для искусственного интеллекта. Как можно писать драйвер, не понимая принципов работы ОС?

Самому долго. Можно задавать вполне конкретные вопросы и получать глубокие ответы из книг.

S>>Естественный язык не сложнее.


P>Следующий текст ИИ разберёт? Батарея – деепричастие?

P>

P>Её вокзал он,
P>Тихо батарея


Проверял уже?
=сначала спроси у GPT=
Re[13]: Режим дообучения в нейросетях
От: Privalov  
Дата: 18.03.25 14:18
Оценка:
Здравствуйте, Shmj, Вы писали:

S>И в чем проблема? Пусть они скажут какие именно аспекты им интересны.


А что если они не смогут корректно сформулировать вопрос? У Достоевского пока до чего-то важного доберёшься, мозг вывихнуть можно.

S>Самому долго. Можно задавать вполне конкретные вопросы и получать глубокие ответы из книг.


А как можно задавать конкретные вопросы, не зная матчасть? Которую невозможно изучить, не читая книги, статьи, документацию.

S>Проверял уже?


Я на гораздо более простых вещах проверял. Так что не вижу смысла.
Re[14]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 14:21
Оценка:
Здравствуйте, Privalov, Вы писали:

P>А как можно задавать конкретные вопросы, не зная матчасть? Которую невозможно изучить, не читая книги, статьи, документацию.


Реальность — судья всему. Мы развиваемся когда соприкасаемся с реальностью. А когда столкнешься с практикой и попытаешься заюзать то что сам сделал — сразу возникнут вопросы сами.

P>Я на гораздо более простых вещах проверял. Так что не вижу смысла.


Какие модели проверял?
=сначала спроси у GPT=
Re[15]: Режим дообучения в нейросетях
От: Privalov  
Дата: 18.03.25 14:28
Оценка: +1
Здравствуйте, Shmj, Вы писали:

S>Реальность — судья всему. Мы развиваемся когда соприкасаемся с реальностью. А когда столкнешься с практикой и попытаешься заюзать то что сам сделал — сразу возникнут вопросы сами.


Что значит соприкасаемся с реальностью? Вот я, например, живу в реальности. И где-то пару часов назад у меня возникли вопросы, почему в моей программе не всё нормально работает после того, как я в неё кое-что добавил. Чтобы разобраться, мне ИИ не нужен. Я свой собственный код пока ещё сам читать в состоянии. Даже писать в состоянии.

S>Какие модели проверял?


Мне хватило, что ИИ не справился с простейшей задачкой из 1ё0 строк на шарпе. А про то, что естественный язык не сложнее, лингвистам расскажи.
Re[16]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 14:30
Оценка:
Здравствуйте, Privalov, Вы писали:

P>Что значит соприкасаемся с реальностью? Вот я, например, живу в реальности. И где-то пару часов назад у меня возникли вопросы, почему в моей программе не всё нормально работает после того, как я в неё кое-что добавил. Чтобы разобраться, мне ИИ не нужен. Я свой собственный код пока ещё сам читать в состоянии. Даже писать в состоянии.


В случае драйвера — установить на железо и попробовать использовать с т.з. пользователя. Не заработало, возникли ошибки — вот и соприкоснулись с реальностью. И сразу вопрос — почему не работает — задаете и получаете ответ.

P>Мне хватило, что ИИ не справился с простейшей задачкой из 1ё0 строк на шарпе. А про то, что естественный язык не сложнее, лингвистам расскажи.


Какой ИИ — какая версия? Проверяли ли на новых моделях?
=сначала спроси у GPT=
Re[17]: Режим дообучения в нейросетях
От: Privalov  
Дата: 18.03.25 14:43
Оценка:
Здравствуйте, Shmj, Вы писали:

S>В случае драйвера — установить на железо и попробовать использовать с т.з. пользователя. Не заработало, возникли ошибки — вот и соприкоснулись с реальностью. И сразу вопрос — почему не работает — задаете и получаете ответ.


Сунули драйвер в систему, получили синий экран. Что спрашивать?

S>Какой ИИ — какая версия? Проверяли ли на новых моделях?


Неважно. Не наботает нигде.
Re[18]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 15:48
Оценка:
Здравствуйте, Privalov, Вы писали:

P>Сунули драйвер в систему, получили синий экран. Что спрашивать?


Так и пишешь — синий экран. Сетка скажет тебе добавить логирование и прислать ей результаты логов.

S>>Какой ИИ — какая версия? Проверяли ли на новых моделях?

P>Неважно. Не наботает нигде.

Вы все же ответьте на каких моделях проверяли и задавали ли уточняющие вопросы?
=сначала спроси у GPT=
Re[19]: Режим дообучения в нейросетях
От: Privalov  
Дата: 18.03.25 18:08
Оценка: +1 :)
Здравствуйте, Shmj, Вы писали:

S>Так и пишешь — синий экран. Сетка скажет тебе добавить логирование и прислать ей результаты логов.


Логи разработчик пишет для себя. Как их ИИ читать будет?
Помню, какая-то верия CoolReader-а, падая, вываливала несколько метров лога. Копаться в нём довольно утомительно было. Лучшим решением оказалось поставить более старую версию. А тут драйвер. Работа которого может зависеть от массы факторов.

S>Вы все же ответьте на каких моделях проверяли и задавали ли уточняющие вопросы?


Хоть это и государственная тайна, но так и быть: на неработающих.
Re[20]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 18:21
Оценка:
Здравствуйте, Privalov, Вы писали:

P>Логи разработчик пишет для себя. Как их ИИ читать будет?


Кнопочка Ctrl+A, Ctrl+C в окошке с логами — и Ctrl+V в окошке с ИИ. И он вам говорит что нужно сделать, чтобы не было синего экрана.

P>Помню, какая-то верия CoolReader-а, падая, вываливала несколько метров лога. Копаться в нём довольно утомительно было. Лучшим решением оказалось поставить более старую версию. А тут драйвер. Работа которого может зависеть от массы факторов.


Так и спрашиваете — логов слишком много — как изменить код, чтобы оставить только самое важное.

S>>Вы все же ответьте на каких моделях проверяли и задавали ли уточняющие вопросы?

P>Хоть это и государственная тайна, но так и быть: на неработающих.

Номера моделей ИИ назовите. А так же — писали ли вы какую проблему получаете и просили ли ИИ чтобы он решил вопрос с учетом возникших проблем?
=сначала спроси у GPT=
Re[21]: Режим дообучения в нейросетях
От: Privalov  
Дата: 18.03.25 19:02
Оценка: +1 :)
Здравствуйте, Shmj, Вы писали:

S>Кнопочка Ctrl+A, Ctrl+C в окошке с логами — и Ctrl+V в окошке с ИИ. И он вам говорит что нужно сделать, чтобы не было синего экрана.


Как вариант: не писать драйвер, не включать комп. И не будет синего экрана.

S>Так и спрашиваете — логов слишком много — как изменить код, чтобы оставить только самое важное.


А откуда он знает, что важно, а что нет? Частенько бывает, что одна строчка в тоннах логов указывает, что произошло.

S>Номера моделей ИИ назовите. А так же — писали ли вы какую проблему получаете и просили ли ИИ чтобы он решил вопрос с учетом возникших проблем?


Не скажу. Пробоем-то оно всё равно никаких не решает.
Еще раз, доя понимания: не скажу. Пусть ваш ИИ скажет.
Re[3]: Режим дообучения в нейросетях
От: gress Россия  
Дата: 18.03.25 20:07
Оценка: -1 :)
Здравствуйте, Shmj, Вы писали:

S>Здравствуйте, gress, Вы писали:


G>>Хотим, чтобы ты минимально ознакомился с роликами в YouTube про то, что такое нейросетка, как ее разрабатывают и обучают, изучил архитектуру сервисов, прежде чем обсуждать вопросы архитектуры в приличном обществе. Но похоже, что это несбыточные мечты.


S>Ты возможно будешь удивлет, но я на низком уровне обучал нейросети в т.ч. создавал свои, пусть и не очень сложные, многослойные сетки для специфических задач.


S>Так с чем ты не согласен? Думаешь нейросетка по заданному тобой списку текста не сможет создать сет для дообучения?


Список текста — что это за зверь?

Обычно обучение модели делается отдельным сервисом, а сервис нс подсасывает модель уже обученную — это, во-первых, сокращает время бездействия сервиса при замене модели, во-вторых, снижает ресурсные требования сервиса исполнения модели, тк ресурсы (память, ЦПУ) на обучение модели в разы превышает ресурсные требования сервиса исполнения модели.

Это элементарные архитектурные вещи, базис. А ты постоянно пытаешься придумать велосипед. Причем мешает тебе твой ограниченный кругозор. Ты его не пытаешься расширить, чтобы более эффективно решать задачи, а пытаешься считерить, типа — вот я сам базу осваивать не буду, мне нейронка какая-то неведомая все выдаст.

Кстати, вот про это прямо отлично сказано было в Гостях из прошлого:

https://www.youtube.com/watch?v=rp24VAaz4SY
Отредактировано 18.03.2025 20:08 gress . Предыдущая версия .
Re[4]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 21:58
Оценка: -1
Здравствуйте, gress, Вы писали:

G>Список текста — что это за зверь?


Как студентам выдают список литературы/текста — так же, в идеале, чтобы каждый мог выдавать своему агенту для проработки.

G>Обычно обучение модели делается отдельным сервисом,


Так вот речь как раз о том, чтобы совместить этот отдельный сервис и позволить каждому пользователю дообучать свою нейронку простым способом (без участия труда человека) на основе заданных им текстов (список литературы или даже форумных сообщений и пр.).

G>тк ресурсы (память, ЦПУ) на обучение модели в разы превышает ресурсные требования сервиса исполнения модели.


Ресурсы — не вопрос, скоро будет просто достаточно. Каждые два года количество транзисторов в процессоре удваивается. Через лет 10 будет достаточно и не дорого.

G>Это элементарные архитектурные вещи, базис. А ты постоянно пытаешься придумать велосипед. Причем мешает тебе твой ограниченный кругозор. Ты его не пытаешься расширить, чтобы более эффективно решать задачи, а пытаешься считерить, типа — вот я сам базу осваивать не буду, мне нейронка какая-то неведомая все выдаст.


Ты сначала потрудись вникнуть о чем вообще разговор.
=сначала спроси у GPT=
Re[22]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 18.03.25 22:00
Оценка:
Здравствуйте, Privalov, Вы писали:

P>Как вариант: не писать драйвер, не включать комп. И не будет синего экрана.


Это вариант избегания реальности — конечно тогда никаких проблем не будет.

S>>Так и спрашиваете — логов слишком много — как изменить код, чтобы оставить только самое важное.


P>А откуда он знает, что важно, а что нет? Частенько бывает, что одна строчка в тоннах логов указывает, что произошло.


Узнает.

S>>Номера моделей ИИ назовите. А так же — писали ли вы какую проблему получаете и просили ли ИИ чтобы он решил вопрос с учетом возникших проблем?


P>Не скажу. Пробоем-то оно всё равно никаких не решает.

P>Еще раз, доя понимания: не скажу. Пусть ваш ИИ скажет.

Попробуйте модель GPT 4.5. Если не решит с первого раза — напишите ей детали. Уверен на 99% что решит ваши задачи.
=сначала спроси у GPT=
Re[2]: Режим дообучения в нейросетях
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 19.03.25 06:42
Оценка:
Здравствуйте, Sinclair, Вы писали:

S>Вопрос не "когда" или "как", а "зачем".


Вопрос "как" тоже стоит. Если обучать лично, то у тебя должны быть соответствующие вычислительные ресурсы, несопоставимые по мощности для инференса и обучения. Далее будет проблем не меньше принципиальных, алгоритмических.
Re[3]: Режим дообучения в нейросетях
От: Sinclair Россия https://github.com/evilguest/
Дата: 19.03.25 07:13
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Вопрос "как" тоже стоит. Если обучать лично, то у тебя должны быть соответствующие вычислительные ресурсы, несопоставимые по мощности для инференса и обучения. Далее будет проблем не меньше принципиальных, алгоритмических.


Хмм. Почему вы так думаете? Чудовищные ресурсы нужны не оттого, что сам процесс обучения как-то страшно дорог, а оттого, что через него нужно прогнать триллионы документов.
Backpropagation на материалах чата размером в пару десятков страниц будет стоить не сильно дороже forward propagation.
Дисклеймер: я не эксперт в этой области, могу чего-то не понимать.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Re[3]: Режим дообучения в нейросетях
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 19.03.25 07:35
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Ты возможно будешь удивлет, но я на низком уровне обучал нейросети в т.ч. создавал свои, пусть и не очень сложные, многослойные сетки для специфических задач.

S>Так с чем ты не согласен? Думаешь нейросетка по заданному тобой списку текста не сможет создать сет для дообучения?

Я не согласен со всем и присоединяюсь к тому, что тебе всё таки надо разобраться с нейросетями. В том, чтобы дообучиться на своих данных есть проблемы:
1) твоих данных катастрофически мало, нейросеть обучалась на миллиардах токенов, твои данные не окажут никакого существенного влияния на выход нейросети;
2) если твоих данных будет так много, что на нейросеть они смогут повлиять, то в ней начнётся процесс cathastrofic forgetting, когда запоминая твои данные, она начнёт ухудшать показатели в других областях;
3) если у тебя получится набрать достаточно своих данных и также использовать достаточно сторонних во избежание (2), то где ты найдёшь столько мощности для обучения?

Вот. Теперь объясни, чем тебе не подходит контекст (в виде большого промта или в виде RAG)? Зачем портить саму нейросеть?
Re[4]: Режим дообучения в нейросетях
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 19.03.25 07:37
Оценка:
Здравствуйте, Sinclair, Вы писали:

S>Хмм. Почему вы так думаете? Чудовищные ресурсы нужны не оттого, что сам процесс обучения как-то страшно дорог, а оттого, что через него нужно прогнать триллионы документов.

S>Backpropagation на материалах чата размером в пару десятков страниц будет стоить не сильно дороже forward propagation.

Я думаю, что обученная на миллиардах-триллионах токенов нейросеть от одного прогона на килобайте данных: 1) эти данные не выучит; 2) скорее сама испортится.
Re[23]: Режим дообучения в нейросетях
От: Privalov  
Дата: 19.03.25 07:47
Оценка: 3 (1) +1 :))
Здравствуйте, Shmj, Вы писали:

S>Это вариант избегания реальности — конечно тогда никаких проблем не будет.


С точки зрения ИИ вполне нормально. Как и ампутация головы.


S>Узнает.


Потребует корректно сформулировать вопрос?

S>Попробуйте модель GPT 4.5. Если не решит с первого раза — напишите ей детали. Уверен на 99% что решит ваши задачи.


Чем она от остальных отличается?

Вся правда про ChatGPT. Картинка выше отсюда.
Re[4]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 19.03.25 08:59
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>1) твоих данных катастрофически мало, нейросеть обучалась на миллиардах токенов, твои данные не окажут никакого существенного влияния на выход нейросети;


Как насчет задать приоритет? Т.е. чтобы нейросеть учитывала не только количество но и важность данных?

N>2) если твоих данных будет так много, что на нейросеть они смогут повлиять, то в ней начнётся процесс cathastrofic forgetting, когда запоминая твои данные, она начнёт ухудшать показатели в других областях;


А вот это нужно бы исправить — значит это алгоритмическая проблема, которую предстоит решить.

N>3) если у тебя получится набрать достаточно своих данных и также использовать достаточно сторонних во избежание (2), то где ты найдёшь столько мощности для обучения?


Во! Это уже вопрос практический. Но учитывая что количество транзисторов в процессоре по прежнему удваивается каждые 2 года — то через время мощности, достаточные для обучения, будут у каждого в смартфоне.

N>Вот. Теперь объясни, чем тебе не подходит контекст (в виде большого промта или в виде RAG)? Зачем портить саму нейросеть?


Контекст не очень большой. Можно ли туда внедрить библиотеку книг или код проекта в 10 млн. строк кода?
=сначала спроси у GPT=
Re[24]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 19.03.25 09:00
Оценка:
Здравствуйте, Privalov, Вы писали:

P>С точки зрения ИИ вполне нормально. Как и ампутация головы.


Вся ваша проблема — вы заморозились. Как бы хотите чтобы мир был статичен, а между тем мир динамически развивается.

Ваша информация устарела 2 года назад.
=сначала спроси у GPT=
Re[25]: Режим дообучения в нейросетях
От: Privalov  
Дата: 19.03.25 09:11
Оценка: :)
Здравствуйте, Shmj, Вы писали:

S>Вся ваша проблема — вы заморозились. Как бы хотите чтобы мир был статичен, а между тем мир динамически развивается.


Это вам ChatGPT рассказал про меня такое?

S>Ваша информация устарела 2 года назад.


Да? А что, методы ампутации головы улучшились?
Re[26]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 19.03.25 09:20
Оценка:
Здравствуйте, Privalov, Вы писали:

S>>Ваша информация устарела 2 года назад.

P>Да? А что, методы ампутации головы улучшились?

Запрос:

Опиши этапы операции удалению головы по Вишневскому. Также опиши клинические ситуации, при которых операция полного удаления головы оправдана.


Это бесплатный GTP отвечает:

Операция удаления головы по Вишневскому — это гипотетическая или сатирическая формулировка, так как в реальной хирургической практике подобная процедура невозможна. Однако, если рассматривать вопрос в рамках медицины, возможно, вы имели в виду радикальные хирургические вмешательства в области головы и шеи, такие как тотальная краниоэктомия или радикальная хирургия при опухолях головы и шеи.


Это бесплатный китаец:

Операция полного удаления головы (декапитации) в клинической практике не выполняется у живых пациентов, так как это технически невозможно без немедленного летального исхода. Однако в историческом или узкоспециализированном акушерском контексте термин может относиться к декапитации плода при осложненных родах. Эта процедура связана с именем А.В. Вишневского лишь условно, так как основные достижения Александра Вишневского относятся к хирургии и антисептике (например, мазь Вишневского).


Понимаете что мир изменился а вы живете прошлым?
=сначала спроси у GPT=
Отредактировано 19.03.2025 9:22 Shmj . Предыдущая версия . Еще …
Отредактировано 19.03.2025 9:21 Shmj . Предыдущая версия .
Re[27]: Режим дообучения в нейросетях
От: Privalov  
Дата: 19.03.25 09:43
Оценка: 3 (1)
Здравствуйте, Shmj, Вы писали:

S>Понимаете что мир изменился а вы живете прошлым?


Мир изменился. Кто-то заметил выдачу чатгопоты про ампутацию головы и заменил текст на другой.

А вы, видимо, прочитали некий текст, выдаваемый за интервтью академика Глушкова про ОГАС. В котором рассказывается про "вкалывают роботы, счастлив человек". Иногие, кто не читал книгу самого Глушкова "Что такое ОГАС", принимали тот текст на веру. Вы явно один из них. Мечтаете, что искусственный интеллект будет работать, а человек, наоборот, не будет работать. Но, сдаётся мне, до позитронного мозга, описанного Азимовым, человечеству ещё пилить и пилить.
Re[5]: Режим дообучения в нейросетях
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 19.03.25 10:37
Оценка: :)
Здравствуйте, Shmj, Вы писали:

S>Как насчет задать приоритет? Т.е. чтобы нейросеть учитывала не только количество но и важность данных?


Не сильно представляю, как это можно сделать для таких больших сетей.

S>А вот это нужно бы исправить — значит это алгоритмическая проблема, которую предстоит решить.


Пока не сильно представляют, как это можно сделать. Хотя попытки есть по типу человеческой долговременной памяти.

S>Во! Это уже вопрос практический. Но учитывая что количество транзисторов в процессоре по прежнему удваивается каждые 2 года — то через время мощности, достаточные для обучения, будут у каждого в смартфоне.


Ну, это так себе аргумент, если честно.

S>Контекст не очень большой. Можно ли туда внедрить библиотеку книг или код проекта в 10 млн. строк кода?


Так-то контекст тоже растёт постоянно. Ну и про RAG и его варианты не забываем: чтобы ответить на вопрос по "Войне и миру" не обязательно держать в памяти весь роман целиком дословно, достаточно вспомнить релевантные факты.
Re[2]: Режим дообучения в нейросетях
От: GlebЗ Россия  
Дата: 20.03.25 20:26
Оценка: 2 (1)
Здравствуйте, Sinclair, Вы писали:


S>Уже сейчас. Я не специалист в LLM, но

S>а) если вы работаете с личным экземпляром модели, то нет никакой проблемы делать backpropagation того, что вы с ней наобсуждали.
Примерно — 8B при инференсе(само использование) тратит примерно 16гБ памяти, лучше на видеокарте, потому что арифметика матриц высоконагруженная по памяти операция. При обучении на ту же модель надо 80 гБ видеопамяти. Нагрузка на арифметику на порядке больше. Есть методики LoRA/GLoRA с сильно менее жесткими требованиями — но они расширяют сетку и будет удорожать инференс.
Re: Режим дообучения в нейросетях
От: GlebЗ Россия  
Дата: 20.03.25 20:29
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?

Тогда это будет твоя нейросеть. Она будет пытаться повторять тебя. Может быть тебе это понравится — но для остальным это не нужно.
Re[2]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 21.03.25 06:34
Оценка:
Здравствуйте, GlebЗ, Вы писали:

S>>Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?

GЗ>Тогда это будет твоя нейросеть. Она будет пытаться повторять тебя. Может быть тебе это понравится — но для остальным это не нужно.

Так вопрос же не о том чтобы ты использовал мою — а чтобы у тебя была своя.
=сначала спроси у GPT=
Re[3]: Режим дообучения в нейросетях
От: GlebЗ Россия  
Дата: 22.03.25 11:16
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Так вопрос же не о том чтобы ты использовал мою — а чтобы у тебя была своя.

Зачем? Сетка нужна чтобы расширять твои возможности, а не повторять их.
А технически — тебе это даже обучать не надо. Запихиваешь свои диалоги в векторные БД, запихиваешь результаты семантического поиска связанный с очередным твоим вопросом в промпт, и обзываешь это новомодным словом RAG. Но опять же — добавлять в сетку себя на мой взгляд бессмысленно.
Re[4]: Режим дообучения в нейросетях
От: Shmj Ниоткуда  
Дата: 22.03.25 11:22
Оценка:
Здравствуйте, GlebЗ, Вы писали:

GЗ>Зачем? Сетка нужна чтобы расширять твои возможности, а не повторять их.

GЗ>А технически — тебе это даже обучать не надо. Запихиваешь свои диалоги в векторные БД, запихиваешь результаты семантического поиска связанный с очередным твоим вопросом в промпт, и обзываешь это новомодным словом RAG. Но опять же — добавлять в сетку себя на мой взгляд бессмысленно.

Так можно же свою нейросетку заполнить не только своими данными, но и попросить детально проработать книги, которые планируешь изучить.
=сначала спроси у GPT=
Re[5]: Режим дообучения в нейросетях
От: GlebЗ Россия  
Дата: 22.03.25 13:07
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Так можно же свою нейросетку заполнить не только своими данными, но и попросить детально проработать книги, которые планируешь изучить.

Нет. Знания о книгах нейросетки это значит что она может галлюцинировать в том числе на новом материале. Но это не значит что этому можно доверять. У нейросетки нет задачи возвращать точную информацию. Для чат-ботов чтобы боты правильно отвечали сейчас делают RAG. Ранг информации поданной в контексте больше чем есть в сетке.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.