Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?
Похоже что придется делать типа режим сна, когда, подобно человеку, будет происходить перестроение нейронных связей.
Т.е. она будет помнить каждый ваш разговор, возможно что напитываться нужными данными, что-то дозаписать себе — чтобы в следующий раз продолжить разговор более предметно.
Здравствуйте, rm2, Вы писали:
rm2>не, не хочу. а то я ее такому обучу, она потом будет неюзабельна. rm2>Контекст общения с пользователем — да, должен расти, систематизироваться, на основе его должны делаться какие либо выводи и всякое такое прочее. rm2>а вот именно обучение — это сложный достаточно процесс экспертного уровня. в него лучше не лезть.
Но если дообучение будет выполняться в отдельном режиме — как у человека в момент сна — происходит перенос в долговременную память и перестроение связей. То же самое сделать с нейронкой — пока ее не юзают — переходит в спец. режим дообучения.
При этом оно не будет тупым — не должно противоречить базовым установкам. Как и у нормального здорового человека нет в памяти противоречащих установок или если даже есть, то они идут с пометкой "пересмотреть".
Здравствуйте, Shmj, Вы писали:
S>Но если дообучение будет выполняться в отдельном режиме — как у человека в момент сна — происходит перенос в долговременную память и перестроение связей. То же самое сделать с нейронкой — пока ее не юзают — переходит в спец. режим дообучения. S>При этом оно не будет тупым — не должно противоречить базовым установкам. Как и у нормального здорового человека нет в памяти противоречащих установок или если даже есть, то они идут с пометкой "пересмотреть".
ты ее чему обучать собрался? если просто твоим предпочтениям — это к контексту.
если знаниям — то ты же не эксперт. Как ты сам себе можешь доверять?
Здравствуйте, Shmj, Вы писали:
S>Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает? S>Похоже что придется делать типа режим сна, когда, подобно человеку, будет происходить перестроение нейронных связей. S>Т.е. она будет помнить каждый ваш разговор, возможно что напитываться нужными данными, что-то дозаписать себе — чтобы в следующий раз продолжить разговор более предметно.
S>Хотите?
Нет, не хочу. Хочу нормальную кошкожену. Можно через госуслуги. Когда уже?
А так, можно же прямо сейчас реализовать через файл(ы) в vector store например, где будет храниться история (RAG)?
Индексация — чем не "построение нейронных связей".
Здравствуйте, Shmj, Вы писали:
S>Хотите? S>И как вы думаете — когда это будет возможно?
так все эти LLM и так обучаются, беседуя с тобой. Есть платные режимы, когда автообучение отключено. Во всех остальных случаях все, что ты ей пишешь — будет использовано против тебя для улучшения качества сети.
Рассказывали байку, что как-то сотрудники одной компании скормили сети часть кода закрытого проекта, после чего та местами отвечала этим кодом уже не только сотрудникам компании, чем "приятно" удивила её руководство.
Здравствуйте, opfor, Вы писали:
O>так все эти LLM и так обучаются, беседуя с тобой. Есть платные режимы, когда автообучение отключено. Во всех остальных случаях все, что ты ей пишешь — будет использовано против тебя для улучшения качества сети. O>Рассказывали байку, что как-то сотрудники одной компании скормили сети часть кода закрытого проекта, после чего та местами отвечала этим кодом уже не только сотрудникам компании, чем "приятно" удивила её руководство.
Тут нужно отличать контекст (можно задать что запомнить) от глубокого обучения. Глубокое обучение автоматом пока не делается вроде.
Здравствуйте, Shmj, Вы писали:
S>Так я могу давать направление — какие книги прочесть, каким книгам верить и т.д.
так оно обучается не по книгам, а по специально подготовленным датасетам насколько я понимаю.
хз можно ли ей просто "дать книгу" и чтобы она из нее выводы сделала.
Здравствуйте, rm2, Вы писали:
rm2>так оно обучается не по книгам, а по специально подготовленным датасетам насколько я понимаю. rm2>хз можно ли ей просто "дать книгу" и чтобы она из нее выводы сделала.
А подготовить само датасет по книге — не может разве? Тогда это и нужно сделать — чтобы автоматом делало датасет по книге и скармливало само себе.
Здравствуйте, Shmj, Вы писали:
S>А подготовить само датасет по книге — не может разве? Тогда это и нужно сделать — чтобы автоматом делало датасет по книге и скармливало само себе.
И что оно само сможет подготовить, скажем, по "Преступлению и наказанию"?
Здравствуйте, Shmj, Вы писали:
S>Хотите?
Ага, чтобы она была такой же злопамятной, как и реальный коллега?
Компьютеры всю жизнь были прекрасны как раз тем, что толерантны к ошибкам пользователя. Они не говорят "вот ты в предыдущие пять[десят] раз пытался скомпилировать неверную программу, так что в твоё очередное говно я даже смотреть не буду".
S>И как вы думаете — когда это будет возможно?
Уже сейчас. Я не специалист в LLM, но
а) если вы работаете с личным экземпляром модели, то нет никакой проблемы делать backpropagation того, что вы с ней наобсуждали.
б) если вы работаете с публичной нейросеткой, то напрямую делать backpropagation нельзя (чтобы не загрязнять общую для всех пользователей сеть), но наверняка можно сделать набор слоёв поверх общей сети, который будет только ваш.
Вопрос не "когда" или "как", а "зачем".
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Shmj, Вы писали:
S>Ну может имена героев запомнить, отношения между ними? Ну смотря какой аспект вас интересует — то и будет анализировать.
Конкретно в "Преступлении и наказании" масса подробностей, не имеющих никакого значения для сюжета.
S>Если ей дать текст 1 страницы и попросить составить сет — сможет же?
Не знаю. Мне он огибку в программе из 10 строк не нашёл. А естественный язык, объёмом даже в одну страницу, намного сложнее.
Здравствуйте, Sinclair, Вы писали:
S>>Хотите? S>Ага, чтобы она была такой же злопамятной, как и реальный коллега? S>Компьютеры всю жизнь были прекрасны как раз тем, что толерантны к ошибкам пользователя. Они не говорят "вот ты в предыдущие пять[десят] раз пытался скомпилировать неверную программу, так что в твоё очередное говно я даже смотреть не буду".
Здравствуйте, Privalov, Вы писали:
P>Конкретно в "Преступлении и наказании" масса подробностей, не имеющих никакого значения для сюжета.
Ну я не знаю кому это может быть нужно — на мой взгляд это хлам.
Вот более конкретное — изучить книги по написанию драйверов для Windows, чтобы я мог задавать вопросы и получать быстрые ответы.
S>>Если ей дать текст 1 страницы и попросить составить сет — сможет же? P>Не знаю. Мне он огибку в программе из 10 строк не нашёл. А естественный язык, объёмом даже в одну страницу, намного сложнее.
Здравствуйте, Sinclair, Вы писали:
S>а) если вы работаете с личным экземпляром модели, то нет никакой проблемы делать backpropagation того, что вы с ней наобсуждали.
Личные экземпляры — слабые. В них смысла не много.
Интересны только уровня o1, 4.5.
А вот сколько нужно ресурсов, чтобы запустить сетку уровня хотя бы o1 с режимом дообучения?
S>б) если вы работаете с публичной нейросеткой, то напрямую делать backpropagation нельзя (чтобы не загрязнять общую для всех пользователей сеть), но наверняка можно сделать набор слоёв поверх общей сети, который будет только ваш.
Но пока не добавили такую функцию. Видимо не так уж дешево это.
Здравствуйте, Shmj, Вы писали:
S>Такой вопрос.
S>Хотите ли себе нейросеть, которая по результатам каждого вашего разговора — сама себя дообучает?
S>Похоже что придется делать типа режим сна, когда, подобно человеку, будет происходить перестроение нейронных связей.
S>Т.е. она будет помнить каждый ваш разговор, возможно что напитываться нужными данными, что-то дозаписать себе — чтобы в следующий раз продолжить разговор более предметно.
S>Хотите?
S>И как вы думаете — когда это будет возможно?
Хотим, чтобы ты минимально ознакомился с роликами в YouTube про то, что такое нейросетка, как ее разрабатывают и обучают, изучил архитектуру сервисов, прежде чем обсуждать вопросы архитектуры в приличном обществе. Но похоже, что это несбыточные мечты.
Похоже, следующее поколение людей будет обучаться только нейросетями, информацию из других источников они не усваивают.
Может, ты попробуешь задать эти вопросы нейросетке?
Здравствуйте, Shmj, Вы писали:
S>Ну я не знаю кому это может быть нужно — на мой взгляд это хлам.
Скажем, исследователям творчества Достоевского.
S>Вот более конкретное — изучить книги по написанию драйверов для Windows, чтобы я мог задавать вопросы и получать быстрые ответы.
Лучше их самому изучить. Книги пишут не для искусственного интеллекта. Как можно писать драйвер, не понимая принципов работы ОС?
S>Естественный язык не сложнее.
Следующий текст ИИ разберёт? Батарея – деепричастие?
Её вокзал он,
Тихо батарея
А ракетка с точки зрения ИИ – это что? Маленькая ракета?
Здравствуйте, gress, Вы писали:
G>Хотим, чтобы ты минимально ознакомился с роликами в YouTube про то, что такое нейросетка, как ее разрабатывают и обучают, изучил архитектуру сервисов, прежде чем обсуждать вопросы архитектуры в приличном обществе. Но похоже, что это несбыточные мечты.
Ты возможно будешь удивлет, но я на низком уровне обучал нейросети в т.ч. создавал свои, пусть и не очень сложные, многослойные сетки для специфических задач.
Так с чем ты не согласен? Думаешь нейросетка по заданному тобой списку текста не сможет создать сет для дообучения?
