Вот есть лидеры рынка, типа openai или даже MS co своим Capilot.
А есть то что каждый может у себя запустить, типа я скачал LM-Studio и запустил за 15 мин. Llama 3 — 8B Instruct. Как бы опенсорсное.
И вопрос вот в чем — насколько это открытое отстает по уровню от лучшего в мире, доступного за деньги? Насколько велико превосходство? И кто сейчас лидер в разных областях?
Вот в поп. сфере генерации рисунка по тексту — один из лидеров MidJourney. Насколько они лучше чем бесплатные модельки Stable Diffusion?
Здравствуйте, Shmj, Вы писали:
S>И вопрос вот в чем — насколько это открытое отстает по уровню от лучшего в мире, доступного за деньги? Насколько велико превосходство? И кто сейчас лидер в разных областях?
Оно всегда будет позади на переднем крае, где есть деньги.
Чаты чатами, но деньги сейчас уже не в них. Поэтому сняв сливки, та же OpenAI сделала последние модели бесплатными.
Деньги сейчас в API и интеграции с бизнес-процессами компании, чтобы ИИ-агенты взаимодействовали с людьми и друг с другом решали реальные процессы. Например, парсинг почты и документов, разбор тендеров, генерацию тендерной документации. Сейчас это называют не автоматизацией, а интеллектуализацией, например: пользователь прислал фото или сканы документов, а ИИ их распознал, прочитал, понял и запустил соответствующий бизнес-процес. Тут LLM играют свою прямую роль — понимание языка.
Второе — делать на базе LLM клей между разными несвязанными модулями. Например, он может генерировать SQL запросы, читать ответы и вызывать callback'и. Формирует ответы в json и отсылает по сети. И т.д.
Такой тренд. В этом случае у нас не чатики для человека, а LLM (даже LMM), которые сидят в публичном или корпоративном облаке, пользователи напрямую их никак не касаются и не взаимодействуют. А чаты просто выложили, как побочный результат.
P.S. Не спорю, что в областях типа техподдержки чаты используются и по прямому назначению.
Здравствуйте, Mihal9, Вы писали:
M>Бесплатное отстает, но не сильно. M>Не надо думать, что где-то там, в закромах у сильных мира сего есть супертаблетка и суперсредство.
А вот эта цензура политическая, религиозная — ведь все модели ей подвержены еще на этапе формирования базы знаний? Или, вроде, пишут что на этапе формирования базы знаний не возможно это сделеать — делают доп. надстройки? Хотелось бы взглянуть на мир без розовых очков.
Я так понял что человечество решило идти ва-банк. Т.е. сейчас ставят все что есть на кон — чтобы решить величайшие научно-технические вопросы, расходуют все ресурсы без оглядки. Если получится — то получим бесконечное или близко к тому количество ресурсов (межгалактические путешествия и пр.). Если не выйдет и все в пустую — ну значит обосремся, скатимся в небытие.
=сначала спроси у GPT=
Re[3]: Крупные игроки в ИИ и уровень превосходства
Здравствуйте, Shmj, Вы писали: S>А вот эта цензура политическая, религиозная — ведь все модели ей подвержены еще на этапе формирования базы знаний? Или, вроде, пишут что на этапе формирования базы знаний не возможно это сделеать — делают доп. надстройки? Хотелось бы взглянуть на мир без розовых очков.
Ограничить базу знаний сложно, данные чистят — стараются чистить, но всё не уберешь. Тем более что не всегда может быть понятно, что убирать. Например, в ранней американской литературе к чёрным можно было обращаться так, как сейчас нельзя. Но надо ли убирать литературу?
Сейчас вышла LLama 3.1, пишут, что по уровню не хуже ChatGPT последнего. И её взломали чуть ли не день в день, расскажет вам всё, что знает:
Здравствуйте, vsb, Вы писали:
vsb>Не знаю, насколько на соответствует действительности, но если соответствует — значит уровень превосходства не велик.
Ну, даже если всё это правда (а почему нет?), то есть нюансы:
1. Результаты сделаны моделью ооочень большой, которую у себя локально не запустить. Если модель сильно заоптимизировать и постараться не потерять в качестве то у нас потребуется где-то 1 нода с 8 GPU, где-то 2 ноды с 8 GPU, то есть недёшево. Если утрамбовывать в условный игровой ПК, то потеря в качестве бодет очень большой.
2. Модель открытая, выпустили даже большую статью с подробнейшим обзором. Но она всё равно сделана не сообществом, а крупным игроком. Захотел — открыл, не захотел — не открыл. Llama — это не Линукс в мире LLM.
Простым пользователям остаётся пока довольствоваться маленькими модельками, которые всё таки далеко от тем, что доступно крупным игрокам.
Re[4]: Крупные игроки в ИИ и уровень превосходства
Здравствуйте, Shmj, Вы писали:
S>А вот эта цензура политическая, религиозная — ведь все модели ей подвержены еще на этапе формирования базы знаний? Или, вроде, пишут что на этапе формирования базы знаний не возможно это сделеать — делают доп. надстройки?
Почему не возможно?
Оно же не само произвольно собирает информацию из всех возможных источников, а "жрет," что дают.
Подсовывай "правильные"(уже отредактированные под повесточку) версии и дополнительно докручивай настройками до нужной кондиции
Многие и рады были бы испытать когнитивный диссонанс, но нечем.
Здравствуйте, Nuzhny, Вы писали:
vsb>>Не знаю, насколько на соответствует действительности, но если соответствует — значит уровень превосходства не велик.
N>Ну, даже если всё это правда (а почему нет?), то есть нюансы:
N>1. Результаты сделаны моделью ооочень большой, которую у себя локально не запустить. Если модель сильно заоптимизировать и постараться не потерять в качестве то у нас потребуется где-то 1 нода с 8 GPU, где-то 2 ноды с 8 GPU, то есть недёшево. Если утрамбовывать в условный игровой ПК, то потеря в качестве бодет очень большой.
Я не очень понимаю смысл запускать что-либо у себя. Есть облака, в которых уже всё задеплоено и которые дают API на пользование этими LLM. Наценка у них, насколько я понимаю, небольшая, как раз за счёт того, что они GPU используют на 100% в отличие от локальных деплойментов.
При этом модели можно дообучать и я не ограничен пуританскими правилами OpenAI, то бишь могу генерировать что угодно, хоть порнографию, хоть скам (не то, чтобы мне это было нужно, но сам факт ограничения мне не нравится).
Re[4]: Крупные игроки в ИИ и уровень превосходства
Здравствуйте, vsb, Вы писали:
vsb>Я не очень понимаю смысл запускать что-либо у себя. Есть облака, в которых уже всё задеплоено и которые дают API на пользование этими LLM. Наценка у них, насколько я понимаю, небольшая, как раз за счёт того, что они GPU используют на 100% в отличие от локальных деплойментов.
1. Уже были примеры с утечками данных. Например, Samsung запретила пользоваться ChatGPT сотрудникам: в неё загрузили внутренний код компании, он утёк. Это не аргумент? Нет интернета или он ограничен — не аргумент? И т.д.
2. У нас какая тема-то? Про облачное закрытое и то, что можно запустить у себя.
vsb>При этом модели можно дообучать и я не ограничен пуританскими правилами OpenAI, то бишь могу генерировать что угодно, хоть порнографию, хоть скам (не то, чтобы мне это было нужно, но сам факт ограничения мне не нравится).
Можно, конечно. Есть для этого мощности? Скорее всего конкретно у тебя нет. Компании, у которых есть такие мощности, уже начнут попадать в категорию крупных игроков. Противоречие, однако.
Далее, берём компании поменьше, смотрим на их открытый результат. Насколько он далёк от результата OpenAI/M*ta/Google/Microsoft?
Re[3]: Крупные игроки в ИИ и уровень превосходства
Здравствуйте, Nuzhny, Вы писали: vsb>>Llama 3.1 405B N>1. Результаты сделаны моделью ооочень большой, которую у себя локально не запустить.
пишут вроде 230 GB RAM должно хватить для запуска
так что, как 64 GB плашки DDR5 завезут, так и на обычном десктопном ПК потянет в 4 слота ОЗУ — особенно когда NPU приличные в процы забубенят массовые десктопные, инференс может и потянет (с более менее вменяемой скоростью)
но вообще, много кто вроде и чего копает в т.ч. в плане ускорения — как обучения так и инференса, (ну и точности, как например KAN),
Эксперименты с моделью BERT показали сокращение вычислений на более чем 99%.
Исследователи разработали собственную реализацию операций условного умножения на базе инструкций процессора и графического процессора. Это привело к 78-кратному увеличению скорости вывода.
Ученые полагают, что благодаря более качественному аппаратному обеспечению и низкоуровневой реализации алгоритма есть потенциал для более чем 300-кратного улучшения скорости вывода. Это могло бы решить одну из основных проблем языковых моделей — количество токенов, которые они генерируют в секунду.
LLM с миллиардом параметров теперь может потреблять всего 13 ватт.
Исследователи применили инновационный подход, сделав все числа в матрицах нейронной сети троичными, то есть они могут быть только -1, 0 или 1. Это существенное изменение, вдохновленное документом Microsoft, заменяет умножение на сложение, что значительно снижает требования к оборудованию.
Нейронная сеть, работающая на этом оборудовании, продемонстрировала более чем 50-кратное повышение эффективности по сравнению с обычными системами. Важно, что при этом она сохранила производительность, сравнимую с топовыми языковыми моделями.
т.е. и мощности вычислительные растут и технологии самих нейросетей — постепенно улучшаются
P.S.:
хотя нахера её у себя запускать без возможности до обучения, (тем более обычному юзеру) — когда всё есть в сети
