Здравствуйте, Nuzhny, Вы писали:

vsb>>Не знаю, насколько на соответствует действительности, но если соответствует — значит уровень превосходства не велик.

N>Ну, даже если всё это правда (а почему нет?), то есть нюансы:

N>1. Результаты сделаны моделью ооочень большой, которую у себя локально не запустить. Если модель сильно заоптимизировать и постараться не потерять в качестве то у нас потребуется где-то 1 нода с 8 GPU, где-то 2 ноды с 8 GPU, то есть недёшево. Если утрамбовывать в условный игровой ПК, то потеря в качестве бодет очень большой.

Я не очень понимаю смысл запускать что-либо у себя. Есть облака, в которых уже всё задеплоено и которые дают API на пользование этими LLM. Наценка у них, насколько я понимаю, небольшая, как раз за счёт того, что они GPU используют на 100% в отличие от локальных деплойментов.

При этом модели можно дообучать и я не ограничен пуританскими правилами OpenAI, то бишь могу генерировать что угодно, хоть порнографию, хоть скам (не то, чтобы мне это было нужно, но сам факт ограничения мне не нравится).