Здравствуйте, Nuzhny, Вы писали:

bnk>>1. разрешить пользователю вводить его собственный ключ.
bnk>>По виду нормально, но тогда надо объяснять как это делать, и не особо прибыльно я думаю будет.

N>Я встречал такой вариант. Насколько я понимаю, есть стандартный протокол от OpenAI, который много кто уже поддерживает. И пользователю даётся выбор:
N>- сторонний платный чатик типа ChatGPT и ввод ключа;
N>- выбор своей LLM: тип (llama.cpp, ollama etc), ip-адрес;
N>- что-то совсем простое локальное на 1-3B параметров, которое может работать на базе той же llama.cpp.

Выглядит хорошо для опенсорса. Я же хочу на этом как-то денег поиметь

Здравствуйте, Nuzhny, Вы писали:

bnk>>1. разрешить пользователю вводить его собственный ключ.
bnk>>По виду нормально, но тогда надо объяснять как это делать, и не особо прибыльно я думаю будет.

N>Я встречал такой вариант. Насколько я понимаю, есть стандартный протокол от OpenAI, который много кто уже поддерживает. И пользователю даётся выбор:
N>- сторонний платный чатик типа ChatGPT и ввод ключа;
N>- выбор своей LLM: тип (llama.cpp, ollama etc), ip-адрес;
N>- что-то совсем простое локальное на 1-3B параметров, которое может работать на базе той же llama.cpp.

Выглядит хорошо для опенсорса. Я же хочу на этом как-то денег поиметь
В смысле, непонятно в каком месте в этой схеме я получаю бабло