Какие вопросы можно использовать, чтобы определить какая ИИ-дура умнее?

Как я понимаю, эталон — это https://chatgpt.com/ Именно платная версия.

Запустил у себя на компе и дал те же вопросы, который я задавал старшей — Meta-Llama-3-8B-Instruct-Q4_K_M.gguf — значительно тупее, можно сказать общими фразами отвечает. Кстати, отвечает так же быстро как серверная, не смотря на отсутствие видеокарты и не шибко быстрый проц (M2).

Слышал что как-то этих дур сводят одна с другой и как-то смотрят кто кого переспорит. Как?

З.Ы.
Хотел попробовать https://llama.meta.com/ — самая большая (там, емнип, 700 Гб.) — но онлайн разрешают только странам

Australia, Canada, Ghana, Jamaica, Malawi, New Zealand, Nigeria, Pakistan, Singapore, South Africa, Uganda, Zambia and Zimbabwe

— вроде нельзя и в дискриминации обвинить. Но почему Zimbabwe?

Здравствуйте, Shmj, Вы писали:

S>Какие вопросы можно использовать, чтобы определить какая ИИ-дура умнее?

Есть наборы вопросов, типа, рейтинги. Обычно по ним и определяют. Они выкладывают в открытый доступ 20% вопросов, а тестируют на наборе остальных 80%. Но говорят, что под эти рейтинги всё равно можно тюнить модели.

S>Как я понимаю, эталон — это https://chatgpt.com/ Именно платная версия.

Нет, говорят, что именно по уровню логики лучше всего Claude-3-Opus.