Re: Крупные игроки в ИИ и уровень превосходства
От: vsb Казахстан  
Дата: 24.07.24 11:35
Оценка:
На HN увидел такую табличку в тему

    +----------------+-------+-------+
    |     Metric     | GPT-4o| Llama |
    |                |       | 3.1   |
    |                |       | 405B  |
    +----------------+-------+-------+
    | MMLU           |  88.7 |  88.6 |
    | GPQA           |  53.6 |  51.1 |
    | MATH           |  76.6 |  73.8 |
    | HumanEval      |  90.2 |  89.0 |
    | MGSM           |  90.5 |  91.6 |
    +----------------+-------+-------+


Не знаю, насколько на соответствует действительности, но если соответствует — значит уровень превосходства не велик.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.