Авторитетный деловой журнал Arabian Business включил российскую нейросеть GigaChat, разработанная Сбером, вошла в пятерку лучших AI-моделей в мире. GigaChat от Сбера стал единственным российским решением, которое вошло в международный бенчмарк.
Аналитики Arabian Business при формирования рейтинга проверяли производительность модели не только на ее родном языке, но и эффективность ее работы при ответах на вопросы на других языках. В оценке моделей был использован метод параллельного тестирования AI-моделей, который был разработан ChipAI для обеспечения справедливого и всестороннего их сравнения.
Результаты серии AI слепых тестов оценивались аналитиками, которые не знали о названии модели, стоящей за каждым ответом. Метод включал в себя множество задач, таких как языковой перевод, творческое письмо, генерация кода и анализ данных для оценки универсальности и глубины понимания каждой модели.
«GigaChat обучалась преимущественно на русском языке, поэтому получила максимальный балл не только в данном рейтинге, но и вообще была признана лучшей в ответах на русском языке. GigaChat также получила очень высокий балл за ответы на английском языке», — отметили эксперты рейтинга.
Критерии оценки были адаптированы к заявленным возможностям каждой рассматриваемой модели и при этом принимались во внимание такие показатели, как точность, последовательность, релевантность и способность обрабатывать нюансы подсказок.
Кроме GigaChat в рейтинг были включены нейросети от OpenAI, Google, Anthropic и других крупнейших мировых разработчиков.