Комплексное бенчмаркинг для LLMs
Ollama Benchmark — это бесплатное расширение для Chrome, разработанное для пользователей, которым необходимо эффективно проводить бенчмаркинг и сравнение больших языковых моделей (LLMs). Оно поддерживает такие модели, как Mistral, LLaMA и Qwen, позволяя пользователям проводить тесты на основе запросов для оценки показателей производительности, включая количество токенов, время ответа и скорость обработки. Благодаря своему удобному интерфейсу этот инструмент позволяет одновременно тестировать несколько моделей, что делает его идеальным для оптимизации рабочих процессов ИИ.
Ключевые функции Ollama Benchmark включают возможность экспорта результатов в различных форматах, таких как .txt, .csv или .json, и локальное хранилище для настроек и результатов. Расширение совместимо как с локальными, так и с удаленными API Ollama и предлагает многоязычный интерфейс на английском и турецком языках. Важно отметить, что оно полностью работает в браузере, не собирая никаких пользовательских данных, обеспечивая конфиденциальность и безопасность.
