Hugging Face Blog·· 10 дн назадГлавноеОценка AI76
StateBench: тестирование языковых моделей на отслеживание изменений состояния в длинных документах
StateBench: Testing how language models track state changes over long documents
Кратко от AI
Исследователи представили StateBench, бенчмарк для оценки способности языковых моделей отслеживать изменения состояния в длинных документах. Он включает четыре уровня сложности и показывает, что модели Gated DeltaNet и гибридные архитектуры превосходят трансформеры в задачах отслеживания состояния.
Почему это важно
StateBench предоставляет новый бенчмарк для оценки способности языковых моделей отслеживать изменения состояния в длинных документах.
Источник:Hugging Face Blog · huggingface.co