Авторы представили метод HOPE для обрезки экспертов в моделях Mixture-of-Experts。
Почему это важно: Метод HOPE предлагает улучшенный подход к обрезке экспертов в моделях Mixture-of-Experts, что может значительно повысить эффективность использования памяти.
Исследователи представили StateBench, бенчмарк для оценки способности языковых моделей отслеживать изменения состояния в длинных документах. Он включает четыре уровня сложности и показывает, что модели Gated DeltaNet и гибридные архитектуры превосходят трансформеры в задачах отслеживания состояния.
Почему это важно: StateBench предоставляет новый бенчмарк для оценки способности языковых моделей отслеживать изменения состояния в длинных документах.
Команда из Университета Пенсильвании разработала систему LitPivot, которая помогает исследователям улучшать свои идеи。
Почему это важно: Исследование демонстрирует, как LitPivot помогает улучшить качество научных идей через взаимодействие с литературой.
Исследование VocabX показывает, как специализация словаря для конкретной задачи позволяет сократить затраты на вывод модели на 77%。
Почему это важно: Метод VocabX демонстрирует значительное снижение затрат на вывод модели, что может быть полезно для оптимизации AI-систем.
Представлен FairStress — бенчмарк для измерения демографической справедливости в LLM。
Почему это важно: FairStress предоставляет новый подход к оценке справедливости в принятии решений LLM, что может помочь в разработке более надежных моделей.
Команда разработчиков адаптировала модель Nemotron для участия в IOI и IMO, достигнув золотых медалей на обоих соревнованиях с использованием методов дообучения и обучения с подкреплением.
Почему это важно: Результаты показывают, как адаптация модели Nemotron позволяет достигать высоких результатов на международных олимпиадах.
Microsoft и Hugging Face совместно опубликовали ThinkingBox — бенчмарк для оценки AI-агентов。
Почему это важно: Microsoft и Hugging Face представили ThinkingBox, оценивающий AI-агентов по реальному изменению состояния базы данных, а не по количеству вызовов инструментов.
Команда Multiverse Computing представила статью ProvenanceGuard, посвященную проверке фактов для LLM-агентов。
Почему это важно: Представлен метод верификации фактов для MCP-агентов, который отслеживает происхождение утверждений и предотвращает смешение источников.