from datasets import load_dataset
from transformers import pipeline
# Загрузка датасета
dataset = load_dataset("russian_super_glue", "rcb")
# Оценка модели
classifier = pipeline("text-classification", model="ai-forever/ruBert-base")
# Запуск на тестовой выборке
for sample in dataset["test"]:
prediction = classifier(sample["premise"] + " " + sample["hypothesis"])
print(prediction)Готовые скрипты оценки
Python интеграция
Контейнеризированный eval
Submission API
Russian SuperGLUE — это русскоязычная версия популярного бенчмарка SuperGLUE для оценки понимания естественного языка (NLU). Бенчмарк включает 9 задач разной сложности. Задачи бенчмарка: - RCB: Reading Comprehension - PARus: Causal reasoning - MuSeRC: Multi-sentence reading - TERRa: Textual entailment - RUSSE: Word sense disambiguation - RWSD: Winograd schema - DaNetQA: Yes/No questions - RuCoS: Commonsense reasoning