from tape_benchmark import TAPEEvaluator
from transformers import AutoModelForSequenceClassification
# Загрузка модели
model = AutoModelForSequenceClassification.from_pretrained(
"ai-forever/ruBert-base-sentiment"
)
# Создание evaluator
evaluator = TAPEEvaluator(tasks=["sentiment", "toxicity", "genre"])
# Запуск оценки
results = evaluator.evaluate(model)
for task, score in results.items():
print(f"{task}: {score:.3f}")Быстрый старт
Python SDK
Docker поддержка
Evaluation API
TAPE (Text Analysis Pipeline Evaluation) Classification — это бенчмарк для комплексной оценки моделей классификации текста на русском языке. Бенчмарк включает 15 задач разной сложности. Задачи: - Sentiment Analysis (тональность) - Toxicity Detection (токсичность) - Genre Classification (жанры текстов) - Topic Classification (тематика) - Intent Detection (намерения) - Emotion Recognition (эмоции)