from transformers import T5ForConditionalGeneration, T5Tokenizer
model = T5ForConditionalGeneration.from_pretrained("ai-forever/FRED-T5-large")
tokenizer = T5Tokenizer.from_pretrained("ai-forever/FRED-T5-large")
text = "<SC1>Суммаризируй: Длинный текст статьи..."
input_ids = tokenizer(text, return_tensors="pt").input_ids
output = model.generate(input_ids, max_length=100)
print(tokenizer.decode(output[0], skip_special_tokens=True))Сжатие длинных текстов
Ответы на вопросы
Машинный перевод
Small до XL
FRED-T5 — это русскоязычная версия модели T5 (Text-to-Text Transfer Transformer). Модель обучена на задачах: - Суммаризация - Перевод - Ответы на вопросы - Генерация текста - Классификация Модель доступна в нескольких размерах: small, base, large, xl.