T5: Text-to-Text Transfer Transformer

В задачах обработки естественного языка стандартным подходом является тот, при котором сначала предобучают языковую модель, а затем эту модель дообучают на целевой задаче. Одной из популярных языковых моделей является трансформер. Архитектура оригинального трансформера постоянно модифицируется и улучшается. Несмотря на разнообразие моделей, процесс их сравнения не стандартизирован. Сложности в сравнении возникают из-за отличий в процессах обучения, целевых функциях и в декодировании предсказаний. Получается