PEGASUS:Pre-training with Extracted Gap-sentences for Abstractive Summarization 논문 URL Abstract 추상적 요약(Abstractive Summarization)에 맞는 사전학습 모델인 PEGASUS를 제안한다. PEGASUS 모델은 트랜스포머(Transformer) 기반의 인코더-디코더 구조이고, 사전 학습을 위한 새로운 기법인 GSG도 함께 제안한다. 기본 구조는 표준 트랜스포머 인코더-디코더 구조이다. 위의 그림에서는 문장 1개는 [MASK1]로 마스킹 되어 Target 텍스트 생성에 사용하고, 다른 두 문장에서 랜덤 한 토큰을 ... Read More