•
Multitask learning
•
Text-to-text 프레임워크
◦
여러 가지 태스크가 존재해도, 태스크 자체도 Text로 바꿔서 인풋을 넣어주면 아웃풋도 Text로 뽑겠다.
•
Auto Encoding
◦
Mask 된 토큰을 맞추는 것
◦
Mask된 토큰이 독립적으로 예측
◦
token 사이의 dependency는 학습할 수 없음.
•
Auto Regressive
◦
LM의 objective function과 같음
◦
x_n이 등장할 확률을 높이는 것
◦
단일 방향의 정보만을 이용해서 학습을 한다.
•
XLNet
◦
AR/AE를 모두 사용함.
◦
양방향으로 하게끔 AR 구현을 함 → permutation을 사용함.