AI
Language Model의 새로운 패러다임? Large Language Diffusion Model!!
두줄요약
AR 언어모델의 한계를 보완하기 위해 Diffusion 기반 언어생성 접근을 소개했습니다. 학습과 추론 절차, 성능 강점과 한계까지 논문 관점에서 정리했습니다.
핵심 내용
- AR 기반 언어모델의 노출 편향, 길이 편향, 장기 의존 실패를 보완하기 위한 Large Language Diffusion Model 소개
- 텍스트에 확산 모델을 적용해 [MASK] 기반 반복 정제와 디노이징으로 문장을 생성하는 방식 정리
- RB-CE, SFT, inference remasking, semi-autoregressive remasking 등 학습·추론 절차와 설계 포인트 설명
- 수학 문제, reversal generation에서의 강점과 초기 단계의 한계 및 후속 연구 가능성 제시