AI
Multimodal LLM 첫 삽 뜨기
두줄요약
멀티모달 LLM의 대표 아키텍처와 instruction tuning, RLHF 계열 정렬 기법을 정리했습니다. LLaVA 기반 사례와 데이터셋 구성을 함께 살펴볼 수 있습니다.
핵심 내용
- 멀티모달 LLM 시대로의 전환 배경과 주요 기술 축 정리
- 프로젝션 매트릭스, 크로스 어텐션, 적응 프롬프트, 이미지 토크나이저 등 대표 아키텍처 분류
- instruction tuning, RLHF, DPO 계열 선호 정렬 기법과 관련 데이터셋·모델 사례 비교
적용해볼 점
- LLaVA 계열을 중심으로 한 구현·튜닝 흐름 참고
- 환각 감소를 위한 선호 정렬 방법과 데이터 구성 방식 검토
- 멀티모달 태스크별 아키텍처 선택 기준 정리