AI
MLC LLM을 이용한 안드로이드 On-device AI 맛보기
두줄요약
안드로이드 기기에서 LLM을 직접 구동하는 MLC LLM 활용 방법을 소개했습니다. 환경 구축부터 샘플 앱 빌드, 모델 변환과 배포까지의 흐름을 정리했습니다.
핵심 내용
- MLC LLM을 활용한 안드로이드 On-device AI 구현 흐름 소개
- Python, Rust, Android SDK/NDK, MLC LLM 패키지 설치와 환경 변수 설정
- MLCChat과 MLCEngineExample 샘플 앱 빌드, 모델 패키징, 모델 수동 복사 방식
- 모델 양자화와 변환, prefill-chunk-size와 conv-template 조정 포인트