안드로이드에서 On-Device로 Gemma 1 ＆ 2 실행하기

핵심 내용

• 안드로이드 기기에서 Gemma 1과 Gemma 2를 On-Device로 실행하는 방법 소개
• MediaPipe로 Gemma1을, MLC LLM으로 Gemma2를 구동하는 환경 설정과 실행 절차 정리
• 모델 경로 지정, 토큰 생성 옵션, 비동기 결과 수신 방식 등 기본 사용법 설명
• On-Device 실행의 장점으로 개인정보 보호, 오프라인 사용, 서버 비용 절감 제시

적용해볼 점

• MediaPipe 샘플과 Kaggle의 TFLite용 Gemma 모델로 바로 실행 환경 구성 가능
• MLC LLM은 Rust, NDK, CMake, Python 패키지 설치 후 안드로이드 빌드 가능
• 디바이스 성능과 모델 버전에 따라 응답 속도와 품질 차이 점검 필요