안드로이드에서 On-Device로 Gemma 1 ＆ 2 실행하기
안드로이드에서 Gemma 1과 Gemma 2를 On-Device로 실행하는 방법을 정리했습니다. MediaPipe와 MLC LLM의 설정 절차, 모델 실행 방식, 장점도 함께 소개했습니다.
#Android#LLM
37005분
필터 1
이제는 AI Agent 시대! RAG와 함께 Bedrock Agent를 활용해보자 - 2 (실습)
Amazon Bedrock Agent와 RAG로 EKS 클러스터를 조회하고 Trivy CIS 보고서를 요약하는 실습을 다뤘습니다.\n지식 기반, Action Group, Lambda, OpenSearch Serverless를 연결해 한국어 자연어로 운영 자동화를 구현했습니다.
#LLM#RAG
21005분
LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부
컬리의 리뷰 요약 서비스 PoC에서 베스트 리뷰의 한계를 보완하기 위해 LLM 기반 리뷰 선별 실험을 진행했습니다. Reasoning과 CoT를 적용해 검수 정확도와 투명성을 높이는 방법을 확인했습니다.
#LLM#Prompt Engineering
46005분
생성형 AI 기반 실시간 검색 결과 재순위화 2편 - LLM 서빙
대규모 검색 재순위화를 위해 LLM 서빙 프레임워크와 최적화 방법을 비교하고, TRT-LLM과 Triton 조합을 채택했습니다. 양자화, 배치 조절, OpenTelemetry와 대시보드로 성능과 운영 가시성을 함께 확보했습니다.
#LLM#gRPC
21005분
생성형 AI 기반 실시간 검색 결과 재순위화 1편 - 서빙 시스템 아키텍처
네이버 통합검색의 LLM 기반 실시간 재순위화 서빙 아키텍처와 고부하 대응 방법을 정리했습니다. 원격 캐시, 비동기 호출, 스로틀링으로 검색 서버 보호와 응답 시간 최적화를 다뤘습니다.
#LLM#검색
26005분
GitHub Copilot 업무 활용기(AI-assisted Coding과 개발 생산성 향상 #2)
GitHub Copilot의 업무 활용 사례와 생산성 향상 효과를 SK플래닛 실험 결과와 함께 정리했습니다. 보안, 환각, 개발 역량 측면의 유의 사항과 함께 실무 적용 가능성도 살펴보았습니다.
#GitHub Copilot#LLM
27005분
사실 GPT는 글을 잘 읽지 못합니다.
GPT는 이미지를 보고 글자를 정확히 읽는 데 한계가 있다는 점을 사례로 설명했습니다. OCR 같은 보완 방법을 시도했지만 완전한 해결책은 찾지 못했다고 정리했습니다.
#LLM#OCR
31005분
에이닷은 어떻게 먼저 말을 걸어 오는 걸까?
에이닷의 선톡 기능을 Context 수집·가공·활용과 평가 시스템으로 구현한 방식을 소개했습니다. 사용자 반응과 피로도를 함께 고려해 먼저 말을 거는 개인화를 고도화했습니다.
#LLM#prompt
14005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
〈Gen.View | FE - #0〉 비개발 직군의 Frontend 업무 적용 스토리
비개발 직군이 업무 필요성에 따라 프론트엔드와 앱 개발을 학습한 경험을 공유했습니다. 직접 만든 웹·앱 결과물이 프로젝트 제안과 운영에 어떻게 활용됐는지 설명했습니다.
#Svelte#Flutter
19005분
Amazon SageMaker로 LLM 응답 Streaming 서빙하기
Amazon SageMaker 기반 LLM을 토큰 단위로 스트리밍 서빙하는 구성을 소개했습니다. Lambda Function URL과 CloudFront를 조합해 응답 스트리밍을 구현하는 방법을 설명했습니다.
#Amazon SageMaker#LLM
29005분
LLM 모델이 LLM 성능을 평가한다. LLM-as-a-judge 알아보기
LLM이 다른 LLM의 응답 품질을 평가하는 LLM-as-a-Judge 방법을 소개했습니다. 프롬프트를 단순화하고 평가 이유를 요구하면 인간 평가와의 일치도가 크게 높아졌습니다.
#LLM#prompt
23005분
LLM, 더 저렴하게, 더 빠르게, 더 똑똑하게
X
#LLM
11005분