LLM을 활용한 스마트폰 시세조회 서비스 구축
LLM으로 중고 스마트폰 게시글에서 시세 산정용 정보를 추출하고 후처리하는 서비스를 구축했습니다. BigQuery, MySQL, 벡터 DB를 조합해 시세 조회와 유사 게시글 추천을 구현했습니다.
#LLM#BigQuery
55005분
필터 1
iOS 개발을 위한 Cursor Rules
Cursor의 Rules 기능으로 iOS 개발용 AI 동작을 프로젝트 단위로 제어하는 방법을 소개했습니다. 규칙을 적용한 뒤 오류와 중복 작업이 줄어든 경험도 공유했습니다.
#iOS#Cursor
53005분
SK하이닉스의 RAG 플랫폼 구축 및 성능 평가/분석 연구 사례
SK하이닉스가 AWS 환경에서 RAG 플랫폼을 구축하고 성능을 평가한 사례를 소개했습니다. 데이터셋 크기와 인덱스 메모리가 검색 지연과 TTFT에 미치는 영향을 분석했습니다.
#RAG#LLM
85005분
Auto 자동차 매뉴얼 특화 RAG 데모 시스템 개발
자동차 매뉴얼 검색을 위한 도메인 특화 RAG 데모 시스템을 개발했습니다. LLM과 메타 정보를 결합해 출처가 보이는 응답과 더 나은 사용자 경험을 제공했습니다.
#RAG#LLM
41005분
실험으로 알아보는 LLM 파인튜닝 최적화 가이드 Part 2.
LLM 파인튜닝에서 Optimizer, 학습률, 스케줄러, Warmup, 정밀도 선택 기준을 실험 결과로 정리했습니다.메모리와 안정성을 함께 고려해 AdamW 계열과 BF16, 1e-4 근처 학습률을 중심으로 검증하는 방법을 제시했습니다.
#LLM#파인튜닝
61005분
사내 AI 챗봇 서비스 구축하기
사내 AI 챗봇 서비스를 Next.js 템플릿 기반으로 구축하고, Azure OpenAI와 GraphQL 도구 연동을 확장한 과정을 공유했습니다. 배포와 필터링, 컨텍스트 초과 같은 문제를 해결하며 내부 구성원용 서비스로 운영한 사례입니다.
#LLM#ChatGPT
38005분
AWS re:Invent 2024 Recap: AI 1편
AWS re:Invent 2024에서 소개된 금융 회사의 생성형 AI 구축 사례를 다룬 글입니다. AWS 기반 적용 사례의 개요를 간단히 소개했습니다.
#AWS#LLM
23005분
AI 추론 능력을 극대화하는 DeepSeek-R1의 혁신
DeepSeek-R1의 강화 학습 기반 추론 향상 방식과 지식 증류 전략을 정리했습니다. 또한 API 활용, 소형 모델 성능, 향후 개선 과제까지 함께 살펴봤습니다.
#LLM#ML
26005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
효율적인 GPU 메모리 사용을 위한 여러 기법
GPU 메모리 사용을 줄이기 위한 그레이디언트 누적, 체크포인팅, ZeRO, LoRA, QLoRA를 정리했습니다. 각 기법이 절감하는 메모리 영역과 적용 효과를 예시와 함께 설명했습니다.
#GPU#ML
40005분
생성형 검색 (RAG) 평가의 최근 트렌드
생성형 검색(RAG) 평가의 최근 트렌드와 주요 플랫폼, 지표 변화를 정리했습니다. LC와 RAG의 비교 결과를 통해 질문 유형별 적합한 접근도 살펴봤습니다.
#RAG#LLM
64005분
[#5 LLM Tutorial With RAG] LLM은 학습할 데이터도 스스로 만들 수 있습니다!
X
#LLM#RAG
20005분
vLLM로 효율적인 모델 서빙하기
vLLM을 활용한 LLM 서빙 최적화 방법을 배치 전략, 어텐션 최적화, 추론 전략으로 나눠 설명했습니다. 온라인 서빙과 오프라인 서빙의 차이와 간단한 구현 예시도 함께 소개했습니다.
#vLLM#LLM
86005분