SageMaker AI로 해보는 GPT-OSS 추론 성능 테스트와 용량 산정
SageMaker AI에서 GPT-OSS 120B 추론 성능 테스트와 GPU 용량 산정 방법을 다뤘습니다. vLLM과 SGLang을 비교하며 워크로드별 성능 지표와 최적화 포인트를 정리했습니다.
#SageMaker AI#LLM
69005분
필터 1
마케터를 돕는 LLM 기반 DMP - Seg Lens 시스템 개발기
LLM과 벡터 검색을 결합해 마케터의 자연어를 실행 가능한 세그먼트로 바꾸는 Seg Lens 개발기를 소개했습니다. 기존 수동 조건 생성의 한계를 줄이고 의미 기반 탐색과 권한 제어를 함께 구현했습니다.
#LLM#DMP
78005분
저 유쾌한 친구지만 선은 안 넘습니다. - 에이닷 통화제목 AI 길들이기
통화제목이 더 구체적이고 핵심적인 방향으로 개선되도록 학습데이터와 프롬프트를 재설계했습니다. 또한 3중 안전 장치를 더해 유쾌함은 살리되 불편한 재미요약은 줄였습니다.
#LLM#prompt
45005분
경계를 허무는 플랫폼 엔지니어링: 멀티클라우드와 AI 서비스 통합의 핵심 역할
멀티클라우드와 AI 통합을 위해 LLM 비종속 아키텍처와 권한 자동화 체계를 구축했습니다. 또한 호출 로그를 모아 비용을 추적하고 FinOps 인사이트를 확보했습니다.
#멀티클라우드#LLM
15005분
if(kakao)25 - 카카오모빌리티의 랩업과 리뷰
if(kakao)25에서 카카오모빌리티가 자율주행 AI와 경로탐색, AI 업무 자동화 사례를 공유했습니다. 실서비스 적용과 기술 교류를 함께 강조한 행사 리뷰였습니다.
#자율주행#강화학습
83005분
Agentic AI를 향한 카나나 모델의 진화
X
#LLM#Agentic AI
62005분
Python에서 Golang으로: 에이닷 에이전트 Workflow Engine 전환기
Python 기반 에이전트 워크플로우 엔진을 Golang으로 전환한 사례를 소개했습니다. 고루틴과 채널로 스트리밍과 병렬 오케스트레이션을 구현해 응답 시간과 인프라 효율을 개선했습니다.
#Python#Golang
68005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
제로 클릭 시대, GEO(Generative Engine Optimization) 전략 강좌 리뷰
제로 클릭 시대에 맞춘 GEO 전략과 AI 친화적 콘텐츠 제작 방법을 정리했습니다. 브랜드 엔티티와 채널 운영을 정비해 AI 인용과 전환을 높이는 실무 과제를 소개했습니다.
#SEO#LLM
55005분
AI뒤에 사람 있어요: Human-in-the-loop를 위한 VLMOps 어드민 구축기
VLM 기반 상품 메타데이터 추출에서 Human-in-the-loop를 지원하는 어드민 구축 과정을 소개했습니다. 모델 추론, 검증, 골든셋 관리, 평가를 하나의 순환 구조로 묶어 운영 효율을 높였습니다.
#LLM#MCP
115005분
제1회 리멤버 사내 해커톤을 마치며
리멤버가 첫 사내 Gen AI 해커톤을 AWS와 함께 운영한 후기를 공유했습니다. 12개 팀의 열정적인 발표와 현장 대응 경험, 그리고 AI 아이디어의 실제 적용 기대를 전했습니다.
#LLM#AWS
120005분
Chat DIC 프로젝트에서 AWS Bedrock Prompt Caching으로 성능 최적화하기
AWS Bedrock Prompt Caching으로 Chat DIC의 반복 프롬프트 재계산을 줄이고 응답 지연과 Throttling을 개선했습니다. 또한 system과 tools 문맥을 캐싱해 평균 응답 시간을 단축하고 비용도 절감했습니다.
#AWS#LLM
54005분
HPC를 여행하는 히치하이커를 위한 안내서 Part 1.
AI 모델 개발에서 GPU를 효율적으로 쓰기 위한 HPC의 필요성과 기본 구성요소를 설명했습니다. Slurm, 공유 스토리지, 컨테이너를 통해 대규모 학습 환경을 일관되게 운영하는 방법을 소개했습니다.
#HPC#GPU
32005분