Qwen3 의 Hybrid thinking mode

AI

Qwen3 의 Hybrid thinking mode

데보션

데보션2025년 5월 9일

두줄요약

Qwen3의 Hybrid Thinking mode를 소개하고, 추론 On/Off를 제어하는 두 가지 방식을 설명했습니다. `/think`·`/no_think`와 `enable_thinking`의 동작 차이도 정리했습니다.

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...

AI

#LLM #NLP #Huggingface #PyTorch #Transformer

2025년 5월 9일 0 71

관련 추천 글

Think-fusion 의 여러가지 방식 (feat. DeepSeek-V3.1, GPT-5)

2025년 LLM의 Reasoning 흐름 속에서 Think-fusion의 구현 방식과 한계를 정리했습니다. GPT-5와 Qwen3 사례를 통해 모델 분리의 필요성과 효율성도 함께 살펴봤습니다.

데보션

LLM Knowledge Distillation 훑어보기 - part 1

LLM 지식 증류의 개념과 주요 방법론을 정리한 글입니다. Teacher 모델의 지식을 Student 모델에 이전하는 방식과 구현 접근을 소개했습니다.

데보션

LLM Knowledge Distillation 훑어보기 - part 2

지식 증류가 student 성능 개선뿐 아니라 LLM 추론 속도 향상에도 활용된다는 점을 정리했습니다. speculative decoding과 SKD 같은 최신 방법으로 성능과 효율을 함께 높이는 흐름을 설명했습니다.

데보션

Open Thoughts - 추론 모델을 위한 데이터 레시피

추론 모델 학습용 데이터 레시피를 실험 중심으로 정리한 글입니다. 어려운 질문 선별, 다중 답변 생성, 데이터 확장이 성능 향상에 중요하다고 설명했습니다.

데보션

Hugging Face API로 배우는 GPU 친화적 모델 학습

Hugging Face API를 활용해 GPU에서 딥러닝 모델을 학습하는 흐름과 메모리 사용 구조를 설명했습니다. 또한 Gradient Accumulation, Checkpointing, LoRA, QLoRA로 메모리를 줄이는 방법을 소개했습니다.

AIAI 관련 글

데보션