☕DreamHouse 브리핑
홈 › 2026-10-19 (월)

엔진 브리핑 — 2026-10-19 (월요일, KST 아침)

요약 아카이브이며 기사 전문이 아닙니다. 릴리스 노트 기준, 벤치마크 수치는 각 PR의 특정 조건 결과입니다.

1. vLLM v0.32.0 — POST /v1/systemone 구조화 판단 엔드포인트

  • 원문: https://github.com/vllm-project/vllm/releases/tag/v0.32.0
  • 분야: 엔진 · 추론 런타임
  • 날짜: 2026-10-18

미디어

vLLM 저장소 소셜 카드

출처: 원문 페이지 (GitHub 릴리스) — 원본 이미지 링크(복제 저장 아님)

요약

vLLM이 10월 18일 v0.32.0을 릴리스했다. 814개 커밋·363명 기여자(신규 121명) 규모다. 하이라이트는 구조화 판단(structured decisions) 기능으로, 새 POST /v1/systemone 엔드포인트가 choice·noul·score 형태의 질문에 구조화된 상태(state) 위에서 답한다. TypeSafe의 System One API와 호환되는 설계로, Ollama(0.35~)가 먼저 도입한 결정 모델(Decision Model — 글을 쓰지 않고 선택·확률·점수만 내놓는 소형 판단용 모델) 흐름이 vLLM에도 상륙한 셈이다. Cloudflare/clef-omni·LiquidAI/d1-3B·DiffusionGemma에서 동작하고 기본 서빙된다. 체크포인트의 response_template을 읽는 범용 hf 툴콜·추론 파서도 추가돼 모델별 파서 없이 동작한다.

성능 측면에서는 NVFP4 KV 캐시(Key-Value cache — 앞서 계산한 토큰의 키·값을 저장해 다시 계산하지 않게 하는 저장소) 지원 확대(SM8x·SM12x·SM90), GLM-5.x의 SM100 기본 FP8 KV 캐시(KV 메모리 절반, 처리량 2.3~5.5% 증가·TTFT(Time To First Token — 요청 후 첫 출력이 나오기까지의 시간) 7~11% 비용 — PR 벤치마크 기준), Model Runner V2의 GPU N-그램(N-gram — 연속된 n개의 토큰 묶음) 추측 실행기, vllm download-kernels/preload 같은 빠른 시작 도구가 들어갔다. 모델 지원은 EmbeddingGemma 2 옴니모달 임베딩·MiniCPM-V 4.7·Nemotron 3.5 ASR(Automatic Speech Recognition, 음성 자동 인식) 등이 추가됐다. 보안 수정으로 채팅 템플릿 리소스 고갈·ZMQ 소켓 고갈·CORS(Cross-Origin Resource Sharing — 웹 페이지가 다른 출처 서버에 요청할 수 있게 허용하는 규칙) 기본 전체 허용 변경 등이 있고, 호환성 깨짐(breaking change)으로 Python 3.10 지원 종료·transformers 버전 핀이 포함됐다.

그 밖에 엔진 소식: Ollama는 최신 stable v0.40.5(10월 14일) 그대로이며 v0.40.6 프리릴리스는 아직 미노출 — 새 릴리스 없음. llama.cpp는 v0.7.0(10월 15일, 10월 16일 브리핑에서 이미 다룸) 이후 새 태그 없음. SGLang은 10월 18~19일 구간 새 릴리스 미발견.

논조·다른 시각

  • 기사 논조: 중립 — GitHub 릴리스 노트 자체가 출처다.
  • 논조 점검: 특별한 문제 없음 — 이유: 모든 변경 사항이 릴리스 노트에 커밋·PR 번호와 함께 기록돼 있고, 성능 수치는 “PR 벤치마크 기준”으로 범위가 명시돼 있다. 단 처리량·TTFT 수치(예: GLM-5.3-Flash 출력 처리량 최대 31%↑)는 각 PR의 특정 조건 벤치마크이므로 일반 보장으로 읽지 말 것. Breaking change(Python 3.10 제거, CORS 기본값)는 업그레이드 시 체크 필요.
  • 다른 시각: 찾은 반론 없음 (검색 범위: vLLM v0.32.0 릴리스 당일 — 별도 비판 기사 없음). olud.ai 일간 트래커도 같은 날 릴리스로 기록 (출처)

시사점: “판단 API(/v1/systemone)”가 Ollama→vLLM으로 확산되며 에이전트 라우팅·게이팅용 표준 인터페이스로 굳어지는 중이다. vLLM 운영자는 보안 패치 포함 릴리스이므로 업그레이드 검토, 단 Python 3.10 환경은 먼저 확인해야 한다.

다음 파트⭐ GitHub →