엔진 브리핑 — 2026-10-06 (화, KST 정오 다이제스트)

10월 6일 정오 추론 엔진(inference engine, 학습된 모델을 실제로 돌려 답을 생성하는 실행 소프트웨어) 다이제스트 8개 항목의 요약 아카이브입니다. ⚠️ 아카이브 작성 시 원래 채팅에 실린 링크 원문을 그대로 확보하지 못해, 각 항목은 공식 릴리스 노트·저장소 등 1차 출처 링크로 기재했습니다. 다음 에이전트가 채팅 원본 링크를 확인하면 교체해도 됩니다.

1. Strata — 125B MoE를 게이밍 GPU 한 장에서 돌리는 로컬 엔진

• 원문: https://github.com/Niko1221/Strata (참고 기사: https://startupfortune.com/strata-lets-a-125-billion-parameter-model-run-on-a-gaming-gpu/)
• 분야: 엔진 · 로컬 추론
• 날짜: v0.1.38(10/3), v0.1.39(10/4)

미디어

출처: 참고 기사 페이지 (StartupFortune) — 원본 이미지 링크(복제 저장 아님)

요약

Strata는 알리바바 큐원 팀의 125B 파라미터 MoE 모델 Qwen3.8-Flash-Next 를 소비자용 GPU(12GB VRAM급) 한 장에서 돌리는 MIT 라이선스 오픈소스 엔진입니다. 기존 도구처럼 트랜스포머 층 전체를 GPU↔CPU로 옮기는 레이어 오프로딩(layer offloading) 대신, 자주 쓰이는 전문가(expert, MoE의 하위 네트워크) 만 GPU에 캐시하고 나머지는 시스템 RAM에 두고 CPU로 계산하며, 큰 n-gram 조회 테이블 은 SSD에 두고 토큰마다 몇 줄만 읽는 방식입니다. 양자화는 ISTA-DASLab의 GSQ-RCO를 활용합니다.

v0.1.39에서는 디코딩 속도 개선, 병렬 요청, 구형 GPU 지원, OpenAI Responses API 호환 엔드포인트(POST /v1/responses) 가 추가됐습니다. 다만 3비트급 양자화(quantization, 가중치 정밀도를 낮춰 메모리를 줄이는 압축) 팩을 쓰므로 공식 벤치마크 대비 품질 손실이 있고, 저장소의 급격한 인기·코드 중 에이전트 작성 비중에 대한 커뮤니티의 의문도 함께 제기되고 있습니다.

2. vLLM 0.31.0 + 보안 이슈(CVE-2026-105754)

• 원문: https://github.com/vllm-project/vllm/releases/tag/v0.31.0 · CVE: https://app.opencve.io/cve/CVE-2026-105754
• 분야: 엔진 · 서버 추론
• 날짜: 2026-10-05

미디어

출처: 원문 페이지 (GitHub 릴리스, 자동 생성 소셜 카드) — 원본 이미지 링크(복제 저장 아님)

요약

vLLM(대규모 LLM 서빙용 오픈소스 엔진) 0.31.0은 717개 커밋, 307명 기여로 나왔습니다. 핵심은 재시작 비용과 멀티테넌트 안전성입니다.

• vllm preload: 양자화된 가중치를 GPU 메모리에 상주시키는 가중치 캐시 데몬(daemon, 백그라운드 상주 프로세스) — 엔진을 재시작해도 모델 로딩을 다시 안 해서 빠르게 복귀.
• 실험적 엔진 스냅샷: vllm snapshot create/restore 로 CRIU(실행 중인 프로세스 상태를 저장·복원하는 리눅스 도구) 를 써서 초기화된 엔진을 통째로 복원.
• Model Runner V2 에 드래프트 모델 기반 추측 디코딩(speculative decoding, 작은 모델이 먼저 초안을 쓰고 큰 모델이 검증해 속도를 높이는 기법) 추가. DeepSeek-V4.1-Flash는 SM100(엔비디아 블랙웰 세대)에서 FlashMLA + NVFP4 압축 KV 캐시(이전 토큰 계산 결과 저장소) 가 기본값.
• 보안 강화: 요청마다 넣는 멀티모달 인자는 --trust-request-mm-kwargs 플래그 없이는 거부, LoRA 이름과 cache_salt 간 프리픽스 캐시 키 충돌 수정.
• 주의(호환성 깨짐): tokenizer_mode="slow" 제거, 온라인 FP8 방식 변경, 일부 플래그 이름 변경.

같은 날 공개된 CVE-2026-105754(CVSS 6.5, 중간)는 0.30.0 이전 버전의 분리형 스케일아웃(disaggregated scale-out, 프리필·디코드를 별도 서버로 나눈 구성) 경로에서 /inference/v1/generate 가 호출자가 보낸 멀티모달 텐서·캐시 해시를 검증 없이 받아, 엔진 종료(서비스 거부)나 다른 요청의 인코더 캐시 오염·조회가 가능했던 문제입니다. 0.30.0에서 수정되었으므로 0.31.0 사용자는 영향 없음 — 구버전 운영 중이라면 업그레이드가 권장됩니다.

3. llama.cpp v0.6.0

• 원문: https://github.com/ggml-org/llama.cpp/releases/tag/v0.6.0
• 분야: 엔진 · 로컬 추론(C/C++)
• 날짜: 2026-10-05

미디어

출처: 원문 페이지 (GitHub 릴리스, 자동 생성 소셜 카드) — 원본 이미지 링크(복제 저장 아님)

요약

v0.5.0(9/23) 이후 첫 안정 태그입니다.

• 신규 모델: GLM-5.3-Flash(320B 텍스트+비전 하이브리드 MoE), Cloudflare의 Clef 결정 모델(아래 6번), Ling 3.0 VL, LFM2.5 인코더.
• llama_batch_ext / llama_process() API: 한 배치에 토큰과 임베딩(embedding, 데이터를 숫자 벡터로 표현한 것) 을 섞어 넣고, MTP·deepstack 모델용 상태 임베딩도 전달. 서버·멀티모달·추측 디코딩이 이 API로 이전.
• 속도: Qwen4Exp MTP(Multi-Token Prediction, 한 번에 여러 토큰을 예측) 추측 디코딩으로 DGX Spark에서 디코드 약 1.5배, 애플 Metal(애플 GPU API) 에서 few-row 행렬곱 커널로 최대 약 3배(추측·배치 디코딩).
• 서버: 결정 모델용 /v1/systemone 엔드포인트, /v1/models 에 모달리티 표시.
• 주의: 세션/상태 파일 포맷 버전 상승 → 저장된 세션은 재생성 필요. ggml은 v0.26.0.

4. SGLang v0.5.21

• 원문: https://github.com/sgl-project/sglang/releases/tag/v0.5.21
• 분야: 엔진 · 서버 추론
• 날짜: 2026-10-02 (KST)

미디어

출처: 원문 페이지 (GitHub 릴리스, 자동 생성 소셜 카드) — 원본 이미지 링크(복제 저장 아님)

요약

779개 PR, 227명 기여. PD 분리(Prefill/Decode disaggregation, 입력 처리 단계와 토큰 생성 단계를 다른 인스턴스로 나누는 구성) 인스턴스가 재시작 없이 역할을 실시간 전환할 수 있게 됐고, 프리픽스 캐시(prefix cache, 공통 프롬프트 앞부분 계산 결과 재사용) 가 기본적으로 Rust 코어로 동작합니다. DeepSeek-V4.1 긴 프롬프트 첫 토큰 22% 단축, Kimi K3 PD 서빙 프리필 처리량 20.6% 향상, AMD MI355X에서 GLM-5.3-Flash 지원.

새 Decisions API(/v1/decisions) 는 LLM/VLM을 저지연 분류기·채점기로 쓰게 해주고, Score API(/v1/score) 는 여러 후보를 한 요청에서 점수화합니다. 레거시 radix-cache API 제거, 요청에 포함된 chat template 거부 등 호환성 변경 이 있어 업그레이드 전 확인이 필요합니다.

5. Ollama v0.40.0 RC — 애플 실리콘에서 MLX 기본 실행

• 원문: https://github.com/ollama/ollama/releases/tag/v0.40.0-rc3
• 분야: 엔진 · 로컬 추론(맥)
• 날짜: 10월 초 RC(릴리스 후보)

미디어

출처: 원문 페이지 (GitHub, 자동 생성 소셜 카드) — 원본 이미지 링크(복제 저장 아님)

요약

Ollama 0.40.0 RC(Release Candidate, 정식 출시 전 후보판) 부터 애플 실리콘 맥에서 MLX(애플이 만든 머신러닝 프레임워크, 맥의 통합 메모리에 최적화) 런타임이 지원하는 모델 구조는 자동으로 MLX에서 실행됩니다. qwen3.8, gemma4, qwen3.6, qwen3.5 등이 대상이며, 결정 모델 Nimble, tev1, clef, clef-flash도 MLX로 돌아갑니다. 아직 프리릴리스이며 지원 모델은 계속 늘릴 예정입니다.

6. 결정 모델(Decision Model) API 확산 — Clef / Nimble / System One

• 원문: https://blog.cloudflare.com/clef-decision-models/
• 분야: 엔진 · API 표준 동향
• 날짜: 10월 첫째 주

미디어

출처: 원문 페이지 (Cloudflare 블로그) — 원본 이미지 링크(복제 저장 아님)

요약

결정 모델(decision model) 은 자유 문장을 생성하는 대신 “상태(state) + 유형이 정해진 질문들”을 받아 각 질문에 대한 답과 확률 을 빠르게 돌려주는, 분류·판정 특화 모델입니다(예: “이 티켓이 긴급한가?”). Cloudflare가 오픈소스 결정 모델 Clef(빠른 9B 버전 Clef-flash 포함)를 Workers AI에 공개한 데 이어, 엔진들이 일제히 대응 API를 붙였습니다:

• llama.cpp: /v1/systemone (System One 결정 API 형식)
• SGLang: /v1/decisions, /v1/score
• Ollama: Nimble·Clef 등 결정 모델 지원(로컬 /v1/systemone), MLX에서도 실행

에이전트가 매 단계 “어떤 도구를 쓸지/승인할지” 같은 판단을 저렴·저지연으로 처리하려는 수요가 반영된 흐름입니다.

7. KoboldCpp — 내장 에이전트 모드(KoboldCpp Agent)

• 원문: https://github.com/LostRuins/koboldcpp/releases
• 분야: 엔진 · 로컬 추론/에이전트
• 날짜: v1.122(9/26) 및 핫픽스 v1.122.1

미디어

출처: 원문 페이지 (GitHub, 자동 생성 소셜 카드) — 원본 이미지 링크(복제 저장 아님)

요약

llama.cpp 기반 올인원 로컬 실행기 KoboldCpp 에 가벼운 에이전트 하네스(agent harness, 모델이 도구를 써서 작업을 수행하게 해주는 실행 틀) 가 내장됐습니다. 9개 기본 도구, MCP(Model Context Protocol, AI가 외부 도구·데이터에 접속하는 표준 규약) 지원, AGENTS.md 인식, 컨텍스트 압축(context compaction, 대화가 길어지면 요약해 공간을 확보), OpenAI 호환 백엔드 연결을 제공합니다. GUI Admin 탭 또는 --agent 옵션으로 켜며, 권장 사양은 컨텍스트 28K 이상·생성 8K·VRAM 12GB입니다.

8. vllm-metal — 맥(애플 실리콘)용 vLLM 플러그인

• 원문: https://github.com/vllm-project/vllm-metal/releases
• 분야: 엔진 · 로컬 추론(맥)
• 날짜: v0.30.0 안정판(9/23), 10월 dev 프리릴리스 진행 중

미디어

출처: 원문 페이지 (GitHub, 자동 생성 소셜 카드) — 원본 이미지 링크(복제 저장 아님)

요약

vllm-metal 은 vLLM을 애플 실리콘에서 MLX 기반으로 돌리는 공식 프로젝트로, 맥에서도 여러 요청을 동시에 처리하는 동시 서빙(concurrent serving) 을 지원합니다. 현재 안정판 v0.30.0은 vLLM 코어 v0.30.0을 따라가며 macOS 15+, 네이티브 arm64 Python 3.12, MLX 0.32.1 고정 등을 요구합니다. 10월에도 개발용 프리릴리스(dev 빌드)가 계속 나오고 있어 vLLM 0.31 추종 여부를 지켜볼 만합니다.