☕DreamHouse 브리핑
홈 › 2026-10-16 (금)

엔진 브리핑 — 2026-10-16 (금, KST 아침)

10월 16일(금) 아침 브리핑으로 전달된 LLM(Large Language Model, 대규모 언어 모델) 추론 런타임 소식 요약입니다. llama.cpp v0.7.0 정식 태그와, DGX Station용 추론 엔진 Actual Computer e의 Nemotron 사례를 모았습니다. 전날(15일) 다룬 Ollama v0.40.5-rc0·llama.cpp b11607~b11624와 겹치지 않는 이후분만 적습니다.

1. llama.cpp v0.7.0 — MoE 전문가 GPU 캐시(최대 ~2.2×), LiliCorr 추측 디코딩, Nemotron·결정 모델 대거 지원

  • 원문: https://github.com/ggml-org/llama.cpp/releases/tag/v0.7.0
  • 분야: 엔진 · llama.cpp
  • 날짜: 2026-10-15 (UTC 17:13 ≈ KST 10/16 02:13)

미디어

llama.cpp v0.7.0 GitHub release Open Graph

출처: GitHub Releases Open Graph — 원본 이미지 링크(복제 저장 아님)

요약

ggml-org/llama.cpp가 v0.7.0을 15일(UTC) 정식 태그로 올렸습니다. 하이라이트는 호스트 메모리에 둔 MoE(Mixture of Experts, 전문가 혼합) 전문가를 GPU LRU(Least Recently Used, 가장 오래 안 쓴 것부터 버리는) 캐시로 올리는 --moe-cache-mib(전문가 오프로드 시 디코드 최대 약 2.2배, 멀티 GPU 공유 #30112), LiliCorr 추측 디코딩(#30506), GLM5-Next용 MTP(Multi-Token Prediction, 한 번에 여러 토큰을 예측하는 기법) 경로(#29928)입니다. ggml는 v0.27.0으로 올랐습니다.

신규 모델 지원으로는 K2 Horizon(dense·MoVA), Prism Bonsai 2 27B, EmbeddingGemma-2(텍스트+비전+오디오), LiquidAI d1/d1-omni, vLLM decision 2/d3, pplx-decider, MiniCPM-V 4.7, Nemotron Super 3.5 VL / Nemotron Bolt, maion-coder 등이 나열됐습니다. 서버는 common_chat_session 기반 채팅 API 개편, 슬롯·프롬프트 캐시 복원 개선, 기본 포트 9931(기존 8080에서 변경, Docker 이미지는 컨테이너 내부 8080 유지)을 포함합니다. 같은 날 b11639~b11669 프리릴리스도 이어졌으나, 메이저 발표 단위는 v0.7.0입니다.

논조·다른 시각

  • 기사 논조: 중립 — 릴리스 노트·엔지니어링 변경 로그입니다.
  • 논조 점검: 특별한 문제 없음 — 1차 출처가 GitHub 릴리스입니다. ‘최대 2.2×’는 전문가 오프로드라는 특정 조건의 측정치이며 모든 모델·하드웨어에 적용되지 않습니다. 기본 포트 변경은 기존 8080 스크립트를 깨뜨릴 수 있어 업그레이드 시 확인이 필요합니다.
  • 다른 시각:
    • 찾은 반론 없음 (검색 범위: ggml-org/llama.cpp releases v0.7.0 — 당일 별도 비판 기사 없음).
    • 예상 쟁점: Nemotron day-0 지원이 Ollama·vLLM 등과 동시에 열리면서, 런타임별 양자화·툴콜 호환 차이가 사용자 이슈로 먼저 드러날 수 있습니다.

시사점: 야간 빌드(b11xxx)로 쌓이던 MoE 캐시·결정 모델·Nemotron 지원이 0.7.0으로 묶인 날입니다. 포트 9931·채팅 세션 API 변경은 서버 배포 체크리스트에 넣는 편이 안전합니다.

2. Actual Computer 엔진 e — DGX Station에서 Nemotron 3.5 Super VL 단일 455 tok/s·256스트림 1만+ tok/s 주장

  • 원문: https://actual.inc/company/blog/case-study-dgx-station-and-nemotron-3-5-super-vl
  • 분야: 엔진 · 추론 런타임/로컬
  • 날짜: 2026-10-15 (회사 블로그)

미디어

Actual Computer e × Nemotron 3.5 Super VL case study

출처: 원문 페이지 (Actual Computer) — 원본 이미지 링크(복제 저장 아님)

요약

Actual Computer가 자사 추론 엔진 e로 NVIDIA DGX Station에서 Nemotron 3.5 Super VL을 서빙한 사례를 공개했습니다. 회사 측정(예비치)으로는 단일 스트림 455 tokens/s, 128스트림에서 8,000+ tokens/s, 256스트림에서 10,000+ tokens/s, 8K 프롬프트 첫 토큰 0.58초이며, FP8 가중치·MTP 켜짐·100만 컨텍스트 설정이라고 적었습니다. HTTP 서빙 경로는 1~128스트림에서 벤치 대비 약 5% 이내라고 합니다. api.actual.inc 릴레이는 confidential compute로 요청·응답을 Actual 측에서도 보지 못하게 한다고 주장합니다.

비용 비교는 회사 가정입니다. 8,000+ tok/s면 하루 출력 약 6.91억 토큰이고, GPT-6 Luna 출력 정가 $0.50/M으로 환산하면 월 약 $10,368에 해당한다는 식으로 ‘소유 하드웨어 vs 호스팅’을 대비했고, 전력은 1.6 kW·미국 상업용 평균 요금 기준 월 약 $163이라고 적었습니다. 설치는 원커맨드 후 기기 인증 링크를 안내합니다.

논조·다른 시각

  • 기사 논조: 긍정 — 자사 케이스 스터디·판매 문서에 가깝습니다.
  • 논조 점검: 수치·비용 환산·vLLM 대비 우월 주장(X 등 2차 요약에 등장)은 회사 벤치·가정입니다. 독립 재현·동일 하드웨어 공정 비교는 공개되지 않았습니다. Nemotron 출시와 같은 날 나와 교차 홍보 성격이 있습니다.
  • 다른 시각:
    • 찾은 반론 없음 (검색 범위: Actual Computer 블로그·AGI Hunt 2차 요약 — 독립 벤치마크 반박 미발견).
    • 예상 쟁점: ‘에이전트 스웜을 로컬로’는 매력적이나, DGX Station 도입비·운영·모델 라이선스가 월 클라우드 토큰비와 직접 비교되기 어렵습니다.

시사점: Nemotron 3.5 공개와 맞춘 로컬 고동시성 추론 엔진 마케팅입니다. 숫자는 회사 예비치로 읽고, 필요하면 동일 모델·양자화로 vLLM/SGLang과 직접 비교하는 편이 안전합니다.

다음 파트⭐ GitHub →