엔진 브리핑 — 2026-10-14 (수, KST 아침)

10월 14일(수) 아침 브리핑으로 전달된 LLM(Large Language Model, 대규모 언어 모델) 추론 런타임·엔진 소식 요약 아카이브입니다. 13일(KST) 오전~14일 새벽 사이 릴리스를 모았습니다. Ollama·vLLM·SGLang은 이 기간 새 정식 릴리스가 없었고, 엔진 관련 신규 CVE(Common Vulnerabilities and Exposures, 공개 취약점 식별 번호) 공지도 확인되지 않았습니다. 기사 전문이 아니라 요약이며, 자세한 내용은 각 릴리스 링크를 확인하세요.

1. Strata 0.1.44 — 맥(Apple Silicon) 실험 지원, Qwen3.6-35B-A3B·NVFP4 팩 추가… 단 M2 등 일부 맥은 ‘엉뚱한 답’ 알려진 버그

• 원문: https://github.com/Niko1221/Strata/releases/tag/v0.1.44
• 분야: 엔진 · Strata
• 날짜: 2026-10-13 (UTC 19:26 = 한국 시각 14일 04:26)

미디어

출처: GitHub Releases (Niko1221/Strata) — 원본 이미지 링크(복제 저장 아님)

요약

1,250억 파라미터급 MoE(Mixture of Experts, 전문가 혼합 — 일부 하위 네트워크만 골라 계산하는 구조) 모델 Qwen3.8-Flash-Next를 일반 게이밍 PC에서 돌리게 해 주는 오픈소스(MIT 라이선스) 추론 엔진 Strata 가 0.1.44를 냈습니다. 9월 24일 만들어진 저장소인데 별이 2만 3천 개를 넘고 열린 이슈가 683개일 만큼 빠르게 크는 프로젝트입니다. 이번 판의 가장 큰 변화는 맥(M1~M5, macOS 15 이상) 실험 지원입니다. ./setup.sh 를 돌리면 맥에서 직접 Metal 엔진을 빌드(약 7분)하고 모델을 받아 서버를 띄웁니다. 개발자 측정으로 M5 Max 128GB에서 같은 GGUF(llama.cpp 계열의 모델 파일 형식) 파일 기준 llama.cpp Metal보다 MTP(Multi-Token Prediction, 한 번에 여러 토큰을 미리 예측해 생성을 빠르게 하는 기법) 포함 생성 속도 1.6~1.9배, 프롬프트 처리 1.5~1.6배가 나왔다고 합니다. 다만 한 번에 요청 1개, 측정된 컨텍스트 32K까지, 테스트한 맥은 두 대뿐입니다.

모델·형식 쪽으로는 Unsloth의 UD-Q4_K_XL·Q5·Q6와 Q8_0 양자화(모델 숫자를 낮은 비트로 줄여 메모리를 아끼는 기법) 파일이 설치 메뉴의 정식 선택지가 됐고, 엔비디아 RTX 50 시리즈의 FP4 텐서 코어를 쓰는 NVFP4(NVIDIA 4-bit Floating Point, 엔비디아의 4비트 부동소수점 형식) 팩, 그리고 Qwen3.6-35B-A3B(자체 MTP 블록으로 추측 디코딩)가 추가됐습니다. 품질은 Q8_0 대비 ‘첫 번째 예측 토큰이 같은 비율’로 공개했는데 UD-Q6_K_XL 94.6%, UD-Q4_K_XL 93.1%, NVFP4 92.1%, UD-IQ4_XS 88.9% 순입니다. AMD RDNA4 멀티 GPU와 인텔 Arc A 시리즈 속도 개선(A750 생성 11.8→14.5 tok/s 등), 긴 대화에서 그림이 들어가면 캐시를 잃던 버그(#2228) 수정, 메시지 안의 <tool_call> 같은 글자를 도구 호출로 오인하지 않게 한 수정(#2026)도 들어갔습니다. 이미지 생성 API(POST /v1/images/generations)는 미리보기로 기본 꺼져 있습니다.

주의할 점은 릴리스 노트 맨 위의 알려진 문제입니다. M4·M5가 아닌 맥(M2 Max에서 보고)에서는 Metal 커널 하나가 칩 한도보다 많은 스레드를 요구해 조용히 건너뛰는 바람에 답이 엉망으로 나올 수 있고(#2323), 리눅스에서 CUDA 12.1로 소스 빌드가 실패하며(#2322), AVX2가 없는 CPU의 Quadro P6000 등 구형 Pascal 카드에서는 엔진이 시작 단계에서 멈출 수 있습니다(#2324). 세 가지 모두 다음 0.1.44.1에서 고칠 예정이라 해당 환경은 기다리거나 0.1.43.1에 머물라고 안내합니다. 또 RDNA4와 Unsloth 파일에서는 일부 기본값이 바뀌어 0.1.43.1과 답이 미세하게 다를 수 있습니다(각각 환경 변수로 되돌리기 가능).

논조·다른 시각

• 기사 논조: 중립 — 개발자 릴리스 노트로, 성능 수치와 함께 알려진 버그·미지원 범위를 맨 위에 솔직히 적었습니다.
• 논조 점검: llama.cpp보다 빠르다는 비교는 모두 개발자 자체 측정(특정 카드·특정 파일)입니다. ‘맥 지원’은 실험 단계이고 Qwen3.6·Swift·Coder 모델은 맥에서 아직 안 됩니다. 생긴 지 3주 남짓한 저장소에 열린 이슈가 683개라 아직 성숙도는 낮게 봐야 합니다.
• 다른 시각:
  • 커뮤니티(HN, 10/4): Strata 첫 대형 소개 글(‘RTX 4090에서 Qwen 3.8 Flash Next를 초당 100토큰’)이 936점·댓글 420개로 크게 주목받은 바 있어, 이번 맥 지원도 같은 관심을 받을 가능성이 큽니다 (HN).
  • 찾은 반론 없음 (검색 범위: 0.1.44 관련 HN·외부 리뷰 — 배포 몇 시간 뒤라 독립 벤치마크는 아직 없음).

시사점: M4·M5 맥이나 RTX 50 시리즈라면 시험해 볼 만하지만, M1~M3 맥·구형 Pascal 카드·CUDA 12.1 리눅스 빌드는 0.1.44.1을 기다리는 게 안전합니다.

2. llama.cpp b11580~b11606 — Qwen3.8 Flash Next 이미지 입력+MTP 수정, Arm SME2 양자화 행렬곱, CUDA 그래프 디버그 스위치

• 원문: https://github.com/ggml-org/llama.cpp/releases/tag/b11588
• 분야: 엔진 · llama.cpp
• 날짜: 2026-10-13 (UTC 04:02~22:35 = 한국 시각 13일 13:02 ~ 14일 07:35)

미디어

출처: GitHub Releases (ggml-org/llama.cpp) — 원본 이미지 링크(복제 저장 아님)

요약

로컬 LLM 실행 엔진 llama.cpp 는 13일(UTC) 하루 동안 b11580부터 b11606까지 프리릴리스 빌드를 연달아 냈습니다. 사용자 입장에서 가장 눈에 띄는 건 b11588(PR #30397)입니다. Qwen3.8 Flash Next 모델을 이미지 입력(mmproj)과 MTP 추측 디코딩(--spec-type draft-mtp)을 함께 켜고 llama-server 로 돌릴 때 실패하던 문제(#30307)를 고쳐, 이제 이미지 요청 → 텍스트 요청 → 같은 이미지 재요청이 정상 동작합니다. 앞선 #30257의 후속이며, PR 작성자는 관련 버그 맥락을 찾는 데 Codex를 썼다고 밝혔습니다.

하드웨어 쪽으로는 Arm의 KleidiAI 라이브러리에 SME2(Scalable Matrix Extension 2, Arm CPU의 행렬 연산 전용 확장 명령어) 용 Q4_K·Q6_K 행렬곱이 추가됐고(b11604, #29219), CUDA에서는 그래프 디버그 로그를 GGML_CUDA_GRAPH_DEBUG 환경 변수로만 켜고 환경 변수를 한 번만 읽게 정리했습니다(b11592, #30327). Vulkan은 여러 GPU가 GPU에서 보이는 호스트 메모리를 함께 쓰게 했고(b11594) 큰 풀링 창의 pool_2d를 최적화했습니다(b11603). 퀄컴 Hexagon NPU 쪽에는 HTP 전력 모드 설정(b11601)과 스칼라 DMA 브로드캐스트 확장(b11580), IBM 메인프레임용 zDNN 백엔드에는 Q8_0 행렬곱 시제품(b11582)이 들어왔습니다.

그래프·모델 처리에서는 풀링 임베딩에서 마지막 출력층(LM head)을 건너뛰어 임베딩 계산을 줄이고(b11597), 캐시 없는 경로의 재할당을 피하며(b11583), T5 계열의 상대 위치 편향 패딩을 맞추고(b11600), laguna 모델의 YaRN(Yet another RoPE extensioN, 위치 인코딩을 늘려 더 긴 문맥을 다루게 하는 기법) 메타데이터를 읽게 했습니다(b11598). 메모리 영역이 재할당될 때 하위 그래프를 모두 다시 만드는 수정(b11602)도 있었습니다.

논조·다른 시각

• 기사 논조: 중립 — 릴리스 노트·PR 제목 기반의 사실 나열입니다.
• 논조 점검: 모두 프리릴리스 연속 빌드라 하루 사이에도 깨짐·수정이 반복될 수 있습니다. 성능 수치는 릴리스 노트에 없고, 이 기간 llama.cpp 관련 신규 CVE 공지는 확인되지 않았습니다. 10/12에 안내한 llama-server 기본 포트 9931 변경(b11521)을 되돌리는 빌드는 이번 목록에 없습니다.
• 다른 시각:
  • 경쟁 엔진(Strata 0.1.44 릴리스 노트): 같은 GGUF 파일 기준으로 맥 M5 Max에서 llama.cpp Metal 대비 생성 1.6~1.9배, AMD Radeon AI PRO R9700에서 Qwen3.6-35B-A3B 4K 프롬프트 3,466 대 3,054 tok/s(생성 83 대 82)라고 주장했습니다 — 개발자 자체 측정이지만 MoE 특화 엔진이 범용 엔진을 추격하는 흐름입니다 (Strata v0.1.44).
  • 찾은 반론 없음 (검색 범위: b11580–b11606 관련 외부 보안·성능 보도).

시사점: Qwen3.8 Flash Next를 이미지+MTP로 서버에 올려 쓰던 사람은 b11588 이상으로 올리면 됩니다. Arm 최신 CPU(SME2) 사용자도 b11604부터 양자화 모델 속도 개선을 기대할 수 있습니다.