Qwen3.8-Flash-Next는 README 기준 105GB짜리 MoE(전문가 혼합) 모델인데, Slotstream은 공유 가중치만 메모리에 두고 필요한 전문가를 SSD에서 읽어 와 캐시한다. 개발자의 48GB M5 Pro에서 워밍업 후 13.47 tok/s를 측정했고(0.2.16 사전 릴리스 벤치마크), 16GB M2 Mac mini 커뮤니티 보고는 1.41 tok/s였다. 한 번 내려받으면 오프라인으로 동작하고 Python이나 클라우드 계정이 필요 없다.
이걸로 무엇을 만들 수 있나
OpenAI·Ollama 호환 API에 Open WebUI 같은 채팅 앱이나 Hermes·fx 같은 에이전트를 붙이면, 인터넷 없이 문서·이미지 질문에 답하는 개인용 AI 서버를 맥 한 대로 만들 수 있다. Swift 라이브러리로 맥 앱에 직접 내장하는 길도 있다.
누구에게 맞나
애플 실리콘 맥 사용자
대형 모델을 클라우드 계정 없이 로컬 실행
개인정보에 민감한 사용자
문서·이미지 질문을 기기 안에서 처리
로컬 LLM 개발자
MLX+Swift로 만든 MoE 전문가 스트리밍 구현 참고
5분 안에 시작하기
# curl -fsSL https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | sh# slotstream doctor# slotstream run --prompt "Why is the sky blue?"
주의할 점
MIT(코드). 모델 가중치는 별도의 Qwen 커뮤니티 라이선스를 따른다.
애플 실리콘 맥 + 메모리 16GB 이상 + macOS 14 이상 + 여유 SSD 약 110GB 필수. 8GB 맥은 시작을 거부하고 Windows·Linux·인텔 맥은 미지원.
모델 다운로드는 수 시간 걸릴 수 있고, 긴 프롬프트는 첫 응답까지 수 분이 걸리며 한 번에 하나의 생성만 처리한다.
