자동 생성 — 편집 전 · 숫자만 확인된 페이지입니다
- TESIGN / RADAR
- 저장소 카드
- makazhanalpamys/soup
makazhanalpamys/soup
Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.
순위 급상승 30d 90위
한눈에 보는 사실
- 언어
- Python
- 라이선스
- Apache-2.0
- 사용 범위
- 상업 이용·수정·재배포 가능. 고지 유지, 바꾼 부분은 표시.
- 활동
- 마지막 커밋 3일 전 ()
- 토픽
- cli
- consumer-gpu
- dpo
- fine-tuning
- gguf
- huggingface
- llm
- llmops
- local-ai
- local-llm
- lora
- low-vram
- 홈페이지
- https://trysoup.dev
- 저장소
- GitHub ↗
- 분류
- AI
요약이며 법적 조언이 아닙니다.
README 발췌
🌍 English Türkçe Soup Fine-tune and post-train LLMs in one command. No SSH, no config hell. Website · Quick Start · Web UI · Config · Docs · Commands · Models · Discord · Telegram · Product Hunt --- Soup turns the pain of LLM fine-tuning into a simple workflow. One config, one command, done. Fine-tune an 8B model on a 4 GB laptop GPU. Layer streaming keeps the frozen base out of VRAM and feeds it to the GPU one decoder layer at a time. Measured on an RTX 3050 Laptop 4 GB: Llama-3.1-8B-Instruct + NF4 at 119.6 tok/s, 3.32 GB peak — bit-exact against a normal resident run, and reproduced independently on an H100 at 113.00 tok/s in the same 3.32 GB. (The tok/s figure was measured on v0.72.2, before the v0.73.0 correctness repair that cost −4.8% at 32B; it has not been re-run on a 4 GB card since.) Opt-in ( stream layers: true ) and still BETA — how it works · all measurements · paper · check it yourself on a free Colab T4 (caps the process to 4 GB, then asserts a streamed model is bit-identical to a normal one) Llama-3.1-8B-Instruct + NF4, LoRA, batch 1, seq 512 on an RTX 3050 Laptop 4 GB — 3.32 GB peak, 119.6 tok/s . Full…
GitHub README의 앞부분을 저장된 그대로 최대 1,200자까지 옮겼습니다. 마크다운 서식은 표시하지 않습니다.
타임라인
- 저장소 생성
- TESIGN이 처음 본 시각 ◌ 과거 기록
- 마지막 push
목록은 운영자의 위임을 받아 AI가 고릅니다. 2026년 9월에는 사람이 직접 검수하지 않습니다. 별 총합·증가량·교차 출처·마지막 업데이트·라이선스를 판단 근거로 보여줍니다. 순위 계산 방법 →
이 저장소에 편집 문구(왜·빌드·누가·시작·주의)가 붙으면 정식 항목으로 승격됩니다. 그때까지는 저장된 GitHub 메타데이터와 숫자만 보여줍니다.