스펙핏 — 내 조건에 맞는 스펙
내 그래픽카드로 어떤 크기의 AI 모델이 돌아가는지 30초면 확인됩니다.
여유 쓸 수 있습니다
RTX 5060 Ti 16GB로 12~14B 모델은 무리 없습니다. 지금 카드를 그대로 쓰시면 됩니다.지금 카드로는 12~14B까지입니다. 더 큰 20~22B 모델까지 돌리려면 RTX 5090(메모리 32GB) 이상이 필요합니다.
이 길이에서는 대부분이 모델 가중치입니다. 짧게 써도 크게 안 줄어듭니다.
필요 10.6GB = 가중치 8.8 + 컨텍스트 0.8 + 여유 1.0 내 카드 16GB
다른 크기도 함께 보기
| 모델 크기 | 필요 메모리 | 내 카드에서 |
|---|---|---|
| 3B Llama 3.2 3B, Qwen 3B |
3.3GB 가중치 1.9 · 컨텍스트 0.4 |
여유 전부 그래픽카드 메모리에 올라감 |
| 7~8B Llama 3.1 8B, Qwen 7B |
6.5GB 가중치 5.0 · 컨텍스트 0.5 |
여유 전부 그래픽카드 메모리에 올라감 |
| 12~14B Qwen 14B, Gemma 12B |
10.6GB 가중치 8.8 · 컨텍스트 0.8 |
여유 전부 그래픽카드 메모리에 올라감 |
| 20~22B Mistral Small |
15.7GB 가중치 13.9 · 컨텍스트 0.9 |
빠듯 짧은 내용만 다루면 가능 |
| 32B Qwen 32B, QwQ 32B |
22.2GB 가중치 20.2 · 컨텍스트 1.0 |
느림 일부가 CPU로 넘어가 답답해짐 |
| 70B Llama 3.3 70B |
46.4GB 가중치 44.1 · 컨텍스트 1.3 |
불가 실사용이 어려움 |
| 120B+ Mixtral 8x22B급 |
77.6GB 가중치 75.6 · 컨텍스트 1.0 |
불가 실사용이 어려움 |
근사치입니다. 실제로 쓸 모델의 파일 크기는 배포판마다 다릅니다. 경계선에 있다면 한 단계 위 메모리를 택하는 편이 안전합니다.
골라 읽기 좋은 글
- GPU Ollama 최소 사양 — 내 VRAM으로 몇 B 모델까지 돌아가나 로컬 LLM을 돌리기 전에 확인할 것은 GPU 이름이 아니라 VRAM입니다. VRAM 용량별로 실제 돌아가는 모델 크기를 정리했습니다.
- 노트북 개발용 노트북 사양 — 나중에 못 바꾸는 것부터 고르세요 노트북은 부품 대부분을 나중에 못 바꿉니다. 램, 화면, 그래픽카드 순으로 살 때 정해야 할 것과 나중에 해도 되는 것을 갈랐습니다.
- 모니터 코딩용 모니터 — 27과 32, QHD와 4K 조합 고르기 코딩에서 갈리는 건 주사율이나 색재현율이 아니라 해상도와 크기의 조합입니다. 27 QHD·32 QHD·27 4K·32 4K를 PPI로 계산해 어느 조합이 맞는지 정리했습니다.
- 메모리·스토리지 램 16GB vs 32GB — 로컬 LLM과 개발에서 갈리는 지점 32GB를 사라는 답은 쓸모가 적습니다. 로컬 LLM에서 필요한 램은 GPU가 정합니다. VRAM을 넘긴 만큼이 시스템 램으로 넘어오기 때문입니다. 계산해서 정리했습니다.
- 미니PC 미니PC vs 노트북 — 갈림길은 성능이 아니라 이동입니다 어차피 책상에서만 쓰는데 노트북이 맞을까요. 속이 같은 두 물건이라 성능으로는 안 갈립니다. 밖에서 화면을 열 일이 있는지, 이미 갖고 있는 물건이 무엇인지로 갈립니다.
- 네트워크 메시 와이파이 — 성능은 위성이 아니라 백홀이 정합니다 방마다 안 터져서 메시를 알아보면 위성 개수부터 세게 됩니다. 순서가 반대입니다. 위성들이 서로 어떻게 연결되는가(백홀)가 성능을 정하고, 집에 벽 랜포트가 있느냐로 답이 갈립니다.
새로 쓴 글
- 메모리·스토리지 램을 거꾸로 꽂았다면 — "어디까지 들어갔고, 전원을 넣었나"로 갈립니다
- GPU 케이스 팬이 켤 때만 돌다가 멈출 때 — 고장보다 "누가 멈추라고 했나"를 먼저 봅니다
- GPU 쿨러 나사를 너무 세게 조였나 — "끝까지"와 "힘껏"을 가르면 보드 휨 걱정이 끝납니다
- GPU 서멀이 삐져나왔는데 괜찮나 — 양이 아니라 "어디에 묻었나"가 판정입니다
- GPU 케이스 팬 RGB 하나만 안 켜질 때 — 팬이 도는 선과 불이 켜지는 선은 다른 선입니다
- GPU 그래픽카드 팬 세 개 중 하나만 안 돌 때 — 쉬는 건지 죽은 건지는 부하가 가립니다
- 노트북 스페이스바·엔터만 소리가 다를 때 — 스위치가 아니라 철심의 소리입니다
- GPU 그래픽카드 백플레이트가 손 대기 뜨거울 때 — 손의 온도계와 부품의 온도계는 눈금이 다릅니다
- 노트북 키보드 키캡이 반질반질 번들거릴 때 — 닦이는 번들거림과 안 닦이는 번들거림은 다른 것입니다
- 노트북 노트북 손목 닿는 자리가 변색되고 벗겨지고 끈적일 때 — 세 가지는 서로 다른 일입니다
- 모니터 타이핑할 때마다 모니터가 흔들릴 때 — 떨리는 건 모니터가 아니라 책상이고, 모니터는 확대경입니다
- 메모리·스토리지 컴퓨터 켤 때 "삐" 한 번 나는 소리 — 고장 경보가 아니라 "점검 통과" 보고입니다
전체 229편은 위 카테고리에서 볼 수 있습니다. 찾는 것이 있으면 검색을 쓰세요.