Menjalankan LLM Secara Lokal
Mata kuliah: Large Language Models
Perkiraan durasi membaca: 40–55 menit
Pembukaan
Selama ini kita berinteraksi dengan LLM melalui layanan cloud — ChatGPT, Gemini, Claude — di mana model berjalan di server perusahaan dan kita mengaksesnya lewat browser atau API. Namun ada alternatif yang semakin populer: menjalankan LLM di komputer sendiri, tanpa koneksi internet, tanpa biaya per token, dan tanpa data Anda dikirim ke server pihak ketiga.
Bab ini membahas secara praktis bagaimana caranya, apa saja pilihannya, dan apa yang harus disiapkan — baik dari sisi perangkat lunak, aplikasi antarmuka, maupun spesifikasi hardware yang realistis.
Bagian 1 — Mengapa menjalankan LLM secara lokal?
Sebelum membahas cara, penting memahami mengapa seseorang memilih jalur ini.
Keuntungan LLM lokal
Privasi penuh. Tidak ada teks yang dikirim ke luar komputer Anda. Ini krusial untuk industri hukum, kesehatan, keuangan, atau siapapun yang menangani data sensitif.
Tanpa biaya berlangganan atau per-token. Setelah model diunduh, penggunaan tidak menambah tagihan. Cocok untuk eksperimen intensif, otomasi lokal, atau konteks kampus dengan anggaran terbatas.
Kontrol penuh atas model. Anda bisa memilih versi model tertentu, melakukan fine-tuning (pelatihan lanjutan), mengubah parameter sistem, bahkan menjalankan model yang tidak tersedia di layanan cloud komersial.
Akses offline. Bekerja tanpa internet — di lokasi terpencil, jaringan terputus, atau lingkungan yang mengisolasi jaringan.
Latensi lebih rendah (kondisi ideal). Tanpa round-trip ke server, respons bisa lebih cepat — tergantung hardware lokal Anda.
Kekurangan yang perlu dipertimbangkan
Kualitas model umumnya di bawah GPT-4 atau Claude. Model lokal terbesar yang bisa dijalankan di laptop biasa masih kalah dari model frontier komersial terbesar.
Butuh hardware yang cukup. RAM besar, GPU membantu, dan penyimpanan cepat adalah kebutuhan nyata — bukan sekadar rekomendasi.
Setup lebih teknis. Tidak semudah membuka browser — walau tool modern sudah sangat menyederhanakan proses.
Pembaruan manual. Anda bertanggung jawab mengunduh versi model terbaru sendiri.
Bagian 2 — Konsep dasar: bagaimana LLM bisa “dimuat” di komputer biasa?
Model LLM besar seperti GPT-4 membutuhkan puluhan hingga ratusan gigabyte VRAM GPU kelas data center. Jelas tidak bisa dijalankan di laptop. Lalu bagaimana model-model lokal bisa berjalan?
Kuantisasi (Quantization)
Kuantisasi adalah teknik mengompres representasi numerik bobot model. Secara sederhana: bilangan float 32-bit yang biasa dipakai saat pelatihan “dipadatkan” menjadi 4-bit, 5-bit, atau 8-bit. Ini mengorbankan sedikit presisi, tetapi ukuran file dan kebutuhan memori turun drastis.
Analogi foto digital: foto RAW kamera berukuran 25 MB bisa dikompresi ke JPEG 2 MB — kualitasnya turun sedikit, tetapi untuk kebutuhan harian tidak terlalu terasa. Kuantisasi LLM bekerja secara konseptual serupa.
Format kuantisasi populer saat ini:
| Format | Keterangan |
|---|---|
| GGUF | Format standar de facto untuk inferensi lokal (penerus GGML). Dipakai oleh llama.cpp dan semua tool modern berbasis CPU/GPU hybrid. |
| AWQ | Kuantisasi 4-bit dengan kalibrasi data; kualitas lebih baik dari Q4 biasa; umumnya untuk GPU NVIDIA. |
| GPTQ | Kuantisasi post-training 4-bit populer untuk GPU; banyak model di HuggingFace tersedia dalam format ini. |
| EXL2 | Format untuk ExLlamaV2; efisien untuk GPU VRAM tinggi. |
| BitsAndBytes (bnb) | Kuantisasi 8-bit dan 4-bit real-time; mudah dipakai di Python via HuggingFace. |
Untuk pengguna awam yang ingin cepat mulai: GGUF adalah pilihan paling universal dan kompatibel dengan hampir semua tool lokal.
Tingkat kuantisasi GGUF
Model GGUF umumnya hadir dalam berbagai tingkat kompresi. Penamaannya mengikuti pola Q[bit]_[varian]:
| Varian | Bit | Kualitas | Ukuran (relatif) | Rekomendasi |
|---|---|---|---|---|
| Q8_0 | 8-bit | Sangat dekat original | Besar | Jika RAM mencukupi |
| Q6_K | 6-bit | Sangat baik | Sedang-besar | Keseimbangan bagus |
| Q5_K_M | 5-bit | Baik | Sedang | Sweet spot umum |
| Q4_K_M | 4-bit | Cukup baik | Kecil-sedang | Paling populer |
| Q3_K_M | 3-bit | Degradasi terasa | Kecil | Hanya jika terpaksa |
| Q2_K | 2-bit | Kualitas turun jelas | Sangat kecil | Tidak disarankan |
Rekomendasi umum: pilih Q4_K_M sebagai titik awal — keseimbangan terbaik antara ukuran, kecepatan, dan kualitas untuk sebagian besar penggunaan.
Bagian 3 — Spesifikasi hardware yang disarankan
Komponen terpenting untuk menjalankan LLM lokal adalah RAM (memori utama) dan GPU VRAM (jika ada). Berikut panduan berdasarkan ukuran model.
RAM: komponen terpenting
Model dimuat ke dalam memori saat berjalan. Jika tidak cukup, komputer akan menggunakan swap (penyimpanan disk sebagai memori virtual) yang membuat inferensi sangat lambat.
| Ukuran RAM | Kemampuan |
|---|---|
| 8 GB | Hanya model sangat kecil (1B–3B parameter, Q4). Performa terbatas, tidak disarankan untuk penggunaan serius. |
| 16 GB | Model kecil-menengah (7B–8B parameter, Q4/Q5). Cukup untuk eksperimen dan penggunaan ringan harian. |
| 32 GB | Model menengah (13B–14B parameter Q4, atau 7B Q8). Nyaman untuk produktivitas. Rekomendasi minimum untuk penggunaan serius. |
| 64 GB | Model besar (30B–34B parameter Q4, atau 13B Q8). Kualitas jawaban sudah sangat baik. |
| 128 GB+ | Model sangat besar (70B parameter Q4/Q5). Setara kualitas GPT-3.5 atau lebih. |
GPU: akselerator inferensi
GPU tidak wajib — model bisa berjalan di CPU saja — tetapi GPU mempercepat inferensi secara signifikan (bisa 5–20x lebih cepat).
GPU NVIDIA (paling kompatibel):
| GPU | VRAM | Kemampuan |
|---|---|---|
| RTX 3060 | 12 GB | Model 7B–8B full VRAM; model 13B hybrid CPU+GPU |
| RTX 3080 / 3080 Ti | 10–12 GB | Serupa RTX 3060 12GB |
| RTX 4060 Ti | 16 GB | Model 13B nyaman, model 7B sangat cepat |
| RTX 3090 / 4090 | 24 GB | Model 13B–20B full VRAM; 70B model besar dengan hybrid |
| RTX 4090 | 24 GB | GPU konsumer terbaik untuk LLM lokal saat ini |
| NVIDIA A100 / H100 | 40–80 GB | Kelas data center; model 70B+ penuh |
GPU AMD (dukungan terbatas):
AMD GPU bisa digunakan melalui ROCm (hanya Linux) atau Vulkan/Metal. Dukungan software lebih terbatas dibanding NVIDIA CUDA. GPU AMD seri RX 7000 ke atas dengan ROCm sudah cukup baik untuk Ollama.
Apple Silicon (M1/M2/M3/M4):
Chip Apple Silicon adalah pengecualian menarik — RAM sistem dan VRAM berbagi satu pool unified memory. Mac M2/M3 dengan 16 GB unified memory dapat menjalankan model 7B dengan baik; 32 GB mampu model 13B; 64 GB+ bisa model 30B–34B. Kecepatan inferensi di Apple Silicon sangat kompetitif berkat optimasi Metal.
Penyimpanan
Model GGUF 7B berukuran ~4–5 GB (Q4_K_M). Model 70B bisa mencapai ~40 GB. Gunakan SSD NVMe untuk loading model yang lebih cepat — loading dari HDD bisa memakan puluhan detik.
Rekomendasi penyimpanan khusus model: 200 GB SSD kosong sebagai titik awal yang nyaman.
Ringkasan konfigurasi per tingkat pengguna
| Profil | CPU | RAM | GPU | Kemampuan model |
|---|---|---|---|---|
| Pemula / mahasiswa | Intel i5 / Ryzen 5 (generasi 2020+) | 16 GB | Tidak wajib | 7B Q4 (cukup untuk belajar) |
| Pengguna serius | Intel i7 / Ryzen 7 | 32 GB | RTX 3060 12GB atau RTX 4060 Ti | 7B–13B Q4/Q5, cepat |
| Profesional / peneliti | Intel i9 / Ryzen 9 | 64 GB | RTX 4090 24GB | 13B–34B Q4, nyaman |
| Advanced / lab | Threadripper / Xeon | 128–256 GB | Dual GPU / A100 | 70B Q4/Q5, model besar |
| Apple Silicon | M2 Pro/Max atau M3/M4 | 32–64 GB Unified | Terintegrasi | 13B–34B sangat efisien |
Bagian 4 — Metode instalasi: tiga jalur utama
Ada tiga jalur utama untuk menjalankan LLM lokal, tergantung kebutuhan dan kemampuan teknis.
Jalur 1 — Aplikasi GUI (Grafis): paling mudah
Cocok untuk pengguna yang ingin langsung chat tanpa menyentuh terminal. Semua proses dikelola melalui antarmuka grafis.
Aplikasi ini biasanya menyertakan: - Unduh model langsung dari dalam aplikasi - Antarmuka chat mirip ChatGPT - Pengaturan parameter (temperature, konteks) via slider - Manajemen model (hapus, ganti, update)
Jalur 2 — CLI + Server lokal: fleksibel dan serbaguna
Menjalankan server model di background, lalu antarmuka diakses via browser atau API. Cocok untuk developer, atau pengguna yang ingin mengintegrasikan model ke workflow lain.
Jalur 3 — Python / HuggingFace: paling fleksibel, paling teknis
Menggunakan library Python (transformers, llama-cpp-python, vllm) untuk kontrol penuh. Cocok untuk riset, fine-tuning, dan integrasi ke aplikasi custom.
Bagian 5 — Aplikasi dan tools populer
Ollama
Situs: ollama.com
Platform: macOS, Linux, Windows
Tipe: CLI + server lokal (REST API)
Tingkat kemudahan: ★★★★☆
Ollama adalah tool paling populer untuk menjalankan LLM lokal saat ini. Ia mengunduh, menyimpan, dan menjalankan model GGUF via CLI satu perintah. Di balik layar, Ollama menjalankan server REST API di localhost:11434 sehingga mudah diintegrasikan ke aplikasi lain.
Cara mulai:
# macOS: install via Homebrew
brew install ollama
# Jalankan model (otomatis unduh jika belum ada)
ollama run llama3.2
# Daftar model yang tersedia
ollama list
# Hapus model
ollama rm llama3.2Kelebihan Ollama: - Setup paling cepat: satu perintah, model langsung berjalan - Library model besar (ratusan model tersedia) - API kompatibel dengan format OpenAI (mudah integrasi) - Multi-modal (beberapa model mendukung gambar) - Auto-deteksi GPU
Kekurangan: - Antarmuka chat bawaan sangat minimal (terminal only) - Konfigurasi model lanjutan butuh file Modelfile tersendiri
LM Studio
Situs: lmstudio.ai
Platform: macOS, Windows, Linux
Tipe: Aplikasi GUI desktop
Tingkat kemudahan: ★★★★★
LM Studio adalah aplikasi desktop all-in-one dengan antarmuka yang sangat ramah pengguna. Tersedia pencarian dan unduh model langsung dari HuggingFace, antarmuka chat yang nyaman, pengaturan parameter via GUI, dan mode server lokal (kompatibel API OpenAI).
Fitur unggulan: - Browser model terintegrasi — cari dan unduh ribuan model GGUF langsung dari dalam aplikasi - Chat dengan beberapa model sekaligus (mode perbandingan) - Playground parameter lengkap (temperature, top-p, repeat penalty, dll.) - Mode server: jalankan LM Studio sebagai server API untuk dipakai aplikasi lain - Mendukung model multi-modal (vision)
Ideal untuk: pengguna baru yang ingin pengalaman GUI terbaik.
Jan.ai
Situs: jan.ai
Platform: macOS, Windows, Linux
Tipe: Aplikasi GUI desktop
Tingkat kemudahan: ★★★★★
Jan adalah aplikasi open-source yang fokus pada privasi. Arsitekturnya modular — model berjalan lokal, tetapi Jan juga bisa terhubung ke API eksternal (OpenAI, Groq, dll.) dari satu antarmuka yang sama. Cocok yang ingin satu tempat untuk semua model.
Fitur unggulan: - Open source sepenuhnya - Model hub terintegrasi - Dukungan threads (riwayat percakapan tersimpan rapi) - Bisa dipakai sebagai gateway API untuk aplikasi lain - Mendukung remote models (API cloud) dan local models dari satu UI
GPT4All
Situs: nomic.ai/gpt4all
Platform: macOS, Windows, Linux
Tipe: Aplikasi GUI desktop
Tingkat kemudahan: ★★★★★
GPT4All adalah salah satu pelopor aplikasi LLM lokal. Sederhana, ringan, dan dirancang untuk komputer dengan spesifikasi terbatas. Dilengkapi fitur LocalDocs untuk chat berbasis dokumen lokal Anda (mirip RAG sederhana).
Fitur unggulan: - Sangat ringan; bisa berjalan di komputer lama - LocalDocs: indeks dokumen PDF/TXT lokal, jawaban dari file Anda - Antarmuka sangat sederhana - Tersedia model yang dioptimasi khusus untuk hardware lemah
Open WebUI (+ Ollama)
Situs: openwebui.com
Platform: Web (berjalan lokal via Docker)
Tipe: Antarmuka web untuk Ollama/OpenAI API
Tingkat kemudahan: ★★★☆☆ (butuh Docker)
Open WebUI adalah antarmuka web yang dapat dijalankan lokal sebagai “ChatGPT versi sendiri”. Ia terhubung ke Ollama (atau server OpenAI-kompatibel lain) dan menyediakan fitur lengkap: manajemen percakapan, upload dokumen, RAG terintegrasi, model gallery, hingga multi-user.
Cara mulai dengan Docker:
docker run -d -p 3000:80 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:mainLalu buka http://localhost:3000 di browser.
Ideal untuk: yang sudah pakai Ollama dan ingin antarmuka chat yang lebih lengkap.
Koboldcpp
Situs: github.com/LostRuins/koboldcpp
Platform: macOS, Windows, Linux
Tipe: Server lokal dengan GUI ringan
Tingkat kemudahan: ★★★☆☆
KoboldCpp adalah tool serbaguna berbasis llama.cpp dengan antarmuka minimalis. Populer di komunitas kreatif writing dan roleplay karena mendukung konteks sangat panjang dan fitur sampling lanjutan. Juga memiliki mode API untuk integrasi ke tool lain seperti SillyTavern.
llama.cpp (langsung)
Situs: github.com/ggerganov/llama.cpp
Platform: Semua platform
Tipe: Library + executable CLI
Tingkat kemudahan: ★★☆☆☆
Ini adalah “mesin” di balik hampir semua tool lokal. llama.cpp adalah implementasi inferensi C++ yang sangat dioptimasi untuk CPU (dan GPU via CUDA/Metal). Semua tool di atas — Ollama, LM Studio, KoboldCpp — menggunakan llama.cpp di baliknya. Menggunakannya langsung memberi kontrol maksimum tetapi butuh kompilasi dan terminal.
Ringkasan perbandingan tool
| Tool | GUI | CLI/API | Kemudahan | Kelebihan utama | Cocok untuk |
|---|---|---|---|---|---|
| Ollama | ✗ | ✓ | ★★★★☆ | Paling cepat mulai, ekosistem luas | Developer, power user |
| LM Studio | ✓ | ✓ | ★★★★★ | GUI terbaik, browser model lengkap | Semua tingkat |
| Jan.ai | ✓ | ✓ | ★★★★★ | Open source, hybrid cloud+lokal | Privasi, fleksibel |
| GPT4All | ✓ | ✗ | ★★★★★ | Ringan, LocalDocs | Hardware terbatas |
| Open WebUI | Web | ✓ | ★★★☆☆ | Fitur paling lengkap | Ollama + tim kecil |
| KoboldCpp | Minimal | ✓ | ★★★☆☆ | Konteks panjang, sampling kustom | Creative writing |
| llama.cpp | ✗ | ✓ | ★★☆☆☆ | Performa optimal, kontrol penuh | Researcher, dev |
Bagian 6 — Strategi pemilihan model
Tidak semua model cocok untuk semua kebutuhan. Berikut panduan memilih model berdasarkan tujuan.
Berdasarkan tugas
| Tugas | Rekomendasi model |
|---|---|
| Chat umum / asisten | Llama 3.1/3.2, Mistral, Qwen2.5 |
| Coding / pemrograman | Qwen2.5-Coder, DeepSeek-Coder, CodeLlama |
| Penalaran / logika | DeepSeek-R1, QwQ, Phi-4 |
| Bahasa Indonesia | Qwen2.5, Gemma 2 (cukup baik), atau model khusus ID |
| Ringkasan dokumen | Llama 3.1 8B+, Mistral 7B |
| Roleplay / kreatif | Mixtral MoE, Llama 3.1, model community fine-tune |
| Embedded / edge device | Phi-3.5 Mini, Gemma 2 2B, Llama 3.2 1B/3B |
| Multi-modal (gambar+teks) | LLaVA, Llava-Phi, Llama 3.2 Vision |
Berdasarkan hardware
| Perangkat | Model yang realistis |
|---|---|
| Laptop lama (8 GB RAM) | Phi-3.5 Mini 3.8B, Llama 3.2 1B/3B, Gemma 2 2B |
| Laptop modern (16 GB RAM) | Llama 3.1/3.2 8B, Mistral 7B, Qwen2.5 7B |
| Desktop + GPU 12 GB | Llama 3.1 8B (full GPU), Phi-4 14B hybrid |
| Desktop + GPU 24 GB | Mistral 22B, Qwen2.5 14B full GPU |
| Workstation (64 GB RAM) | Llama 3.1 70B (Q4, CPU-only, lambat), Qwen2.5 32B |
| Apple M2/M3 32 GB | Llama 3.1 8B (sangat cepat), Mistral 22B |
| Apple M2/M3 64 GB | Llama 3.3 70B Q4, Qwen2.5 32B |
Bagian 7 — Katalog model lokal populer
Berikut daftar model yang paling banyak dipakai untuk inferensi lokal, beserta detail ukuran, kemampuan, dan kebutuhan hardware.
Keluarga Llama (Meta)
Model open-weight dari Meta yang menjadi standar industri. Llama 3.x adalah generasi terkini (2024).
Llama 3.2 — 1B dan 3B
| Atribut | Detail |
|---|---|
| Parameter | 1B dan 3B |
| Ukuran file (Q4_K_M) | ~0.7 GB (1B) / ~2 GB (3B) |
| Konteks | 128K token |
| Lisensi | Llama 3.2 Community License |
| Kecepatan (CPU) | Sangat cepat |
Kemampuan: Chat ringan, ringkasan singkat, Q&A sederhana. Sangat efisien untuk perangkat edge, Raspberry Pi, atau hardware terbatas. Kualitas jawaban terbatas untuk tugas kompleks.
Cocok untuk: Edge computing, prototype cepat, perangkat RAM rendah.
Llama 3.1 — 8B
| Atribut | Detail |
|---|---|
| Parameter | 8B |
| Ukuran file (Q4_K_M) | ~4.7 GB |
| Ukuran file (Q8_0) | ~8.5 GB |
| Konteks | 128K token |
| Lisensi | Llama 3.1 Community License |
| RAM minimum (CPU only) | 8 GB (Q4), 12 GB (Q8) |
| GPU VRAM minimum | 6 GB (Q4) |
Kemampuan: Chat umum, ringkasan, coding dasar, analisis teks, instruksi kompleks. Kualitas setara GPT-3.5 untuk banyak tugas. Konteks 128K sangat berguna untuk dokumen panjang.
Cocok untuk: Penggunaan harian, coding asisten, analisis dokumen, RAG.
Llama 3.3 — 70B
| Atribut | Detail |
|---|---|
| Parameter | 70B |
| Ukuran file (Q4_K_M) | ~40 GB |
| Ukuran file (Q2_K) | ~26 GB |
| Konteks | 128K token |
| Lisensi | Llama 3.3 Community License |
| RAM minimum (CPU only) | 48 GB+ (Q4) |
| GPU VRAM | Butuh multi-GPU atau hybrid CPU+GPU |
Kemampuan: Setara atau mendekati GPT-4 untuk banyak benchmark. Penalaran kompleks, coding lanjutan, analisis mendalam, kemampuan instruksi multi-langkah yang sangat baik.
Cocok untuk: Workstation dengan RAM 64 GB+, Mac M2/M3 Max/Ultra 64 GB.
Keluarga Mistral
Model dari Mistral AI (Prancis) — dikenal efisien dan berkualitas tinggi relatif terhadap ukurannya.
Mistral 7B Instruct v0.3
| Atribut | Detail |
|---|---|
| Parameter | 7B |
| Ukuran file (Q4_K_M) | ~4.4 GB |
| Konteks | 32K token |
| Lisensi | Apache 2.0 |
| RAM minimum | 8 GB |
Kemampuan: Instruksi umum, coding, analisis teks. Kualitas output sangat baik untuk ukurannya. Lisensi Apache 2.0 memungkinkan penggunaan komersial bebas.
Mixtral 8x7B (MoE)
| Atribut | Detail |
|---|---|
| Parameter aktif | ~12B (dari total 47B, arsitektur Mixture of Experts) |
| Ukuran file (Q4_K_M) | ~26 GB |
| Konteks | 32K token |
| Lisensi | Apache 2.0 |
| RAM minimum | 32 GB |
Kemampuan: Kualitas setara model 30B–40B tetapi lebih cepat karena hanya mengaktifkan sebagian “ahli” per token. Sangat baik untuk coding, analisis, dan instruksi kompleks. Lisensi komersial bebas.
Cocok untuk: Desktop 32 GB+ RAM, pengguna yang butuh kualitas tinggi dengan lisensi terbuka.
Mistral Small 3.1 (22B)
| Atribut | Detail |
|---|---|
| Parameter | 22B |
| Ukuran file (Q4_K_M) | ~13 GB |
| Konteks | 128K token |
| Lisensi | Apache 2.0 |
| RAM minimum | 16 GB (Q4) |
| GPU VRAM | 16 GB untuk full GPU |
Kemampuan: Salah satu model terbaik di kelasnya. Penalaran, coding, dan instruksi multi-bahasa yang sangat baik. Konteks 128K. Cocok sebagai “daily driver” utama untuk mereka dengan hardware menengah ke atas.
Keluarga Qwen (Alibaba Cloud)
Qwen 2.5 adalah salah satu keluarga model open-weight terkuat saat ini — sangat kompetitif dalam benchmark.
Qwen2.5 — 7B
| Atribut | Detail |
|---|---|
| Parameter | 7B |
| Ukuran file (Q4_K_M) | ~4.7 GB |
| Konteks | 128K token |
| Lisensi | Qwen License (komersial untuk model ≤72B) |
| RAM minimum | 8 GB |
Kemampuan: Chat, instruksi, coding, analisis. Dukungan multibahasa sangat baik termasuk bahasa Indonesia dan Mandarin. Sering mengalahkan model 7B lain dalam benchmark.
Qwen2.5 — 14B
| Atribut | Detail |
|---|---|
| Parameter | 14B |
| Ukuran file (Q4_K_M) | ~8.9 GB |
| Konteks | 128K token |
| Lisensi | Qwen License |
| RAM minimum | 12 GB |
| GPU VRAM | 10–12 GB untuk full GPU |
Kemampuan: Sangat baik di hampir semua tugas. Multibahasa kuat. Kualitas mendekati model 30B dari generasi sebelumnya.
Qwen2.5 — 32B
| Atribut | Detail |
|---|---|
| Parameter | 32B |
| Ukuran file (Q4_K_M) | ~19 GB |
| Konteks | 128K token |
| Lisensi | Qwen License |
| RAM minimum | 24 GB |
Kemampuan: Salah satu model terbaik yang bisa dijalankan lokal. Penalaran, coding, dan instruksi kompleks setara GPT-4 Turbo untuk banyak tugas.
Qwen2.5-Coder — 7B dan 32B
| Atribut | 7B | 32B |
|---|---|---|
| Ukuran (Q4_K_M) | ~4.7 GB | ~19 GB |
| Konteks | 128K | 128K |
| Spesialisasi | Coding | Coding |
Kemampuan: Fine-tune khusus pemrograman. Salah satu model coding lokal terbaik — mendukung 90+ bahasa pemrograman, debug, penjelasan kode, dan generasi kode kompleks. Qwen2.5-Coder 32B mendekati kualitas GPT-4 untuk coding.
Keluarga Phi (Microsoft)
Model kecil dari Microsoft Research — dirancang untuk performa tinggi di ukuran sangat kecil.
Phi-4 (14B)
| Atribut | Detail |
|---|---|
| Parameter | 14B |
| Ukuran file (Q4_K_M) | ~8.5 GB |
| Konteks | 16K token |
| Lisensi | MIT |
Kemampuan: Penalaran, STEM (sains, teknologi, matematika), coding. Phi-4 14B sering mengalahkan model yang jauh lebih besar dalam benchmark penalaran. Lisensi MIT sangat terbuka.
Cocok untuk: Tugas penalaran dan STEM; sangat efisien untuk ukurannya.
Phi-3.5 Mini (3.8B)
| Atribut | Detail |
|---|---|
| Parameter | 3.8B |
| Ukuran file (Q4_K_M) | ~2.2 GB |
| Konteks | 128K token |
| Lisensi | MIT |
| RAM minimum | 4 GB |
Kemampuan: Luar biasa untuk ukurannya — konteks 128K di model 3.8B adalah pencapaian besar. Cocok untuk perangkat terbatas. Kualitas instruksi baik; tidak sekuat model 7B+ untuk tugas kompleks.
Keluarga Gemma (Google DeepMind)
Gemma 2 — 2B dan 9B
| Atribut | 2B | 9B |
|---|---|---|
| Ukuran (Q4_K_M) | ~1.5 GB | ~5.4 GB |
| Konteks | 8K | 8K |
| Lisensi | Gemma ToS (non-komersial gratis) |
Kemampuan: Gemma 2 2B sangat baik untuk ukuran sangat kecil. Gemma 2 9B kompetitif dengan Llama 3.1 8B. Lisensi: boleh digunakan gratis tetapi dengan syarat tertentu (bukan sepenuhnya open-source).
Keluarga DeepSeek
DeepSeek-R1 (versi distilat lokal)
DeepSeek-R1 adalah model penalaran (reasoning) dengan kemampuan “berpikir panjang” (chain-of-thought) mirip o1 dari OpenAI. Versi full sangat besar (671B), tetapi tersedia versi distilat yang jauh lebih kecil.
| Versi distilat | Parameter | Ukuran (Q4_K_M) | RAM minimum |
|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-7B | 7B | ~4.7 GB | 8 GB |
| DeepSeek-R1-Distill-Llama-8B | 8B | ~4.9 GB | 8 GB |
| DeepSeek-R1-Distill-Qwen-14B | 14B | ~8.9 GB | 12 GB |
| DeepSeek-R1-Distill-Qwen-32B | 32B | ~19 GB | 24 GB |
Kemampuan: Penalaran matematis, logika, dan coding yang jauh melampaui model non-reasoning seukurannya. Model akan “berpikir” terlebih dahulu (terlihat sebagai blok <think>) sebelum memberi jawaban — kualitas lebih baik tetapi lebih lambat.
Cocok untuk: Soal matematika, logika, pemrograman kompleks.
DeepSeek-Coder-V2 Lite (16B)
| Atribut | Detail |
|---|---|
| Parameter | 16B (MoE, aktif ~2.4B) |
| Ukuran (Q4_K_M) | ~10 GB |
| Konteks | 128K token |
Kemampuan: Model coding yang sangat kompetitif dengan arsitektur MoE efisien. Mendukung 338 bahasa pemrograman.
Ringkasan model berdasarkan popularitas dan kasus penggunaan
| Model | Ukuran (Q4_K_M) | RAM min | Kelebihan utama | Lisensi |
|---|---|---|---|---|
| Llama 3.2 3B | ~2 GB | 4 GB | Ultra ringan, cepat | Community |
| Llama 3.1 8B | ~4.7 GB | 8 GB | Serbaguna, konteks 128K | Community |
| Llama 3.3 70B | ~40 GB | 48 GB | Kualitas sangat tinggi | Community |
| Mistral 7B | ~4.4 GB | 8 GB | Lisensi Apache, efisien | Apache 2.0 |
| Mixtral 8x7B | ~26 GB | 32 GB | MoE cepat, Apache 2.0 | Apache 2.0 |
| Mistral Small 22B | ~13 GB | 16 GB | Terbaik di kelasnya, 128K | Apache 2.0 |
| Qwen2.5 7B | ~4.7 GB | 8 GB | Multibahasa terbaik | Qwen |
| Qwen2.5 14B | ~8.9 GB | 12 GB | Sangat kompetitif | Qwen |
| Qwen2.5 32B | ~19 GB | 24 GB | Mendekati GPT-4 | Qwen |
| Qwen2.5-Coder 7B | ~4.7 GB | 8 GB | Coding 90+ bahasa | Qwen |
| Phi-4 14B | ~8.5 GB | 12 GB | Penalaran STEM, MIT | MIT |
| Phi-3.5 Mini 3.8B | ~2.2 GB | 4 GB | 128K di model mungil | MIT |
| Gemma 2 2B | ~1.5 GB | 4 GB | Terkecil yang masih baik | Gemma ToS |
| Gemma 2 9B | ~5.4 GB | 8 GB | Kompetitif, dari Google | Gemma ToS |
| DeepSeek-R1-7B | ~4.7 GB | 8 GB | Penalaran chain-of-thought | MIT |
| DeepSeek-R1-32B | ~19 GB | 24 GB | Penalaran sangat kuat | MIT |
Bagian 8 — Panduan instalasi langkah demi langkah
Skenario A: Ollama (Windows/macOS/Linux) — cara tercepat
Langkah 1 — Unduh dan install Ollama
- macOS:
brew install ollamaatau unduh installer dari ollama.com - Windows: unduh installer
.exedari ollama.com - Linux:
curl -fsSL https://ollama.com/install.sh | sh
Langkah 2 — Jalankan model pertama
# Unduh dan langsung jalankan Llama 3.2 3B (ringan, cepat)
ollama run llama3.2
# Atau Llama 3.1 8B untuk kualitas lebih baik
ollama run llama3.1
# Atau Qwen2.5 7B untuk multibahasa lebih baik
ollama run qwen2.5Perintah ollama run otomatis mengunduh model jika belum ada, lalu membuka sesi chat di terminal.
Langkah 3 — Gunakan model
Ketik pertanyaan di terminal dan tekan Enter. Untuk keluar dari sesi chat, ketik /bye.
Langkah 4 (opsional) — Pasang Open WebUI untuk antarmuka grafis
# Pastikan Docker sudah terinstal
docker run -d -p 3000:80 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:mainBuka http://localhost:3000 di browser.
Skenario B: LM Studio — cara paling mudah (GUI)
Langkah 1 — Unduh installer dari lmstudio.ai dan instal seperti aplikasi biasa.
Langkah 2 — Buka LM Studio. Di tab Discover, cari model yang diinginkan (contoh: “llama 3.1 8B” atau “qwen2.5 7B”). Klik model, pilih versi Q4_K_M, klik Download.
Langkah 3 — Setelah unduhan selesai, pergi ke tab Chat. Pilih model dari dropdown di atas, klik Load Model. Tunggu model dimuat ke memori.
Langkah 4 — Chat seperti biasa. Selesai.
Skenario C: Python + llama-cpp-python — untuk developer
# Install library
pip install llama-cpp-python
# Unduh model GGUF (contoh: Llama 3.1 8B Q4_K_M dari HuggingFace)
# Simpan ke folder lokal, misalnya: ~/models/llama-3.1-8B-Q4_K_M.gguffrom llama_cpp import Llama
# Muat model
llm = Llama(
model_path="~/models/llama-3.1-8B-Q4_K_M.gguf",
n_ctx=4096, # ukuran konteks
n_gpu_layers=-1, # -1 = semua layer ke GPU (jika ada)
verbose=False
)
# Inferensi
output = llm.create_chat_completion(
messages=[
{"role": "user", "content": "Jelaskan apa itu machine learning dalam 3 kalimat."}
]
)
print(output["choices"][0]["message"]["content"])Untuk GPU NVIDIA, install versi dengan dukungan CUDA:
CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-pythonBagian 9 — Strategi penggunaan
Strategi 1: Mulai kecil, iterasi naik
Jangan langsung mengunduh model 70B. Mulai dengan model 7B–8B. Evaluasi kualitas untuk kebutuhan Anda. Jika tidak cukup, naik ke 13B, lalu 32B. Banyak pengguna menemukan 7B–14B sudah mencukupi untuk 90% kebutuhan harian mereka.
Strategi 2: Sesuaikan model dengan tugas
Jangan pakai satu model untuk semua tugas. Miliki beberapa model untuk keperluan berbeda: - Coding: Qwen2.5-Coder atau DeepSeek-Coder - Chat harian: Llama 3.1 8B atau Mistral 7B - Dokumen panjang: model dengan konteks 128K (Llama 3.1, Qwen2.5) - Penalaran: DeepSeek-R1 distilat
Strategi 3: Manfaatkan konteks panjang untuk RAG lokal
Model dengan konteks 128K (seperti Llama 3.1 atau Qwen2.5) dapat dimuat dokumen langsung ke prompt tanpa sistem RAG eksternal — untuk dokumen tidak terlalu panjang. Ini lebih sederhana dari setup RAG penuh.
Strategi 4: Buat Modelfile kustom di Ollama
Ollama mendukung Modelfile — file konfigurasi yang memungkinkan Anda membuat “varian” model dengan instruksi sistem, parameter, dan template kustom.
FROM llama3.1
SYSTEM """
Kamu adalah asisten akademik bahasa Indonesia.
Selalu jawab dalam bahasa Indonesia yang formal.
Jika tidak yakin, katakan tidak tahu.
"""
PARAMETER temperature 0.3
PARAMETER num_ctx 8192
Simpan sebagai Modelfile, lalu jalankan:
ollama create asisten-akademik -f Modelfile
ollama run asisten-akademikStrategi 5: Gunakan mode server untuk integrasi
Ollama dan LM Studio keduanya mendukung server API kompatibel OpenAI. Artinya, aplikasi yang mendukung OpenAI API (seperti Cursor, Continue.dev, atau skrip Python Anda) bisa diarahkan ke server lokal — tanpa biaya, tanpa koneksi internet.
# Menggunakan OpenAI library untuk model Ollama lokal
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1", # Ollama
api_key="ollama" # placeholder, tidak diverifikasi
)
response = client.chat.completions.create(
model="llama3.1",
messages=[{"role": "user", "content": "Halo!"}]
)
print(response.choices[0].message.content)Bagian 10 — Sumber model: di mana mengunduh?
HuggingFace (huggingface.co)
Repositori model terbesar di dunia. Hampir semua model open-weight tersedia di sini. Cari model dalam format GGUF di akun bartowski atau TheBloke (untuk koleksi besar) — keduanya adalah komunitas yang secara rutin mengonversi model ke GGUF dengan berbagai tingkat kuantisasi.
Contoh URL: huggingface.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF
Ollama Library (ollama.com/library)
Direktori model yang dikurasi Ollama — lebih sedikit pilihan tetapi mudah diunduh via perintah ollama pull.
LM Studio Model Hub
Terintegrasi dalam aplikasi — cari dan unduh langsung dari dalam LM Studio tanpa membuka browser.
Penutup
Menjalankan LLM lokal bukan lagi domain eksklusif peneliti atau engineer berpengalaman. Dengan tool seperti Ollama dan LM Studio, siapapun dengan laptop 16 GB RAM dapat memiliki asisten AI yang berjalan sepenuhnya offline dalam hitungan menit.
Kunci suksesnya adalah tiga hal:
- Pilih model yang sesuai hardware — jangan ambisi model besar jika RAM terbatas; model kecil yang berjalan lancar lebih berguna dari model besar yang tersendat.
- Pilih tool yang sesuai kebutuhan — GUI untuk kemudahan, CLI/API untuk integrasi dan otomasi.
- Iterasi — mulai kecil, eksplorasi model berbeda, sesuaikan dengan workflow nyata Anda.
LLM lokal tidak akan menggantikan model frontier komersial untuk semua tugas — tetapi untuk privasi, offline access, eksperimen, dan penggunaan sehari-hari yang tidak membutuhkan model terbesar, LLM lokal adalah pilihan yang sangat layak dipertimbangkan.
Referensi lanjutan
- Ollama Documentation — dokumentasi resmi Ollama
- LM Studio User Guide — panduan LM Studio
- HuggingFace GGUF Models — koleksi model GGUF
- llama.cpp GitHub — engine inferensi di balik semua tool
- Open WebUI Documentation — setup Open WebUI lengkap
- Slide Pengantar LLM — konteks arsitektur dan konsep dasar model
- Slide Dasar-Dasar LLM — parameter, sampling, dan inferensi