Skip to main content

Menjalankan LLM Secara Lokal

Mata kuliah: Large Language Models
Perkiraan durasi membaca: 40–55 menit


Pembukaan

Selama ini kita berinteraksi dengan LLM melalui layanan cloud — ChatGPT, Gemini, Claude — di mana model berjalan di server perusahaan dan kita mengaksesnya lewat browser atau API. Namun ada alternatif yang semakin populer: menjalankan LLM di komputer sendiri, tanpa koneksi internet, tanpa biaya per token, dan tanpa data Anda dikirim ke server pihak ketiga.

Bab ini membahas secara praktis bagaimana caranya, apa saja pilihannya, dan apa yang harus disiapkan — baik dari sisi perangkat lunak, aplikasi antarmuka, maupun spesifikasi hardware yang realistis.


Bagian 1 — Mengapa menjalankan LLM secara lokal?

Sebelum membahas cara, penting memahami mengapa seseorang memilih jalur ini.

Keuntungan LLM lokal

Privasi penuh. Tidak ada teks yang dikirim ke luar komputer Anda. Ini krusial untuk industri hukum, kesehatan, keuangan, atau siapapun yang menangani data sensitif.

Tanpa biaya berlangganan atau per-token. Setelah model diunduh, penggunaan tidak menambah tagihan. Cocok untuk eksperimen intensif, otomasi lokal, atau konteks kampus dengan anggaran terbatas.

Kontrol penuh atas model. Anda bisa memilih versi model tertentu, melakukan fine-tuning (pelatihan lanjutan), mengubah parameter sistem, bahkan menjalankan model yang tidak tersedia di layanan cloud komersial.

Akses offline. Bekerja tanpa internet — di lokasi terpencil, jaringan terputus, atau lingkungan yang mengisolasi jaringan.

Latensi lebih rendah (kondisi ideal). Tanpa round-trip ke server, respons bisa lebih cepat — tergantung hardware lokal Anda.

Kekurangan yang perlu dipertimbangkan

Kualitas model umumnya di bawah GPT-4 atau Claude. Model lokal terbesar yang bisa dijalankan di laptop biasa masih kalah dari model frontier komersial terbesar.

Butuh hardware yang cukup. RAM besar, GPU membantu, dan penyimpanan cepat adalah kebutuhan nyata — bukan sekadar rekomendasi.

Setup lebih teknis. Tidak semudah membuka browser — walau tool modern sudah sangat menyederhanakan proses.

Pembaruan manual. Anda bertanggung jawab mengunduh versi model terbaru sendiri.


Bagian 2 — Konsep dasar: bagaimana LLM bisa “dimuat” di komputer biasa?

Model LLM besar seperti GPT-4 membutuhkan puluhan hingga ratusan gigabyte VRAM GPU kelas data center. Jelas tidak bisa dijalankan di laptop. Lalu bagaimana model-model lokal bisa berjalan?

Kuantisasi (Quantization)

Kuantisasi adalah teknik mengompres representasi numerik bobot model. Secara sederhana: bilangan float 32-bit yang biasa dipakai saat pelatihan “dipadatkan” menjadi 4-bit, 5-bit, atau 8-bit. Ini mengorbankan sedikit presisi, tetapi ukuran file dan kebutuhan memori turun drastis.

Analogi foto digital: foto RAW kamera berukuran 25 MB bisa dikompresi ke JPEG 2 MB — kualitasnya turun sedikit, tetapi untuk kebutuhan harian tidak terlalu terasa. Kuantisasi LLM bekerja secara konseptual serupa.

Format kuantisasi populer saat ini:

Format Keterangan
GGUF Format standar de facto untuk inferensi lokal (penerus GGML). Dipakai oleh llama.cpp dan semua tool modern berbasis CPU/GPU hybrid.
AWQ Kuantisasi 4-bit dengan kalibrasi data; kualitas lebih baik dari Q4 biasa; umumnya untuk GPU NVIDIA.
GPTQ Kuantisasi post-training 4-bit populer untuk GPU; banyak model di HuggingFace tersedia dalam format ini.
EXL2 Format untuk ExLlamaV2; efisien untuk GPU VRAM tinggi.
BitsAndBytes (bnb) Kuantisasi 8-bit dan 4-bit real-time; mudah dipakai di Python via HuggingFace.

Untuk pengguna awam yang ingin cepat mulai: GGUF adalah pilihan paling universal dan kompatibel dengan hampir semua tool lokal.

Tingkat kuantisasi GGUF

Model GGUF umumnya hadir dalam berbagai tingkat kompresi. Penamaannya mengikuti pola Q[bit]_[varian]:

Varian Bit Kualitas Ukuran (relatif) Rekomendasi
Q8_0 8-bit Sangat dekat original Besar Jika RAM mencukupi
Q6_K 6-bit Sangat baik Sedang-besar Keseimbangan bagus
Q5_K_M 5-bit Baik Sedang Sweet spot umum
Q4_K_M 4-bit Cukup baik Kecil-sedang Paling populer
Q3_K_M 3-bit Degradasi terasa Kecil Hanya jika terpaksa
Q2_K 2-bit Kualitas turun jelas Sangat kecil Tidak disarankan

Rekomendasi umum: pilih Q4_K_M sebagai titik awal — keseimbangan terbaik antara ukuran, kecepatan, dan kualitas untuk sebagian besar penggunaan.


Bagian 3 — Spesifikasi hardware yang disarankan

Komponen terpenting untuk menjalankan LLM lokal adalah RAM (memori utama) dan GPU VRAM (jika ada). Berikut panduan berdasarkan ukuran model.

RAM: komponen terpenting

Model dimuat ke dalam memori saat berjalan. Jika tidak cukup, komputer akan menggunakan swap (penyimpanan disk sebagai memori virtual) yang membuat inferensi sangat lambat.

Ukuran RAM Kemampuan
8 GB Hanya model sangat kecil (1B–3B parameter, Q4). Performa terbatas, tidak disarankan untuk penggunaan serius.
16 GB Model kecil-menengah (7B–8B parameter, Q4/Q5). Cukup untuk eksperimen dan penggunaan ringan harian.
32 GB Model menengah (13B–14B parameter Q4, atau 7B Q8). Nyaman untuk produktivitas. Rekomendasi minimum untuk penggunaan serius.
64 GB Model besar (30B–34B parameter Q4, atau 13B Q8). Kualitas jawaban sudah sangat baik.
128 GB+ Model sangat besar (70B parameter Q4/Q5). Setara kualitas GPT-3.5 atau lebih.

GPU: akselerator inferensi

GPU tidak wajib — model bisa berjalan di CPU saja — tetapi GPU mempercepat inferensi secara signifikan (bisa 5–20x lebih cepat).

GPU NVIDIA (paling kompatibel):

GPU VRAM Kemampuan
RTX 3060 12 GB Model 7B–8B full VRAM; model 13B hybrid CPU+GPU
RTX 3080 / 3080 Ti 10–12 GB Serupa RTX 3060 12GB
RTX 4060 Ti 16 GB Model 13B nyaman, model 7B sangat cepat
RTX 3090 / 4090 24 GB Model 13B–20B full VRAM; 70B model besar dengan hybrid
RTX 4090 24 GB GPU konsumer terbaik untuk LLM lokal saat ini
NVIDIA A100 / H100 40–80 GB Kelas data center; model 70B+ penuh

GPU AMD (dukungan terbatas):

AMD GPU bisa digunakan melalui ROCm (hanya Linux) atau Vulkan/Metal. Dukungan software lebih terbatas dibanding NVIDIA CUDA. GPU AMD seri RX 7000 ke atas dengan ROCm sudah cukup baik untuk Ollama.

Apple Silicon (M1/M2/M3/M4):

Chip Apple Silicon adalah pengecualian menarik — RAM sistem dan VRAM berbagi satu pool unified memory. Mac M2/M3 dengan 16 GB unified memory dapat menjalankan model 7B dengan baik; 32 GB mampu model 13B; 64 GB+ bisa model 30B–34B. Kecepatan inferensi di Apple Silicon sangat kompetitif berkat optimasi Metal.

Penyimpanan

Model GGUF 7B berukuran ~4–5 GB (Q4_K_M). Model 70B bisa mencapai ~40 GB. Gunakan SSD NVMe untuk loading model yang lebih cepat — loading dari HDD bisa memakan puluhan detik.

Rekomendasi penyimpanan khusus model: 200 GB SSD kosong sebagai titik awal yang nyaman.

Ringkasan konfigurasi per tingkat pengguna

Profil CPU RAM GPU Kemampuan model
Pemula / mahasiswa Intel i5 / Ryzen 5 (generasi 2020+) 16 GB Tidak wajib 7B Q4 (cukup untuk belajar)
Pengguna serius Intel i7 / Ryzen 7 32 GB RTX 3060 12GB atau RTX 4060 Ti 7B–13B Q4/Q5, cepat
Profesional / peneliti Intel i9 / Ryzen 9 64 GB RTX 4090 24GB 13B–34B Q4, nyaman
Advanced / lab Threadripper / Xeon 128–256 GB Dual GPU / A100 70B Q4/Q5, model besar
Apple Silicon M2 Pro/Max atau M3/M4 32–64 GB Unified Terintegrasi 13B–34B sangat efisien

Bagian 4 — Metode instalasi: tiga jalur utama

Ada tiga jalur utama untuk menjalankan LLM lokal, tergantung kebutuhan dan kemampuan teknis.

Jalur 1 — Aplikasi GUI (Grafis): paling mudah

Cocok untuk pengguna yang ingin langsung chat tanpa menyentuh terminal. Semua proses dikelola melalui antarmuka grafis.

Aplikasi ini biasanya menyertakan: - Unduh model langsung dari dalam aplikasi - Antarmuka chat mirip ChatGPT - Pengaturan parameter (temperature, konteks) via slider - Manajemen model (hapus, ganti, update)

Jalur 2 — CLI + Server lokal: fleksibel dan serbaguna

Menjalankan server model di background, lalu antarmuka diakses via browser atau API. Cocok untuk developer, atau pengguna yang ingin mengintegrasikan model ke workflow lain.

Jalur 3 — Python / HuggingFace: paling fleksibel, paling teknis

Menggunakan library Python (transformers, llama-cpp-python, vllm) untuk kontrol penuh. Cocok untuk riset, fine-tuning, dan integrasi ke aplikasi custom.


Bagian 5 — Aplikasi dan tools populer

Ollama

Situs: ollama.com
Platform: macOS, Linux, Windows
Tipe: CLI + server lokal (REST API)
Tingkat kemudahan: ★★★★☆

Ollama adalah tool paling populer untuk menjalankan LLM lokal saat ini. Ia mengunduh, menyimpan, dan menjalankan model GGUF via CLI satu perintah. Di balik layar, Ollama menjalankan server REST API di localhost:11434 sehingga mudah diintegrasikan ke aplikasi lain.

Cara mulai:

# macOS: install via Homebrew
brew install ollama

# Jalankan model (otomatis unduh jika belum ada)
ollama run llama3.2

# Daftar model yang tersedia
ollama list

# Hapus model
ollama rm llama3.2

Kelebihan Ollama: - Setup paling cepat: satu perintah, model langsung berjalan - Library model besar (ratusan model tersedia) - API kompatibel dengan format OpenAI (mudah integrasi) - Multi-modal (beberapa model mendukung gambar) - Auto-deteksi GPU

Kekurangan: - Antarmuka chat bawaan sangat minimal (terminal only) - Konfigurasi model lanjutan butuh file Modelfile tersendiri


LM Studio

Situs: lmstudio.ai
Platform: macOS, Windows, Linux
Tipe: Aplikasi GUI desktop
Tingkat kemudahan: ★★★★★

LM Studio adalah aplikasi desktop all-in-one dengan antarmuka yang sangat ramah pengguna. Tersedia pencarian dan unduh model langsung dari HuggingFace, antarmuka chat yang nyaman, pengaturan parameter via GUI, dan mode server lokal (kompatibel API OpenAI).

Fitur unggulan: - Browser model terintegrasi — cari dan unduh ribuan model GGUF langsung dari dalam aplikasi - Chat dengan beberapa model sekaligus (mode perbandingan) - Playground parameter lengkap (temperature, top-p, repeat penalty, dll.) - Mode server: jalankan LM Studio sebagai server API untuk dipakai aplikasi lain - Mendukung model multi-modal (vision)

Ideal untuk: pengguna baru yang ingin pengalaman GUI terbaik.


Jan.ai

Situs: jan.ai
Platform: macOS, Windows, Linux
Tipe: Aplikasi GUI desktop
Tingkat kemudahan: ★★★★★

Jan adalah aplikasi open-source yang fokus pada privasi. Arsitekturnya modular — model berjalan lokal, tetapi Jan juga bisa terhubung ke API eksternal (OpenAI, Groq, dll.) dari satu antarmuka yang sama. Cocok yang ingin satu tempat untuk semua model.

Fitur unggulan: - Open source sepenuhnya - Model hub terintegrasi - Dukungan threads (riwayat percakapan tersimpan rapi) - Bisa dipakai sebagai gateway API untuk aplikasi lain - Mendukung remote models (API cloud) dan local models dari satu UI


GPT4All

Situs: nomic.ai/gpt4all
Platform: macOS, Windows, Linux
Tipe: Aplikasi GUI desktop
Tingkat kemudahan: ★★★★★

GPT4All adalah salah satu pelopor aplikasi LLM lokal. Sederhana, ringan, dan dirancang untuk komputer dengan spesifikasi terbatas. Dilengkapi fitur LocalDocs untuk chat berbasis dokumen lokal Anda (mirip RAG sederhana).

Fitur unggulan: - Sangat ringan; bisa berjalan di komputer lama - LocalDocs: indeks dokumen PDF/TXT lokal, jawaban dari file Anda - Antarmuka sangat sederhana - Tersedia model yang dioptimasi khusus untuk hardware lemah


Open WebUI (+ Ollama)

Situs: openwebui.com
Platform: Web (berjalan lokal via Docker)
Tipe: Antarmuka web untuk Ollama/OpenAI API
Tingkat kemudahan: ★★★☆☆ (butuh Docker)

Open WebUI adalah antarmuka web yang dapat dijalankan lokal sebagai “ChatGPT versi sendiri”. Ia terhubung ke Ollama (atau server OpenAI-kompatibel lain) dan menyediakan fitur lengkap: manajemen percakapan, upload dokumen, RAG terintegrasi, model gallery, hingga multi-user.

Cara mulai dengan Docker:

docker run -d -p 3000:80 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Lalu buka http://localhost:3000 di browser.

Ideal untuk: yang sudah pakai Ollama dan ingin antarmuka chat yang lebih lengkap.


Koboldcpp

Situs: github.com/LostRuins/koboldcpp
Platform: macOS, Windows, Linux
Tipe: Server lokal dengan GUI ringan
Tingkat kemudahan: ★★★☆☆

KoboldCpp adalah tool serbaguna berbasis llama.cpp dengan antarmuka minimalis. Populer di komunitas kreatif writing dan roleplay karena mendukung konteks sangat panjang dan fitur sampling lanjutan. Juga memiliki mode API untuk integrasi ke tool lain seperti SillyTavern.


llama.cpp (langsung)

Situs: github.com/ggerganov/llama.cpp
Platform: Semua platform
Tipe: Library + executable CLI
Tingkat kemudahan: ★★☆☆☆

Ini adalah “mesin” di balik hampir semua tool lokal. llama.cpp adalah implementasi inferensi C++ yang sangat dioptimasi untuk CPU (dan GPU via CUDA/Metal). Semua tool di atas — Ollama, LM Studio, KoboldCpp — menggunakan llama.cpp di baliknya. Menggunakannya langsung memberi kontrol maksimum tetapi butuh kompilasi dan terminal.


Ringkasan perbandingan tool

Tool GUI CLI/API Kemudahan Kelebihan utama Cocok untuk
Ollama ✗ ✓ ★★★★☆ Paling cepat mulai, ekosistem luas Developer, power user
LM Studio ✓ ✓ ★★★★★ GUI terbaik, browser model lengkap Semua tingkat
Jan.ai ✓ ✓ ★★★★★ Open source, hybrid cloud+lokal Privasi, fleksibel
GPT4All ✓ ✗ ★★★★★ Ringan, LocalDocs Hardware terbatas
Open WebUI Web ✓ ★★★☆☆ Fitur paling lengkap Ollama + tim kecil
KoboldCpp Minimal ✓ ★★★☆☆ Konteks panjang, sampling kustom Creative writing
llama.cpp ✗ ✓ ★★☆☆☆ Performa optimal, kontrol penuh Researcher, dev

Bagian 6 — Strategi pemilihan model

Tidak semua model cocok untuk semua kebutuhan. Berikut panduan memilih model berdasarkan tujuan.

Berdasarkan tugas

Tugas Rekomendasi model
Chat umum / asisten Llama 3.1/3.2, Mistral, Qwen2.5
Coding / pemrograman Qwen2.5-Coder, DeepSeek-Coder, CodeLlama
Penalaran / logika DeepSeek-R1, QwQ, Phi-4
Bahasa Indonesia Qwen2.5, Gemma 2 (cukup baik), atau model khusus ID
Ringkasan dokumen Llama 3.1 8B+, Mistral 7B
Roleplay / kreatif Mixtral MoE, Llama 3.1, model community fine-tune
Embedded / edge device Phi-3.5 Mini, Gemma 2 2B, Llama 3.2 1B/3B
Multi-modal (gambar+teks) LLaVA, Llava-Phi, Llama 3.2 Vision

Berdasarkan hardware

Perangkat Model yang realistis
Laptop lama (8 GB RAM) Phi-3.5 Mini 3.8B, Llama 3.2 1B/3B, Gemma 2 2B
Laptop modern (16 GB RAM) Llama 3.1/3.2 8B, Mistral 7B, Qwen2.5 7B
Desktop + GPU 12 GB Llama 3.1 8B (full GPU), Phi-4 14B hybrid
Desktop + GPU 24 GB Mistral 22B, Qwen2.5 14B full GPU
Workstation (64 GB RAM) Llama 3.1 70B (Q4, CPU-only, lambat), Qwen2.5 32B
Apple M2/M3 32 GB Llama 3.1 8B (sangat cepat), Mistral 22B
Apple M2/M3 64 GB Llama 3.3 70B Q4, Qwen2.5 32B

Bagian 7 — Katalog model lokal populer

Berikut daftar model yang paling banyak dipakai untuk inferensi lokal, beserta detail ukuran, kemampuan, dan kebutuhan hardware.


Keluarga Llama (Meta)

Model open-weight dari Meta yang menjadi standar industri. Llama 3.x adalah generasi terkini (2024).

Llama 3.2 — 1B dan 3B

Atribut Detail
Parameter 1B dan 3B
Ukuran file (Q4_K_M) ~0.7 GB (1B) / ~2 GB (3B)
Konteks 128K token
Lisensi Llama 3.2 Community License
Kecepatan (CPU) Sangat cepat

Kemampuan: Chat ringan, ringkasan singkat, Q&A sederhana. Sangat efisien untuk perangkat edge, Raspberry Pi, atau hardware terbatas. Kualitas jawaban terbatas untuk tugas kompleks.

Cocok untuk: Edge computing, prototype cepat, perangkat RAM rendah.


Llama 3.1 — 8B

Atribut Detail
Parameter 8B
Ukuran file (Q4_K_M) ~4.7 GB
Ukuran file (Q8_0) ~8.5 GB
Konteks 128K token
Lisensi Llama 3.1 Community License
RAM minimum (CPU only) 8 GB (Q4), 12 GB (Q8)
GPU VRAM minimum 6 GB (Q4)

Kemampuan: Chat umum, ringkasan, coding dasar, analisis teks, instruksi kompleks. Kualitas setara GPT-3.5 untuk banyak tugas. Konteks 128K sangat berguna untuk dokumen panjang.

Cocok untuk: Penggunaan harian, coding asisten, analisis dokumen, RAG.


Llama 3.3 — 70B

Atribut Detail
Parameter 70B
Ukuran file (Q4_K_M) ~40 GB
Ukuran file (Q2_K) ~26 GB
Konteks 128K token
Lisensi Llama 3.3 Community License
RAM minimum (CPU only) 48 GB+ (Q4)
GPU VRAM Butuh multi-GPU atau hybrid CPU+GPU

Kemampuan: Setara atau mendekati GPT-4 untuk banyak benchmark. Penalaran kompleks, coding lanjutan, analisis mendalam, kemampuan instruksi multi-langkah yang sangat baik.

Cocok untuk: Workstation dengan RAM 64 GB+, Mac M2/M3 Max/Ultra 64 GB.


Keluarga Mistral

Model dari Mistral AI (Prancis) — dikenal efisien dan berkualitas tinggi relatif terhadap ukurannya.

Mistral 7B Instruct v0.3

Atribut Detail
Parameter 7B
Ukuran file (Q4_K_M) ~4.4 GB
Konteks 32K token
Lisensi Apache 2.0
RAM minimum 8 GB

Kemampuan: Instruksi umum, coding, analisis teks. Kualitas output sangat baik untuk ukurannya. Lisensi Apache 2.0 memungkinkan penggunaan komersial bebas.


Mixtral 8x7B (MoE)

Atribut Detail
Parameter aktif ~12B (dari total 47B, arsitektur Mixture of Experts)
Ukuran file (Q4_K_M) ~26 GB
Konteks 32K token
Lisensi Apache 2.0
RAM minimum 32 GB

Kemampuan: Kualitas setara model 30B–40B tetapi lebih cepat karena hanya mengaktifkan sebagian “ahli” per token. Sangat baik untuk coding, analisis, dan instruksi kompleks. Lisensi komersial bebas.

Cocok untuk: Desktop 32 GB+ RAM, pengguna yang butuh kualitas tinggi dengan lisensi terbuka.


Mistral Small 3.1 (22B)

Atribut Detail
Parameter 22B
Ukuran file (Q4_K_M) ~13 GB
Konteks 128K token
Lisensi Apache 2.0
RAM minimum 16 GB (Q4)
GPU VRAM 16 GB untuk full GPU

Kemampuan: Salah satu model terbaik di kelasnya. Penalaran, coding, dan instruksi multi-bahasa yang sangat baik. Konteks 128K. Cocok sebagai “daily driver” utama untuk mereka dengan hardware menengah ke atas.


Keluarga Qwen (Alibaba Cloud)

Qwen 2.5 adalah salah satu keluarga model open-weight terkuat saat ini — sangat kompetitif dalam benchmark.

Qwen2.5 — 7B

Atribut Detail
Parameter 7B
Ukuran file (Q4_K_M) ~4.7 GB
Konteks 128K token
Lisensi Qwen License (komersial untuk model ≤72B)
RAM minimum 8 GB

Kemampuan: Chat, instruksi, coding, analisis. Dukungan multibahasa sangat baik termasuk bahasa Indonesia dan Mandarin. Sering mengalahkan model 7B lain dalam benchmark.


Qwen2.5 — 14B

Atribut Detail
Parameter 14B
Ukuran file (Q4_K_M) ~8.9 GB
Konteks 128K token
Lisensi Qwen License
RAM minimum 12 GB
GPU VRAM 10–12 GB untuk full GPU

Kemampuan: Sangat baik di hampir semua tugas. Multibahasa kuat. Kualitas mendekati model 30B dari generasi sebelumnya.


Qwen2.5 — 32B

Atribut Detail
Parameter 32B
Ukuran file (Q4_K_M) ~19 GB
Konteks 128K token
Lisensi Qwen License
RAM minimum 24 GB

Kemampuan: Salah satu model terbaik yang bisa dijalankan lokal. Penalaran, coding, dan instruksi kompleks setara GPT-4 Turbo untuk banyak tugas.


Qwen2.5-Coder — 7B dan 32B

Atribut 7B 32B
Ukuran (Q4_K_M) ~4.7 GB ~19 GB
Konteks 128K 128K
Spesialisasi Coding Coding

Kemampuan: Fine-tune khusus pemrograman. Salah satu model coding lokal terbaik — mendukung 90+ bahasa pemrograman, debug, penjelasan kode, dan generasi kode kompleks. Qwen2.5-Coder 32B mendekati kualitas GPT-4 untuk coding.


Keluarga Phi (Microsoft)

Model kecil dari Microsoft Research — dirancang untuk performa tinggi di ukuran sangat kecil.

Phi-4 (14B)

Atribut Detail
Parameter 14B
Ukuran file (Q4_K_M) ~8.5 GB
Konteks 16K token
Lisensi MIT

Kemampuan: Penalaran, STEM (sains, teknologi, matematika), coding. Phi-4 14B sering mengalahkan model yang jauh lebih besar dalam benchmark penalaran. Lisensi MIT sangat terbuka.

Cocok untuk: Tugas penalaran dan STEM; sangat efisien untuk ukurannya.


Phi-3.5 Mini (3.8B)

Atribut Detail
Parameter 3.8B
Ukuran file (Q4_K_M) ~2.2 GB
Konteks 128K token
Lisensi MIT
RAM minimum 4 GB

Kemampuan: Luar biasa untuk ukurannya — konteks 128K di model 3.8B adalah pencapaian besar. Cocok untuk perangkat terbatas. Kualitas instruksi baik; tidak sekuat model 7B+ untuk tugas kompleks.


Keluarga Gemma (Google DeepMind)

Gemma 2 — 2B dan 9B

Atribut 2B 9B
Ukuran (Q4_K_M) ~1.5 GB ~5.4 GB
Konteks 8K 8K
Lisensi Gemma ToS (non-komersial gratis)

Kemampuan: Gemma 2 2B sangat baik untuk ukuran sangat kecil. Gemma 2 9B kompetitif dengan Llama 3.1 8B. Lisensi: boleh digunakan gratis tetapi dengan syarat tertentu (bukan sepenuhnya open-source).


Keluarga DeepSeek

DeepSeek-R1 (versi distilat lokal)

DeepSeek-R1 adalah model penalaran (reasoning) dengan kemampuan “berpikir panjang” (chain-of-thought) mirip o1 dari OpenAI. Versi full sangat besar (671B), tetapi tersedia versi distilat yang jauh lebih kecil.

Versi distilat Parameter Ukuran (Q4_K_M) RAM minimum
DeepSeek-R1-Distill-Qwen-7B 7B ~4.7 GB 8 GB
DeepSeek-R1-Distill-Llama-8B 8B ~4.9 GB 8 GB
DeepSeek-R1-Distill-Qwen-14B 14B ~8.9 GB 12 GB
DeepSeek-R1-Distill-Qwen-32B 32B ~19 GB 24 GB

Kemampuan: Penalaran matematis, logika, dan coding yang jauh melampaui model non-reasoning seukurannya. Model akan “berpikir” terlebih dahulu (terlihat sebagai blok <think>) sebelum memberi jawaban — kualitas lebih baik tetapi lebih lambat.

Cocok untuk: Soal matematika, logika, pemrograman kompleks.


DeepSeek-Coder-V2 Lite (16B)

Atribut Detail
Parameter 16B (MoE, aktif ~2.4B)
Ukuran (Q4_K_M) ~10 GB
Konteks 128K token

Kemampuan: Model coding yang sangat kompetitif dengan arsitektur MoE efisien. Mendukung 338 bahasa pemrograman.


Ringkasan model berdasarkan popularitas dan kasus penggunaan

Model Ukuran (Q4_K_M) RAM min Kelebihan utama Lisensi
Llama 3.2 3B ~2 GB 4 GB Ultra ringan, cepat Community
Llama 3.1 8B ~4.7 GB 8 GB Serbaguna, konteks 128K Community
Llama 3.3 70B ~40 GB 48 GB Kualitas sangat tinggi Community
Mistral 7B ~4.4 GB 8 GB Lisensi Apache, efisien Apache 2.0
Mixtral 8x7B ~26 GB 32 GB MoE cepat, Apache 2.0 Apache 2.0
Mistral Small 22B ~13 GB 16 GB Terbaik di kelasnya, 128K Apache 2.0
Qwen2.5 7B ~4.7 GB 8 GB Multibahasa terbaik Qwen
Qwen2.5 14B ~8.9 GB 12 GB Sangat kompetitif Qwen
Qwen2.5 32B ~19 GB 24 GB Mendekati GPT-4 Qwen
Qwen2.5-Coder 7B ~4.7 GB 8 GB Coding 90+ bahasa Qwen
Phi-4 14B ~8.5 GB 12 GB Penalaran STEM, MIT MIT
Phi-3.5 Mini 3.8B ~2.2 GB 4 GB 128K di model mungil MIT
Gemma 2 2B ~1.5 GB 4 GB Terkecil yang masih baik Gemma ToS
Gemma 2 9B ~5.4 GB 8 GB Kompetitif, dari Google Gemma ToS
DeepSeek-R1-7B ~4.7 GB 8 GB Penalaran chain-of-thought MIT
DeepSeek-R1-32B ~19 GB 24 GB Penalaran sangat kuat MIT

Bagian 8 — Panduan instalasi langkah demi langkah

Skenario A: Ollama (Windows/macOS/Linux) — cara tercepat

Langkah 1 — Unduh dan install Ollama

  • macOS: brew install ollama atau unduh installer dari ollama.com
  • Windows: unduh installer .exe dari ollama.com
  • Linux: curl -fsSL https://ollama.com/install.sh | sh

Langkah 2 — Jalankan model pertama

# Unduh dan langsung jalankan Llama 3.2 3B (ringan, cepat)
ollama run llama3.2

# Atau Llama 3.1 8B untuk kualitas lebih baik
ollama run llama3.1

# Atau Qwen2.5 7B untuk multibahasa lebih baik
ollama run qwen2.5

Perintah ollama run otomatis mengunduh model jika belum ada, lalu membuka sesi chat di terminal.

Langkah 3 — Gunakan model

Ketik pertanyaan di terminal dan tekan Enter. Untuk keluar dari sesi chat, ketik /bye.

Langkah 4 (opsional) — Pasang Open WebUI untuk antarmuka grafis

# Pastikan Docker sudah terinstal
docker run -d -p 3000:80 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Buka http://localhost:3000 di browser.


Skenario B: LM Studio — cara paling mudah (GUI)

Langkah 1 — Unduh installer dari lmstudio.ai dan instal seperti aplikasi biasa.

Langkah 2 — Buka LM Studio. Di tab Discover, cari model yang diinginkan (contoh: “llama 3.1 8B” atau “qwen2.5 7B”). Klik model, pilih versi Q4_K_M, klik Download.

Langkah 3 — Setelah unduhan selesai, pergi ke tab Chat. Pilih model dari dropdown di atas, klik Load Model. Tunggu model dimuat ke memori.

Langkah 4 — Chat seperti biasa. Selesai.


Skenario C: Python + llama-cpp-python — untuk developer

# Install library
pip install llama-cpp-python

# Unduh model GGUF (contoh: Llama 3.1 8B Q4_K_M dari HuggingFace)
# Simpan ke folder lokal, misalnya: ~/models/llama-3.1-8B-Q4_K_M.gguf
from llama_cpp import Llama

# Muat model
llm = Llama(
    model_path="~/models/llama-3.1-8B-Q4_K_M.gguf",
    n_ctx=4096,       # ukuran konteks
    n_gpu_layers=-1,  # -1 = semua layer ke GPU (jika ada)
    verbose=False
)

# Inferensi
output = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Jelaskan apa itu machine learning dalam 3 kalimat."}
    ]
)

print(output["choices"][0]["message"]["content"])

Untuk GPU NVIDIA, install versi dengan dukungan CUDA:

CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python

Bagian 9 — Strategi penggunaan

Strategi 1: Mulai kecil, iterasi naik

Jangan langsung mengunduh model 70B. Mulai dengan model 7B–8B. Evaluasi kualitas untuk kebutuhan Anda. Jika tidak cukup, naik ke 13B, lalu 32B. Banyak pengguna menemukan 7B–14B sudah mencukupi untuk 90% kebutuhan harian mereka.

Strategi 2: Sesuaikan model dengan tugas

Jangan pakai satu model untuk semua tugas. Miliki beberapa model untuk keperluan berbeda: - Coding: Qwen2.5-Coder atau DeepSeek-Coder - Chat harian: Llama 3.1 8B atau Mistral 7B - Dokumen panjang: model dengan konteks 128K (Llama 3.1, Qwen2.5) - Penalaran: DeepSeek-R1 distilat

Strategi 3: Manfaatkan konteks panjang untuk RAG lokal

Model dengan konteks 128K (seperti Llama 3.1 atau Qwen2.5) dapat dimuat dokumen langsung ke prompt tanpa sistem RAG eksternal — untuk dokumen tidak terlalu panjang. Ini lebih sederhana dari setup RAG penuh.

Strategi 4: Buat Modelfile kustom di Ollama

Ollama mendukung Modelfile — file konfigurasi yang memungkinkan Anda membuat “varian” model dengan instruksi sistem, parameter, dan template kustom.

FROM llama3.1

SYSTEM """
Kamu adalah asisten akademik bahasa Indonesia.
Selalu jawab dalam bahasa Indonesia yang formal.
Jika tidak yakin, katakan tidak tahu.
"""

PARAMETER temperature 0.3
PARAMETER num_ctx 8192

Simpan sebagai Modelfile, lalu jalankan:

ollama create asisten-akademik -f Modelfile
ollama run asisten-akademik

Strategi 5: Gunakan mode server untuk integrasi

Ollama dan LM Studio keduanya mendukung server API kompatibel OpenAI. Artinya, aplikasi yang mendukung OpenAI API (seperti Cursor, Continue.dev, atau skrip Python Anda) bisa diarahkan ke server lokal — tanpa biaya, tanpa koneksi internet.

# Menggunakan OpenAI library untuk model Ollama lokal
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama
    api_key="ollama"  # placeholder, tidak diverifikasi
)

response = client.chat.completions.create(
    model="llama3.1",
    messages=[{"role": "user", "content": "Halo!"}]
)
print(response.choices[0].message.content)

Bagian 10 — Sumber model: di mana mengunduh?

HuggingFace (huggingface.co)

Repositori model terbesar di dunia. Hampir semua model open-weight tersedia di sini. Cari model dalam format GGUF di akun bartowski atau TheBloke (untuk koleksi besar) — keduanya adalah komunitas yang secara rutin mengonversi model ke GGUF dengan berbagai tingkat kuantisasi.

Contoh URL: huggingface.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

Ollama Library (ollama.com/library)

Direktori model yang dikurasi Ollama — lebih sedikit pilihan tetapi mudah diunduh via perintah ollama pull.

LM Studio Model Hub

Terintegrasi dalam aplikasi — cari dan unduh langsung dari dalam LM Studio tanpa membuka browser.


Penutup

Menjalankan LLM lokal bukan lagi domain eksklusif peneliti atau engineer berpengalaman. Dengan tool seperti Ollama dan LM Studio, siapapun dengan laptop 16 GB RAM dapat memiliki asisten AI yang berjalan sepenuhnya offline dalam hitungan menit.

Kunci suksesnya adalah tiga hal:

  1. Pilih model yang sesuai hardware — jangan ambisi model besar jika RAM terbatas; model kecil yang berjalan lancar lebih berguna dari model besar yang tersendat.
  2. Pilih tool yang sesuai kebutuhan — GUI untuk kemudahan, CLI/API untuk integrasi dan otomasi.
  3. Iterasi — mulai kecil, eksplorasi model berbeda, sesuaikan dengan workflow nyata Anda.

LLM lokal tidak akan menggantikan model frontier komersial untuk semua tugas — tetapi untuk privasi, offline access, eksperimen, dan penggunaan sehari-hari yang tidak membutuhkan model terbesar, LLM lokal adalah pilihan yang sangat layak dipertimbangkan.


Referensi lanjutan