Selam dostlar, uzun süredir forumu okuyorum ama ilk kez konu açıyorum. Son zamanlarda yapay zeka işlerine iyice sardım ve tamamen yerel (local) çalıştırabileceğim bir LLM kurmak istiyorum. Gizlilik açısından bulut tabanlı servisleri pek kullanmak istemiyorum, verilerim benim kalsın. Sistemim orta seviye sayılır: Ryzen 5 5600X, 32 GB RAM, RTX 3060 12 GB ekran kartı. Bu donanımla hangi modeli ve hangi yazılımı kullanmalıyım? Bir sürü seçenek var; Ollama, LM Studio, llama.cpp falan. Ayrıca model olarak da Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B gibi seçenekler var. Hangisini önerirsiniz? Kod yazma ve genel sohbet için kullanacağım. Kurulum aşamasında nelere dikkat etmeliyim? Performans için GPU'dan tam verim almak istiyorum. Şimdiden teşekkürler, iyi forumlar!
Yerel LLM (Local LLM) için en iyi kurulum? Ollama mı LM Studio mu?
Cevaplar (5)
08.08.2026 02:13
Öncelikle aramıza hoş geldin! RTX 3060 12 GB ile gayet iyi bir başlangıç yapabilirsin. Bence Ollama ile başlamanı öneririm. Komut satırı arayüzü basit, kurulumu çok kolay ve model indirme işlemini tek komutla hallediyor. Ayrıca Ollama, llama.cpp üzerine kurulu olduğu için GPU kullanımı çok verimli. Model olarak da Llama 3.1 8B'yi Q4_K_M quantizasyonu ile kullanmanı tavsiye ederim. 12 GB VRAM'ine sığar, hızlı çalışır ve kod yazma konusunda da oldukça başarılı. Kurulumdan sonra 'ollama run llama3.1' yazman yeterli. Eğer arayüz istersen, Open WebUI veya Ollama'nın kendi web arayüzünü kurabilirsin. Başka sorun olursa buradayız.
08.08.2026 02:28
taperunner50 yazdı:
Bence Ollama ile başlamanı öneririm. Komut satırı arayüzü basit, kurulumu çok kolay ve model indirme işlemini tek komutla hallediyor.
Hocam Ollama güzel de, ben LM Studio'yu daha çok seviyorum. Özellikle grafik arayüzü sayesinde model indirme, ayarları değiştirme ve chat yapma çok daha kolay. Ayrıca LM Studio, GGUF modelleri doğrudan destekliyor ve 'CPU + GPU' offloading ayarlarını elle yapabiliyorsun. Bu sayede RTX 3060'ın 12 GB VRAM'ine sığmayan modellerde bile CPU'yu da kullanarak daha büyük modelleri çalıştırabilirsin. Benim önerim, LM Studio ile Qwen 2.5 7B Instruct modelini denemen. Qwen serisi, özellikle kod yazma konusunda Llama'dan daha iyi olduğunu düşünüyorum. Ayrıca LM Studio'nun API sunucusu da var, başka uygulamalarla entegre edebilirsin. Bir dene, bence vazgeçemeyeceksin.
08.08.2026 02:48
Bu tartışma tam da kafamdaki soruyu sordu, ben de yeni başlıyorum. Ben de RTX 3060 kullanıyorum ama 12 GB değil 8 GB modeli. Sizce 8 GB ile hangi modeli kullanabilirim? Bir de Ollama mı LM Studio mu? Ben daha çok hikaye yazma ve rol yapma için kullanacağım. Şimdiden teşekkürler!
08.08.2026 03:13
8 GB VRAM ile de rahatça çalışırsın. Örneğin Llama 3.1 8B'nin Q4_K_M quantizasyonu yaklaşık 4.9 GB yer kaplıyor, bu da 8 GB'a sığar. Hatta Mistral 7B veya Qwen 2.5 7B de sığar. Ama hikaye yazma ve rol yapma için biraz daha yaratıcılık istiyorsan, 13B modelleri de deneyebilirsin. Örneğin Llama 3.1 8B'den daha iyi olabilir. Ama 13B modeller 8 GB'a sığmayabilir, o zaman CPU offloading yapman gerekir. Bu durumda LM Studio'nun ayarları daha esnek olduğu için onu öneririm. Ayrıca rol yapma için 'System Prompt' ayarları önemli, LM Studio'da bunu çok rahat yapıyorsun. Ben de hikaye yazmak için LM Studio + MythoMax 13B kullanıyorum, memnunum.
08.08.2026 03:58
Herkese çok teşekkür ederim! Önerileriniz üzerine önce Ollama ile başladım, sonra LM Studio'yu da denedim ve LM Studio'nun arayüzünü daha çok sevdim. Qwen 2.5 7B Instruct modelini indirdim, Q4_K_M quantizasyonu ile harika çalışıyor. GPU kullanımı %95 civarında, çok hızlı. Kod yazma konusunda da gayet başarılı, basit scriptler yazdırdım, hata ayıklama bile yaptı. Sorunum çözüldü, emeği geçen herkese teşekkürler! Özellikle copperhunter45'e LM Studio tavsiyesi için ayrıca teşekkür ederim. Bu forum gerçekten altın değerinde, iyi ki varsınız!
Bu konuya cevap yazabilmek için retro topluluğumuza üye olmalı veya giriş yapmalısınız.
İlgili Konular & Benzer Paylaşımlar
Stable Diffusion'da el anatomisi sorunu: ControlNet OpenPose yeterli mi?
Kategori: Yapay Zeka Araçları
Yerel LLM'de (Ollama) Türkçe Dil Desteği Nasıl Geliştirilir?
Kategori: Yapay Zeka Araçları
Eski bir retro oyunun görsellerini yapay zeka ile yükseltmek (upscale) için en iyi araç hangisi?
Kategori: Yapay Zeka Araçları