Varsayılan yapılandırmada bir ağ soketi üzerinde read() veya recv() çağrıldığında, işletim sistemi arabelleklerine karşı taraftan en az bir bayt veri gelene kadar çağıran iş parçacığı (thread) askıya alınır (sleep/block durumuna geçer). Benzer şekilde write() çağrıldığında, çekirdeğin giden veri tamponu (send buffer) doluysa boş yer açılana kadar işlem kilitlenir. Tek veya birkaç istemciyle konuşurken bu davranış […]
Modern yazılım geliştirmede ağ haberleşmesi genellikle yüksek seviyeli kütüphaneler (libcurl, Boost.Asio, gRPC veya HTTP istemcileri) üzerinden yürütülür. Ancak sistem seviyesinde çalışan bir servis, düşük gecikmeli bir veri dağıtım motoru veya gömülü bir cihaz geliştirirken işletim sisteminin çekirdeğiyle doğrudan konuşan POSIX Soket API’si vazgeçilmez bir temeldir. Bu rehberde; Linux çekirdeğinin ağ yığınını yöneten Berkeley/POSIX soket mekanizmasını, […]
Kişisel kullanımda llama.cpp ve Ollama fazlasıyla yeterli ve pratik çözümlerdir. Ancak bir şirkette, geliştirici ekibinde veya yüksek trafikli bir web uygulamasında aynı anda onlarca veya yüzlerce kullanıcının eşzamanlı olarak modelden yanıt beklediği bir senaryoda bu araçlar ciddi performans darboğazlarına girer. Standart motorlar istekleri çoğunlukla sırayla (sequential) işler veya statik gruplama nedeniyle GPU belleğini verimsiz kullanır. […]
Ollama ile modelleri arka planda bir servis olarak çalıştırmaya başladıktan sonra, bu gücü günlük kullanımda tam verimle değerlendirebilmek için modern bir web arayüzüne ihtiyaç duyarız. Open WebUI (eski adıyla Ollama WebUI); ChatGPT benzeri zengin kullanıcı deneyimini, çoklu model karşılaştırmasını ve en önemlisi RAG (Retrieval-Augmented Generation) yeteneğini yerel ortamınıza getiren en popüler açık kaynak platformdur. Bu […]
Bir önceki yazıda incelediğimiz llama.cpp, doğrudan C/C++ seviyesinde azami performans ve kontrol sağlar; ancak onlarca farklı modeli indirip denemek, modeller arasında geçiş yapmak ve arka plan servisi olarak yönetmek söz konusu olduğunda süreç manuel iş gücü gerektirir. Ollama, arka planda llama.cpp çekirdeğini kullanarak Docker benzeri pratik bir model yönetim arayüzü sunan açık kaynaklı bir araçtır. […]
Yerel yapay zeka devriminin arkasındaki en önemli açık kaynak projelerden biri şüphesiz Georgi Gerganov tarafından başlatılan llama.cpp projesidir. Python bağımlılıkları (PyTorch, Transformers, HuggingFace ekosistemi) olmadan, tamamen saf C ve C++ ile yazılan bu kütüphane; büyük dil modellerini minimum kaynakla çalıştırma standardını belirledi. Bu rehberde; llama.cpp projesinin mimarisini, GGUF formatını, kaynak koddan derleme adımlarını ve yerleşik […]
Büyük Dil Modellerinin (LLM) yükselişiyle birlikte yapay zeka araçları günlük yazılım geliştirme pratiklerimizin merkezine yerleşti. Ancak bulut tabanlı API’ler (OpenAI, Anthropic, Google) her senaryo için ideal çözüm değildir. Şirket içi hassas kodların veya kişisel verilerin dış sunuculara aktarılması gizlilik riskleri doğurur; sürekli yapılan API çağrıları yüksek maliyetlere yol açar ve internet bağlantısı kesildiğinde tüm iş […]
Son yıllarda yazılım sektöründe en çok konuşulan konulardan biri Rust programlama dilinin bellek güvenliği (memory safety) vaadiyle C ve C++’ın yerini alıp alamayacağıdır. Özellikle Linux çekirdeğine Rust desteğinin girmesiyle bu tartışmalar gömülü yazılım alanına da sıçradı. Yıllardır C++ ile gömülü Linux (Orange Pi, Raspberry Pi) ve mikrodenetleyiciler (ESP32, STM32) üzerinde çalışan bir mühendis olarak, Rust […]
C++ dünyasında derleme sistemleri uzun süre geliştiricilerin en çok zorlandığı ve kaçındığı konuların başında geldi. Yıllar önce yazılmış CMake projelerine baktığınızda includedirectories(), linkdirectories() ve set(CMAKECXXFLAGS …) gibi küresel değişkenlerle doldurulmuş, projenin bir yerindeki değişikliğin başka bir hedefi beklenmedik şekilde bozduğu kırılgan yapılara rastlarsınız. Bu yazıda; projelerimde eski CMake alışkanlıklarını bırakıp modern hedef (Target) odaklı CMake […]
Kısa süreli çalışan komut satırı araçlarında birkaç baytlık bellek kaçakları işletim sistemi süreç kapandığında temizlediği için genellikle fark edilmez. Ancak bir ağ servisi, kripto ticaret botu veya gömülü donanım üzerinde 7/24 çalışacak bir C++ uygulaması geliştiriyorsanız, döngü başına sızan tek bir bayt bile günler sonra sistemin OOM (Out Of Memory) mekanizması tarafından öldürülmesine neden olur. […]