Ağ programlama serimizin önceki bölümlerinde POSIX soketlerini, fcntl ile bloklamayan (non-blocking) kipi, epoll olay döngüsünü ve arabellek yönetimini bağımsız olarak ele aldık. Bu kapanış bölümünde, öğrendiğimiz tüm bu yapı taşlarını bir araya getirerek harici hiçbir kütüphaneye ihtiyaç duymadan çalışan hafif ve asenkron bir HTTP/1.1 sunucusu mimarisi inşa ediyoruz. 1. Mimari Tasarım: Olay Güdümlü Durum Makinesi […]
Ağ programlamaya yeni başlayanların en sık karşılaştığı kavram yanılgılarından biri, TCP protokolünün gönderilen her mesajı karşı tarafa bağımsız bir paket olarak ulaştıracağını varsaymaktır. TCP bir paket (datagram) protokolü değil, kesintisiz bir bayt akışı (byte stream) protokolüdür. Eğer karşı tarafa arka arkaya iki adet 100 baytlık mesaj gönderirseniz; alıcı taraf bunu tek seferde 200 bayt olarak […]
İnternet dünyasında binlerce eşzamanlı istemciye tek bir sunucu üzerinden yanıt verme ihtiyacı doğduğunda (tarihte C10K Problemi olarak bilinir), her bağlantıya bir thread açmak ya da eski select() / poll() mekanizmalarını kullanmak yetersiz kaldı. select her kontrolde $O(N)$ karmaşıklıkla tüm dosya tanımlayıcılarını tek tek taramak zorunda kalırken, Linux çekirdeği 2.5.44 sürümünde devrimsel bir çözüm getirdi: epoll. […]
Varsayılan yapılandırmada bir ağ soketi üzerinde read() veya recv() çağrıldığında, işletim sistemi arabelleklerine karşı taraftan en az bir bayt veri gelene kadar çağıran iş parçacığı (thread) askıya alınır (sleep/block durumuna geçer). Benzer şekilde write() çağrıldığında, çekirdeğin giden veri tamponu (send buffer) doluysa boş yer açılana kadar işlem kilitlenir. Tek veya birkaç istemciyle konuşurken bu davranış […]
Modern yazılım geliştirmede ağ haberleşmesi genellikle yüksek seviyeli kütüphaneler (libcurl, Boost.Asio, gRPC veya HTTP istemcileri) üzerinden yürütülür. Ancak sistem seviyesinde çalışan bir servis, düşük gecikmeli bir veri dağıtım motoru veya gömülü bir cihaz geliştirirken işletim sisteminin çekirdeğiyle doğrudan konuşan POSIX Soket API’si vazgeçilmez bir temeldir. Bu rehberde; Linux çekirdeğinin ağ yığınını yöneten Berkeley/POSIX soket mekanizmasını, […]
Kişisel kullanımda llama.cpp ve Ollama fazlasıyla yeterli ve pratik çözümlerdir. Ancak bir şirkette, geliştirici ekibinde veya yüksek trafikli bir web uygulamasında aynı anda onlarca veya yüzlerce kullanıcının eşzamanlı olarak modelden yanıt beklediği bir senaryoda bu araçlar ciddi performans darboğazlarına girer. Standart motorlar istekleri çoğunlukla sırayla (sequential) işler veya statik gruplama nedeniyle GPU belleğini verimsiz kullanır. […]
Ollama ile modelleri arka planda bir servis olarak çalıştırmaya başladıktan sonra, bu gücü günlük kullanımda tam verimle değerlendirebilmek için modern bir web arayüzüne ihtiyaç duyarız. Open WebUI (eski adıyla Ollama WebUI); ChatGPT benzeri zengin kullanıcı deneyimini, çoklu model karşılaştırmasını ve en önemlisi RAG (Retrieval-Augmented Generation) yeteneğini yerel ortamınıza getiren en popüler açık kaynak platformdur. Bu […]
Bir önceki yazıda incelediğimiz llama.cpp, doğrudan C/C++ seviyesinde azami performans ve kontrol sağlar; ancak onlarca farklı modeli indirip denemek, modeller arasında geçiş yapmak ve arka plan servisi olarak yönetmek söz konusu olduğunda süreç manuel iş gücü gerektirir. Ollama, arka planda llama.cpp çekirdeğini kullanarak Docker benzeri pratik bir model yönetim arayüzü sunan açık kaynaklı bir araçtır. […]
Yerel yapay zeka devriminin arkasındaki en önemli açık kaynak projelerden biri şüphesiz Georgi Gerganov tarafından başlatılan llama.cpp projesidir. Python bağımlılıkları (PyTorch, Transformers, HuggingFace ekosistemi) olmadan, tamamen saf C ve C++ ile yazılan bu kütüphane; büyük dil modellerini minimum kaynakla çalıştırma standardını belirledi. Bu rehberde; llama.cpp projesinin mimarisini, GGUF formatını, kaynak koddan derleme adımlarını ve yerleşik […]
Büyük Dil Modellerinin (LLM) yükselişiyle birlikte yapay zeka araçları günlük yazılım geliştirme pratiklerimizin merkezine yerleşti. Ancak bulut tabanlı API’ler (OpenAI, Anthropic, Google) her senaryo için ideal çözüm değildir. Şirket içi hassas kodların veya kişisel verilerin dış sunuculara aktarılması gizlilik riskleri doğurur; sürekli yapılan API çağrıları yüksek maliyetlere yol açar ve internet bağlantısı kesildiğinde tüm iş […]