Neden Kendi Sunucumuzu Kurmalıyız? Veri Bağımsızlığı, Gizlilik ve Donanım Seçimi

Posted on

Günümüzde dijital hayatımızın neredeyse tamamı birkaç büyük teknoloji şirketinin (Google, Microsoft, Apple, Amazon) bulut sunucularında barınıyor. E-postalarımız, fotoğraflarımız, kişisel belgelerimiz, evimizdeki akıllı cihazların telemetri verileri ve hatta DNS sorgularımız dahi bu merkezi sunuculardan geçiyor. Bulut konforlu görünse de üç büyük bedeli vardır: Bu 5 bölümlük seride; ev ağınızda tamamen kendi kontrolünüzde çalışan, dış dünyaya bağımlı […]

C++ ile Sıfırdan Hafif ve Asenkron Bir HTTP Sunucusu Geliştirme

Posted on

Ağ programlama serimizin önceki bölümlerinde POSIX soketlerini, fcntl ile bloklamayan (non-blocking) kipi, epoll olay döngüsünü ve arabellek yönetimini bağımsız olarak ele aldık. Bu kapanış bölümünde, öğrendiğimiz tüm bu yapı taşlarını bir araya getirerek harici hiçbir kütüphaneye ihtiyaç duymadan çalışan hafif ve asenkron bir HTTP/1.1 sunucusu mimarisi inşa ediyoruz. 1. Mimari Tasarım: Olay Güdümlü Durum Makinesi […]

Ağ Paketlerinde Parçalanma ve Halka Arabellek (Ring Buffer) Yönetimi

Posted on

Ağ programlamaya yeni başlayanların en sık karşılaştığı kavram yanılgılarından biri, TCP protokolünün gönderilen her mesajı karşı tarafa bağımsız bir paket olarak ulaştıracağını varsaymaktır. TCP bir paket (datagram) protokolü değil, kesintisiz bir bayt akışı (byte stream) protokolüdür. Eğer karşı tarafa arka arkaya iki adet 100 baytlık mesaj gönderirseniz; alıcı taraf bunu tek seferde 200 bayt olarak […]

epoll Mekanizması ile Yüksek Başarımlı Olay Döngüsü (Event Loop) Mimarisi

Posted on

İnternet dünyasında binlerce eşzamanlı istemciye tek bir sunucu üzerinden yanıt verme ihtiyacı doğduğunda (tarihte C10K Problemi olarak bilinir), her bağlantıya bir thread açmak ya da eski select() / poll() mekanizmalarını kullanmak yetersiz kaldı. select her kontrolde $O(N)$ karmaşıklıkla tüm dosya tanımlayıcılarını tek tek taramak zorunda kalırken, Linux çekirdeği 2.5.44 sürümünde devrimsel bir çözüm getirdi: epoll. […]

Bloklamayan (Non-Blocking) I/O ve fcntl ile Arabellek ve Zaman Aşımı Yönetimi

Posted on

Varsayılan yapılandırmada bir ağ soketi üzerinde read() veya recv() çağrıldığında, işletim sistemi arabelleklerine karşı taraftan en az bir bayt veri gelene kadar çağıran iş parçacığı (thread) askıya alınır (sleep/block durumuna geçer). Benzer şekilde write() çağrıldığında, çekirdeğin giden veri tamponu (send buffer) doluysa boş yer açılana kadar işlem kilitlenir. Tek veya birkaç istemciyle konuşurken bu davranış […]

POSIX Soketleri ile TCP ve UDP İletişiminin Temelleri: C++ ile Ağ Programlama

Posted on

Modern yazılım geliştirmede ağ haberleşmesi genellikle yüksek seviyeli kütüphaneler (libcurl, Boost.Asio, gRPC veya HTTP istemcileri) üzerinden yürütülür. Ancak sistem seviyesinde çalışan bir servis, düşük gecikmeli bir veri dağıtım motoru veya gömülü bir cihaz geliştirirken işletim sisteminin çekirdeğiyle doğrudan konuşan POSIX Soket API’si vazgeçilmez bir temeldir. Bu rehberde; Linux çekirdeğinin ağ yığınını yöneten Berkeley/POSIX soket mekanizmasını, […]

Linux Sunucularda vLLM ve PagedAttention ile Yüksek Performanslı Model Dağıtımı

Posted on

Kişisel kullanımda llama.cpp ve Ollama fazlasıyla yeterli ve pratik çözümlerdir. Ancak bir şirkette, geliştirici ekibinde veya yüksek trafikli bir web uygulamasında aynı anda onlarca veya yüzlerce kullanıcının eşzamanlı olarak modelden yanıt beklediği bir senaryoda bu araçlar ciddi performans darboğazlarına girer. Standart motorlar istekleri çoğunlukla sırayla (sequential) işler veya statik gruplama nedeniyle GPU belleğini verimsiz kullanır. […]

Open WebUI ve RAG ile Kendi Özel Yapay Zeka Asistanınızı Kurmak

Posted on

Ollama ile modelleri arka planda bir servis olarak çalıştırmaya başladıktan sonra, bu gücü günlük kullanımda tam verimle değerlendirebilmek için modern bir web arayüzüne ihtiyaç duyarız. Open WebUI (eski adıyla Ollama WebUI); ChatGPT benzeri zengin kullanıcı deneyimini, çoklu model karşılaştırmasını ve en önemlisi RAG (Retrieval-Augmented Generation) yeteneğini yerel ortamınıza getiren en popüler açık kaynak platformdur. Bu […]

Ollama ile Linux’ta Model Yönetimi, Systemd Servisi ve API Entegrasyonu

Posted on

Bir önceki yazıda incelediğimiz llama.cpp, doğrudan C/C++ seviyesinde azami performans ve kontrol sağlar; ancak onlarca farklı modeli indirip denemek, modeller arasında geçiş yapmak ve arka plan servisi olarak yönetmek söz konusu olduğunda süreç manuel iş gücü gerektirir. Ollama, arka planda llama.cpp çekirdeğini kullanarak Docker benzeri pratik bir model yönetim arayüzü sunan açık kaynaklı bir araçtır. […]

llama.cpp ile C/C++ Tabanlı Düşük Kaynaklı LLM Çıkarımı ve GGUF Formatı

Posted on

Yerel yapay zeka devriminin arkasındaki en önemli açık kaynak projelerden biri şüphesiz Georgi Gerganov tarafından başlatılan llama.cpp projesidir. Python bağımlılıkları (PyTorch, Transformers, HuggingFace ekosistemi) olmadan, tamamen saf C ve C++ ile yazılan bu kütüphane; büyük dil modellerini minimum kaynakla çalıştırma standardını belirledi. Bu rehberde; llama.cpp projesinin mimarisini, GGUF formatını, kaynak koddan derleme adımlarını ve yerleşik […]