Cihaz İçi Yapay Zeka ve Mobil NPU

Son birkaç yılda üretken yapay zeka (Generative AI) devrimi büyük ölçüde devasa veri merkezlerindeki binlerce GPU kümesi üzerinde çalışan bulut tabanlı Büyük Dil Modelleri (LLM) üzerinden ilerledi. Ancak her kullanıcı sorgusunu uzak bir sunucuya göndermek; yüksek ağ gecikmesi (latency), devasa sunucu çıkarım (inference) maliyetleri, internet bağlantısı zorunluluğu ve kişisel verilerin buluta taşınmasından kaynaklanan ciddi gizlilik (privacy) risklerini beraberinde getirdi. Bugün akıllı telefon endüstrisinde ve mobil uygulama ekosisteminde yepyeni bir paradigma yükselişte: Cihaz İçi Yapay Zeka (On-Device AI / Edge AI) ve bu modelleri saniyede trilyonlarca işlem hızıyla çalıştıran Mobil NPU (Neural Processing Unit - Sinirsel İşlem Birimi) mimarisi. Bu kapsamlı teknik rehberde, mobil işlemcilerdeki NPU donanımını, Küçük Dil Modellerini (SLM), INT4 kuantalama (quantization) tekniklerini, Apple Core ML ve Google LiteRT (AICore) yazılım yığınlarını ve bulut-cihaz hibrit yapay zeka mimarilerini tüm detaylarıyla inceliyoruz.

Cihaz İçi Yapay Zeka (On-Device AI) Nedir ve Neden Bulutun Yerini Alıyor?

Cihaz İçi Yapay Zeka (On-Device AI), yapay zeka ve derin öğrenme modellerinin (metin üretimi, gerçek zamanlı ses çevirisi, görüntü işleme, nesne tanıma ve tahmine dayalı analiz) herhangi bir bulut sunucusuna veri göndermeden doğrudan kullanıcının akıllı telefonu, tableti veya giyilebilir cihazı üzerindeki donanımlarda çalıştırılmasıdır. Geleneksel mimaride mobil uygulama yalnızca bir arayüz (istemci) görevi görür ve bir REST/gRPC API çağrısıyla buluttaki modeli tetikler. On-Device AI mimarisinde ise model ağırlıkları (weights) doğrudan cihazın yerel depolama alanında barındırılır ve çıkarım (inference) işlemi cihazın kendi çipi üzerinde gerçekleşir.

Modern teknolojik inovasyon örnekleri incelendiğinde, hesaplama gücünün merkezden uca (Edge Computing) doğru kayması en stratejik kırılmalardan biridir. Özellikle geliştiricilerin ve girişim ekiplerinin cihaz içi yapay zekaya yönelmesinin arkasında beş temel mühendislik ve birim ekonomisi nedeni yatmaktadır:

• Sıfıra Yakın Gecikme Süresi (Ultra-Low Latency): Ağ üzerinden veri paketlerinin gidip gelme süresi (RTT - Round Trip Time) ortadan kalkar. İlk token üretim süresi (Time-to-First-Token - TTFT) milisaniyeler seviyesine iner; bu da gerçek zamanlı kamera filtreleri, canlı sesli asistanlar ve anlık klavye tamamlama özellikleri için vazgeçilmezdir.
• Mutlak Veri Gizliliği ve KVKK/GDPR Uyumu (Privacy by Design): Kullanıcının fotoğrafları, mesajları, sağlık verileri, ses kayıtları veya finansal belgeleri cihazdan dışarı çıkmaz. Veri sızıntısı riski mimari düzeyde sıfırlanır.
• Çevrimdışı Çalışabilirlik (Offline Availability): Uçak modunda, metroda, kırsal bölgelerde veya internet bağlantısının kararsız olduğu her ortamda yapay zeka özellikleri kesintisiz çalışmaya devam eder.
• Sıfır Bulut Çıkarım Maliyeti (Zero Cloud Inference Cost): Bir SaaS veya mobil uygulama girişimi için milyonlarca kullanıcının her gün yaptığı AI sorgularının API maliyetleri (Token başına ücretlendirme) kâr marjlarını eritir. Hesaplama yükünü kullanıcının kendi telefonundaki NPU'ya yıkmak, sunucu maliyetlerini yüzde 80'e varan oranda düşürür.
• Kişiselleştirilmiş Bağlam (On-Device Context): Cihaz içindeki model; kullanıcının takvimini, son mesajlarını, konumunu ve uygulama kullanım alışkanlıklarını yerel olarak indeksleyerek bulut modellerinin asla erişemeyeceği derinlikte kişisel bir asistan deneyimi sunar.

Mobil NPU (Neural Processing Unit - Sinirsel İşlem Birimi) Mimarisi Nasıl Çalışır?

Bir akıllı telefonun kalbinde yer alan SoC (System on Chip - Çip Üstü Sistem) artık tek bir işlemciden ibaret değildir; heterojen hesaplama (Heterogeneous Computing) prensibiyle çalışan uzmanlaşmış birimlerden oluşur: CPU (Merkezi İşlem Birimi) ardışık kontrol akışı ve işletim sistemi görevlerini yürütür, GPU (Grafik İşlem Birimi) paralel grafik ve piksel hesaplamalarını üstlenir, NPU (Sinirsel İşlem Birimi / Neural Engine / TPU) ise yalnızca derin öğrenme matematiği olan matris çarpımı ve biriktirme (MAC - Multiply-Accumulate) ile tensör (tensor) operasyonları için sıfırdan tasarlanmış özel bir donanım hızlandırıcısıdır.

CPU ve GPU Yerine Neden NPU Kullanılır?

Yapay sinir ağları ve Transformer mimarileri, özünde milyarlarca ağırlık (weight) ile aktivasyon vektörünün birbirleriyle çarpılıp toplanmasından ibarettir. Bir CPU bu işlemleri tek tek veya küçük vektörler halinde (SIMD) yaparken yüksek enerji tüketir. Mobil GPU'lar paralel işlemde güçlüdür ancak grafik boru hatları (shader pipelines) ve yüksek saat hızları nedeniyle birkaç dakika içinde cihazın aşırı ısınmasına (thermal throttling) ve pilin hızla tükenmesine yol açar. NPU ise Sistolik Dizi (Systolic Array) mimarisini kullanarak veriyi bellekten sürekli okumak yerine işlem birimleri (Processing Elements) arasında doğrudan aktarır; böylece watt başına düşen yapay zeka performansını (Performance per Watt) CPU'ya göre 20 kat, GPU'ya göre ise 3 ila 5 kat artırır.

TOPS (Tera Operations Per Second) Metriği ve Donanım Darboğazları

Mobil NPU'ların işlem gücü TOPS (Saniyede Trilyon İşlem) birimiyle ölçülür. Modern amiral gemisi mobil işlemcilerde (Apple A18 Pro / M4 Neural Engine, Qualcomm Snapdragon 8 Elite Hexagon NPU, MediaTek Dimensity 9400 APU ve Google Tensor G4 TPU) NPU performansı 35 TOPS ile 70+ TOPS bandına ulaşmıştır. Ancak gerçek dünyada cihaz içi LLM çalıştırırken asıl darboğaz NPU'nun TOPS gücü değil, Bellek Bant Genişliği (Memory Bandwidth) ve Birleşik Bellek (Unified Memory / LPDDR5X) kapasitesidir.

Örneğin 3 milyar parametreli (3B) bir dil modelinde üretilen her bir yeni kelime (token) için modelin tüm ağırlıklarının RAM'den NPU'ya okunması gerekir. LPDDR5X belleklerin sunduğu 68 GB/sn ile 85 GB/sn arasındaki bant genişliği, saniyede üretilebilecek maksimum token sayısını (Tokens/sec) doğrudan belirleyen fiziksel sınırdır.

Küçük Dil Modelleri (SLM) ve Model Sıkıştırma (Quantization) Teknikleri

Bulutta çalışan 70 milyar veya 400 milyar parametreli devasa modelleri 8 GB veya 12 GB RAM'e sahip bir akıllı telefona sığdırmak imkansızdır. Bu noktada Küçük Dil Modelleri (Small Language Models - SLMs) devreye girer. 1 milyar ile 4 milyar parametre (1B - 4B) aralığında tasarlanan Apple Foundation Models (3B), Google Gemini Nano (1.8B / 3.25B), Meta Llama 3.2 (1B / 3B), Microsoft Phi-3.5 Mini (3.8B) ve Qwen 2.5 (1.5B / 3B) gibi modeller, yüksek kaliteli sentetik veri setleri ve bilgi damıtma (Knowledge Distillation) yöntemleriyle eğitilerek özetleme, yeniden yazma, duygu analizi, veri çıkarımı ve akıllı yanıt görevlerinde çok daha büyük modellerle yarışır hale gelmiştir.

1. Kuantalama (Quantization: FP32'den INT8 ve INT4'e Geçiş)

Bir modeli mobil cihaza sığdırmanın en kritik matematiksel tekniği Kuantalama (Quantization) işlemidir. Standart eğitim sonrası 3 milyar parametreli bir modelin her ağırlığı 16-bit kayan noktalı sayı (FP16 / BF16) olarak saklandığında model yalnızca ağırlıklar için 6 GB RAM kaplar. Bu boyut bir mobil işletim sistemi için kabul edilemezdir:

• INT8 Quantization (8-Bit Tamsayı): Ağırlıkların 8-bit tamsayıya dönüştürülmesiyle model boyutu yarı yarıya (3 GB'a) düşer, doğruluk kaybı (perplexity artışı) yüzde 1'in altındadır.
• INT4 / 4-Bit Weight Quantization (AWQ / GPTQ / QAT): Ağırlıklar 4-bit hassasiyete indirgendiğinde 3 milyar parametreli bir SLM yalnızca 1,5 GB ile 1,8 GB arasında bellek tüketir! Quantization-Aware Training (QAT - Kuantalama Farkındalıklı Eğitim) uygulandığında model, INT4 formatında bile orijinal doğruluğunun yüzde 97'sini koruyarak saniyede 30 ila 50 token üretim hızına ulaşır.

2. Budama (Pruning), Bilgi Damıtma (Distillation) ve LoRA Adaptörleri

• Yapısal Budama (Structural Pruning): Sinir ağında çıktıya etkisi sıfıra yakın olan nöron bağlantılarının ve dikkat başlıklarının (attention heads) kesilerek modelin hafifletilmesidir.
• Bilgi Damıtma (Knowledge Distillation): Buluttaki devasa bir "Öğretmen Modelin" (Teacher Model - örneğin 70B), ürettiği olasılık dağılımlarını (logits) kullanarak mobil cihazda çalışacak küçük "Öğrenci Modeli" (Student Model - örneğin 2B) eğitmesidir.
• Dinamik LoRA Adaptörleri (Low-Rank Adaptation): Cihazın belleğinde tek bir temel SLM (Base Model) tutulur; bunun üzerine e-posta yazımı, kod tamamlama veya görsel düzenleme gibi farklı görevler için yalnızca 10-30 MB boyutunda olan LoRA adaptör katmanları milisaniyeler içinde takılıp çıkarılır (hot-swapping).

Mobil Yapay Zeka Yazılım Yığınları: Apple Core ML vs. Android AICore & LiteRT

Bir mobil geliştiricinin NPU donanımına doğrudan alt seviye assembly kodu yazması gerekmez. Hem iOS hem de Android ekosistemi, modelleri otomatik olarak CPU, GPU ve NPU arasında paylaştıran gelişmiş çalışma zamanı (runtime) çerçeveleri sunmaktadır. Özellikle çoklu platform mobil uygulama geliştirme ve performans optimizasyonu süreçlerinde bu yerel (native) AI motorlarına köprü (bridge) kurmak kritik önem taşır.

iOS Ekosistemi: Core ML, MLX ve Apple Neural Engine (ANE)

Apple ekosisteminde PyTorch veya TensorFlow ile eğitilen modeller coremltools kütüphanesi aracılığıyla .mlpackage formatına dönüştürülür. Core ML çerçevesi, modelin katmanlarını analiz ederek hangi katmanın Apple Neural Engine (ANE), hangisinin Metal (GPU) ve hangisinin Accelerate (CPU) üzerinde en verimli çalışacağına çalışma zamanında otomatik karar verir. Ayrıca Apple'ın açık kaynaklı MLX (MLX Swift) çerçevesi, birleşik bellek (Unified Memory) mimarisini kullanarak sıfır kopyalama (zero-copy) maliyetiyle iPhone ve iPad cihazlarda yerel LLM ve difüzyon modellerinin çalıştırılmasını kolaylaştırır.

Android Ekosistemi: Google LiteRT (TensorFlow Lite), AICore ve NNAPI

Android dünyasında donanım çeşitliliği (Qualcomm, MediaTek, Samsung Exynos, Google Tensor) nedeniyle soyutlama katmanı çok daha kritiktir. Google'ın yeni nesil yüksek performanslı çalışma zamanı LiteRT (eski adıyla TensorFlow Lite) ve MediaPipe LLM Inference API, modelleri .tflite veya .task formatında çalıştırır. Android 14 ve sonrasında işletim sistemi seviyesinde yerleşik bir sistem servisi olarak çalışan Android AICore, her uygulamanın kendi içinde 2 GB'lık model indirmesi sorununu çözer: işletim sistemi Gemini Nano modelini tek bir merkezde tutar ve uygulamalar Google AI Edge SDK üzerinden bu ortak sistem modelini güvenli bir şekilde çağırır.

Karşılaştırma Tablosu: Cihaz İçi Yapay Zeka (On-Device AI) vs. Bulut Yapay Zeka (Cloud AI)

Mobil ürün mimarinizi tasarlarken hangi iş yükünün cihaz içinde, hangisinin bulutta çalışması gerektiğini aşağıdaki karşılaştırma tablosuna göre planlayabilirsiniz:

Değerlendirme Kriteri	Cihaz İçi Yapay Zeka (On-Device AI / NPU)	Bulut Tabanlı Yapay Zeka (Cloud AI / GPU)	Hibrit Yapay Zeka Mimarisi (Hybrid AI)
Gecikme Süresi (Latency)	Ultra Düşük (< 10-50 ms ilk yanıt)	Orta - Yüksek (250 ms - 2.000+ ms ağa bağlı)	Basit görevlerde anlık, karmaşıkta bulut hızı
Veri Gizliliği (Privacy)	Maksimum (Veri cihazdan asla çıkmaz)	Veri şifreli de olsa dış sunucuda işlenir	Hassas veriler cihazda, genel sorgular bulutta
Çevrimdışı Çalışma (Offline)	Tam Destek (%100 internetsiz çalışır)	İmkansız (Aktif internet bağlantısı şart)	Çevrimdışıyken yerel modele otomatik geçiş
Birim Maliyet (Unit Cost)	$0 Sunucu Çıkarım Maliyeti (Kullanıcı donanımı)	Yüksek (Milyon token / API çağrısı başına maliyet)	Optimize (%70-80 sorgu cihazda ücretsiz çözülür)
Model Kapasitesi ve Zeka	Sınırlı (1B - 4B SLM ve uzmanlaşmış modeller)	Sınırsız (100B+ Frontier LLM ve derin muhakeme)	Görev zorluğuna göre dinamik model seçimi
Cihaz Kaynak Tüketimi	Yüksek RAM (1.5-2 GB), pil ve termal yük	Çok Düşük (Yalnızca JSON/HTTP ağ trafiği)	Pil ve ısınma durumuna göre akıllı dengeleme

Termal Yönetim, Pil Optimizasyonu ve Hibrit Yönlendirme (Hybrid Routing)

Mobil uygulamasına cihaz içi yapay zeka entegre eden mühendislik ekiplerinin karşılaştığı en büyük operasyonel risk; uygulamanın boyutu (App Binary Size), bellekten atılma (Out-of-Memory - OOM Crash) ve pil tüketimidir. Kullanıcı deneyimini bozmadan On-Device AI çalıştırmak için şu dört altın kural uygulanmalıdır:

1. İsteğe Bağlı Model İndirme (On-Demand Asset Delivery): 1,5 GB boyutundaki model dosyasını App Store veya Google Play kurulum paketinin (IPA / APK) içine gömmeyin. Uygulama ilk açıldığında veya kullanıcı AI özelliğini ilk kez tetiklediğinde modeli Wi-Fi üzerinden arka planda (Background Asset Download) indirin.
2. KV Cache Sıkıştırması ve Bellek Haritalama (mmap): Modeli RAM'e tamamen kopyalamak yerine işletim sisteminin mmap (memory-mapped file) özelliğiyle doğrudan depolama üzerinden adresleyin; uygulama arka plana atıldığında model belleğini anında serbest bırakın.
3. Termal ve Pil Farkındalıklı Yönlendirme (Thermal-Aware Routing): iOS ProcessInfo.thermalState ve Android PowerManager API'lerini dinleyin. Eğer cihazın sıcaklığı kritik seviyeye (Serious / Critical) çıkmışsa veya pil seviyesi yüzde 15'in altındaysa, çıkarım işlemini otomatik olarak bulut API'sine devredin.
4. UI/UX ve Dönüşüm Etkisi: Özellikle mobil ticaret uygulamalarında cihaz içi görsel arama, sanal deneme (AR Try-On) ve anlık kişisel öneri motorları kullanmak, mobil e-ticaret tasarımında UI/UX trendleri ve CRO metriklerinde sepete ekleme oranlarını yüzde 30'un üzerinde artırmaktadır. Aynı zamanda yatırım dünyasında yatırımcıların takip ettiği yeni finans teknolojileri arasında cihaz içi biyometrik dolandırıcılık tespiti (On-Device Fraud Detection) en sıcak alanların başında gelmektedir.

Sıkça Sorulan Sorular (SSS)

1. Cihaz içi yapay zeka (On-Device AI) modelleri hangi telefonlarda çalışabilir?

Görüntü sınıflandırma, OCR (optik karakter tanıma) ve ses metne dönüştürme (Whisper Tiny/Base) gibi hafif modeller son 5 yılda üretilen hemen her akıllı telefonda çalışabilir. Ancak 2B-3B parametreli üretken Küçük Dil Modellerini (SLM) akıcı çalıştırmak için en az 8 GB RAM ve INT4 destekli modern bir NPU (iPhone 15 Pro ve üzeri veya Snapdragon 8 Gen 2/3 ve üzeri Android cihazlar) gereklidir.

2. Cihaz içinde çalışan bir model internetteki güncel bilgilere nasıl ulaşır?

Cihaz içi SLM'ler kendi başlarına kapalı bir kutudur; ancak Yerel RAG (On-Device Retrieval-Augmented Generation) mimarisiyle cihaz içindeki vektör veri tabanından (SQLite-vec, ObjectBox) kullanıcının yerel belgelerini okuyabilir veya internet bağlantısı olduğunda hafif bir web arama API'sinden çekilen güncel metin parçalarını (chunks) bağlam penceresine (context window) ekleyerek yanıt üretebilir.

3. INT4 kuantalama (quantization) modelin Türkçe dil başarısını düşürür mü?

Eğer model yalnızca İngilizce ağırlıklı eğitilmişse agresif INT4 sıkıştırması Türkçe gibi sondan eklemeli dillerde dilbilgisi bozulmalarına yol açabilir. Bunu önlemek için kuantalama kalibrasyon veri setine (Calibration Dataset) mutlaka Türkçe metin örnekleri eklenmeli ve kritik dikkat (attention) katmanlarında karma hassasiyet (Mixed-Precision: INT4 + INT8/FP16) kullanılmalıdır.

4. React Native veya Flutter ile geliştirilen uygulamalarda Mobil NPU kullanılabilir mi?

Evet. Doğrudan Dart veya JavaScript katmanında matris çarpımı yapmak yavaştır; ancak JSI (JavaScript Interface), TurboModules veya Flutter FFI (Foreign Function Interface) üzerinden C++ tabanlı llama.cpp, MLC-LLM, LiteRT veya yerel Core ML kütüphaneleri çağrılarak sıfır performans kaybıyla NPU hızlandırması kullanılabilir.

5. Hibrit Yapay Zeka (Hybrid AI) yönlendiricisi (Router) nasıl karar verir?

Cihaz üzerinde çalışan çok hafif bir sınıflandırıcı model (örneğin 100M parametreli BERT türevi), kullanıcının istemini (prompt) milisaniyeler içinde analiz eder. Eğer istek "bu metni özetle" veya "mesaja kısa yanıt yaz" gibi yerel SLM'in çözebileceği bir görevse cihaz içinde işlenir; eğer "karmaşık finansal tabloyu karşılaştır ve Python kodu yaz" gibi derin muhakeme gerektiriyorsa şifreli olarak buluttaki büyük LLM'e yönlendirilir.

Sonuç: Mobil Uygulamaların Geleceği Uçta (Edge) Şekilleniyor

Özetle; Cihaz İçi Yapay Zeka (On-Device AI) ve Mobil NPU mimarisi, yapay zekayı pahalı bir bulut servisi olmaktan çıkarıp her akıllı telefonun standart bir işletim sistemi yeteneğine dönüştürmüştür. INT4 kuantalama, LoRA adaptörleri, Apple Core ML ve Android LiteRT teknolojilerini hibrit bir mimariyle birleştiren mobil yazılım ekipleri; kullanıcılarına hem milisaniyelik hızda ve tam gizlilikte bir deneyim sunmakta hem de bulut sunucu maliyetlerini minimize ederek sürdürülebilir bir büyüme yakalamaktadır.