Kurumsal Veri Ambarı ve BI Platformu

Bu çalışma, kurumsal raporlama ihtiyaçları için geliştirdiğimiz veri ambarı ve iş zekâsı (BI) platformu referans mimarisini sergiler. Platform; ERP, CRM, e-ticaret ve muhasebe gibi dağınık kaynaklardaki veriyi tek doğruluk kaynağında (single source of truth) birleştirmek ve yönetim ekiplerine self servis analiz olanağı sunmak üzere, yüz milyonlarca satırlık tarihsel veri hedefiyle tasarlandı.

Zorluk

Kurumlarda raporlama genellikle Excel dosyaları ve sistemlerden elle alınan dökümlerle yürür. Bunun üç bedeli vardır: Aynı metrik farklı departmanlarda farklı hesaplanır, raporlar günler gecikir ve geçmişe dönük tutarlı analiz neredeyse imkânsızlaşır. Hedefimiz; kaynak sistemleri yormadan veriyi düzenli aralıklarla toplayan, iş kurallarını tek bir dönüşüm katmanında standartlaştıran ve "bu rakam nereden geldi?" sorusuna satır düzeyinde köken (lineage) iziyle yanıt verebilen bir platform kurmaktı. Modelin, yeni veri kaynakları eklendikçe yeniden yazım gerektirmeden büyüyebilmesi temel kısıttı.

Mimari ve Çözüm

Platformu katmanlı bir veri mimarisi üzerine kurguladık: ham veri (staging), dönüşüm (transform) ve sunum (mart) katmanları birbirinden ayrıdır.

• Veri alımı: Apache Airflow ile zamanlanmış ETL hatları; kaynak sistemlerden artımlı (incremental) çekim, tam yüklemenin yalnızca ilk kurulumda yapılması ve kaynak veritabanlarına okuma replikası üzerinden erişim.
• Dönüşüm katmanı: dbt ile sürüm kontrollü, test edilebilir SQL dönüşümleri; her iş metriği (ciro, marj, stok devir hızı) tek bir modelde tanımlanır ve tüm raporlar aynı tanımı kullanır.
• Depolama: PostgreSQL üzerinde boyutsal modelleme (star schema); büyük hacimli olay verileri için Apache Spark ile toplu işleme ve partisyon stratejisi.
• Veri kalitesi: Dönüşüm hattına gömülü otomatik testler — benzersizlik, bütünlük, kabul aralığı; test kırılımları panoya yansımadan hattı durdurur ve ekibe bildirir.
• Sunum katmanı: Power BI ve Metabase üzerinde rol bazlı panolar; yöneticiler için özet KPI görünümleri, analistler için self servis sorgu alanı.

Tüm hat Docker üzerinde çalışır; Airflow görev grafiği, gece penceresinde tamamlanacak şekilde paralelleştirilmiştir. Redis, sık erişilen pano sorgularının önbelleğinde kullanılır.

Teknik Sonuçlar

• Tek dönüşüm katmanı ilkesi, "farklı raporlarda farklı ciro" problemini yapısal olarak ortadan kaldırır; metrik tanımları sürüm kontrolünde izlenir.
• Artımlı yükleme stratejisi, gece ETL penceresini kaynak tablolar büyüse bile sabit tutmayı hedefler; yüz milyonlarca satırlık tarihsel veri için boyutlandırıldı.
• Veri kalitesi testleri hatta gömülü olduğundan, hatalı veri panolara ulaşmadan yakalanır; her çalışmada yüzlerce otomatik kontrol koşar.
• Boyutsal model ve önbellek stratejisi, yönetim panolarının saniyeler içinde açılması hedefiyle tasarlandı.
• dbt dokümantasyonu ve köken grafiği, herhangi bir KPI'ın hangi kaynak alanlardan türediğini denetlenebilir biçimde gösterir.

Bu referans mimari; perakende, üretim, lojistik ve hizmet sektörlerindeki raporlama senaryolarına uyarlanabilir. Mevcut veri kaynaklarınızın envanteriyle başlayan bir keşif çalışmasıyla yol haritasını birlikte çıkarabiliriz.