Kurumsal Veri Ambarı ve BI Platformu

01Zorluk

Kurumlarda raporlama genellikle Excel dosyaları ve sistemlerden elle alınan dökümlerle yürür. Bunun üç bedeli vardır: Aynı metrik farklı departmanlarda farklı hesaplanır, raporlar günler gecikir ve geçmişe dönük tutarlı analiz neredeyse imkânsızlaşır. Hedefimiz; kaynak sistemleri yormadan veriyi düzenli aralıklarla toplayan, iş kurallarını tek bir dönüşüm katmanında standartlaştıran ve "bu rakam nereden geldi?" sorusuna satır düzeyinde köken (lineage) iziyle yanıt verebilen bir platform kurmaktı. Modelin, yeni veri kaynakları eklendikçe yeniden yazım gerektirmeden büyüyebilmesi temel kısıttı.

02Mimari ve Çözüm

Platformu katmanlı bir veri mimarisi üzerine kurguladık: ham veri (staging), dönüşüm (transform) ve sunum (mart) katmanları birbirinden ayrıdır.

• Veri alımı: Apache Airflow ile zamanlanmış ETL hatları; kaynak sistemlerden artımlı (incremental) çekim, tam yüklemenin yalnızca ilk kurulumda yapılması ve kaynak veritabanlarına okuma replikası üzerinden erişim.
• Dönüşüm katmanı: dbt ile sürüm kontrollü, test edilebilir SQL dönüşümleri; her iş metriği (ciro, marj, stok devir hızı) tek bir modelde tanımlanır ve tüm raporlar aynı tanımı kullanır.
• Depolama: PostgreSQL üzerinde boyutsal modelleme (star schema); büyük hacimli olay verileri için Apache Spark ile toplu işleme ve partisyon stratejisi.
• Veri kalitesi: Dönüşüm hattına gömülü otomatik testler — benzersizlik, bütünlük, kabul aralığı; test kırılımları panoya yansımadan hattı durdurur ve ekibe bildirir.
• Sunum katmanı: Power BI ve Metabase üzerinde rol bazlı panolar; yöneticiler için özet KPI görünümleri, analistler için self servis sorgu alanı.

Tüm hat Docker üzerinde çalışır; Airflow görev grafiği, gece penceresinde tamamlanacak şekilde paralelleştirilmiştir. Redis, sık erişilen pano sorgularının önbelleğinde kullanılır.

03Teknik Sonuçlar

• Tek dönüşüm katmanı ilkesi, "farklı raporlarda farklı ciro" problemini yapısal olarak ortadan kaldırır; metrik tanımları sürüm kontrolünde izlenir.
• Artımlı yükleme stratejisi, gece ETL penceresini kaynak tablolar büyüse bile sabit tutmayı hedefler; yüz milyonlarca satırlık tarihsel veri için boyutlandırıldı.
• Veri kalitesi testleri hatta gömülü olduğundan, hatalı veri panolara ulaşmadan yakalanır; her çalışmada yüzlerce otomatik kontrol koşar.
• Boyutsal model ve önbellek stratejisi, yönetim panolarının saniyeler içinde açılması hedefiyle tasarlandı.
• dbt dokümantasyonu ve köken grafiği, herhangi bir KPI'ın hangi kaynak alanlardan türediğini denetlenebilir biçimde gösterir.