Data mesh son birkaç yılda kurumsal verideki en çok tartışılan mimari örüntülerden biri haline geldi. Temel fikirler — verinin alan sahipliği, ürün olarak veri, self-servis altyapı, federatif yönetişim — merkezi veri ekiplerinin ölçekte boğuştuğu gerçek sorunları ele alıyor.
Pratikte gözlemlediğim şey farklı: data mesh'in gerçekte gerektirdiği organizasyonel değişiklikler yapılmadan data mesh dilini benimseyen organizasyonlar. Sonuç yalnızca isimde data mesh — dağıtık bir mimarinin ek karmaşıklığıyla ve hiçbir fayda olmaksızın.
Data Mesh Gerçekte Ne Öneriyor
Uygulamaların neden başarısız olduğunu tartışmadan önce, örüntünün gerçekte ne gerektirdiğini netleştirmek gerekiyor.
Data mesh öncelikle teknik bir mimari değil. Bir organizasyonel model. Temel iddia, verinin aracı olarak davranan merkezi bir veri ekibi tarafından değil, onu üreten alan ekipleri tarafından sahiplenilmesi, yönetilmesi ve sunulması gerektiği.
Bunun işlemesi için alan ekiplerinin işi yapabilmesi gerekiyor. İş bilgisi değil, veri mühendisliği kapasitesi gerekiyor. Merkezi bir ekip tarafından engellenmeden veri ürünleri inşa etmelerini ve çalıştırmalarını sağlayan araçlar gerekiyor. Alan düzeyinde ürettikleri verinin kalitesi için, görünür metriklerle sorumluluk gerekiyor.
Çoğu organizasyonda bu koşulların hiçbiri mevcut değil. Alan ekiplerinin veri mühendisliği kapasitesi yok. Araçlar yerinde değil. Alan düzeyinde veri kalitesi için sorumluluk yapısı yok. Bu koşulları oluşturmak için gereken organizasyonel değişiklikler önemli ve yavaş.
Organizasyonların Gerçekte Neyi Uyguladığı
Bunun yerine gözlemlediğim şey:
Yeniden adlandırılmış ekipler, değişmemiş sorumluluk. Merkezi veri ekibi "veri platform ekibi" oluyor. Alan ekiplerine artık verilerinin "sahibi" oldukları söyleniyor. Ama veri platform ekibi hâlâ pipeline'ların çoğunu inşa ediyor, hâlâ altyapının çoğunu yönetiyor ve alan ekipleri veri kalitesi sorunlarını kendileri çözmek yerine hâlâ onlara iletiyorlar. Sözcük dağarcığı değişti. Sorumluluk değişmedi.
Dağıtılmış kapasite olmadan dağıtılmış mimari. Bazı organizasyonlar teknik örüntüyü uyguluyor — alan sahipli veri ürünleri, merkezi katalog, paylaşılan altyapı — ama alan ekiplerinin nominally sahip oldukları şeyi sürdürecek becerileri yok. Teknik dağıtım, onu haklı kılacak organizasyonel dağıtım olmaksızın koordinasyon karmaşıklığı yaratıyor.
Federatif karar alma olmadan federatif yönetişim. Alan ekiplerinden temsilcilerle bir yönetişim konseyi oluşturuluyor. Ama konsey geleneksel bir yönetişim komitesi gibi işliyor — merkezi personel gündemi hazırlıyor, merkezi personel kararları uyguluyor ve alan ekibi temsilcileri toplantılara katılıyor ama verileri hakkında anlamlı kararlar almıyor.
Gerçekte Nerede Çalışıyor
İşe yarayan data mesh uygulamaları, somut olmaya değer birkaç karakteristik paylaşıyor.
Alanlar adanmış veri kapasitesini haklı kılacak kadar büyük. İç tüketim için veri ürünü üreten on beş kişilik alan ekibinin adanmış veri mühendisine ihtiyacı yok. Düzenleyici raporlama, aktüeryal modeller ve yönetim raporlamasını besleyen veri üreten iki yüz kişilik alan ekibinin muhtemelen var. Örüntü belirli bir alan karmaşıklığı ölçeğinde çalışıyor; bunun altında, ek yük haklı değil.
Organizasyon gerçek anlamda merkezsizleşmiş sorumluluk uyguluyor. Zor olan bu. Türkiye'deki çoğu finansal hizmet organizasyonunda — küresel olarak çoğu büyük işletmede olduğu gibi — sorumluluk merkezi. Kararlar yukarıdan akıyor. Kaynaklar merkezi olarak tahsis ediliyor. Bir veri ürününün alan ekibi "sahibi" unvanda sorumluluk taşıyor ama pratikte değil. Data mesh gerçek merkezsizleştirme gerektiriyor — bu teknik bir proje değil, organizasyonel kültür değişimi.
Altyapı gerçekten self-servisi mümkün kılıyor. Platformlar var, iyi çalışıyor ve alan ekipleri tarafından önemli merkezi destek olmadan kullanılabiliyor. Bu nadir — çoğu "self-servis veri platformu" pratikte önemli el tutmayı gerektiriyor.
Bununla Ne Yapmalı
Organizasyonunuz data mesh düşünüyorsa, başlamadan önce sorulacak dürüst sorular:
Alan ekiplerinizin bugün veri mühendisliği kapasitesi var mı, yoksa sıfırdan mı inşa ederdiniz? Bu ne kadar sürer ve ne kadara mal olur?
Veri kalitesi sorumluluğu organizasyonunuzda gerçekten dağıtılmış mı, yoksa bir şeyler ters gittiğinde merkezi ekipte mi toplanıyor?
Veri operasyonlarınızın ölçeği, dağıtık bir modelin koordinasyon ek yükünün yarattığı özerklik tarafından haklılaştırılacak kadar büyük mü?
Cevaplar olumsuzsa, organizasyonel temel olmadan data mesh sözcük dağarcığını ve mimarisini benimsemek faydalar olmaksızın karmaşıklık ekleyecek.
Data mesh, doğru koşullardaki doğru organizasyonlar için yararlı bir örüntü. Çoğu organizasyon bu koşullarda değil. Dürüst hamle, gerçekte hangi sorunu çözmeye çalıştığınızı anlamak ve onu çözen yaklaşımı seçmek — bu yıl konferans konuşmaları üreten yaklaşımı değil.