Veri mühendislerinin sadece çalışan bir pipeline konusunda hissettikleri kendine özgü bir gurur vardır. Siz yaptınız, çalışıyor, yıllardır dikkat gerektirmedi. Bu bir başarı hikayesi.
Aynı zamanda çoğunlukla henüz fark etmediğiniz bir yükümlülük.
Güvenilirlik Tuzağı
Yıllarca müdahale gerektirmeden çalışan bir pipeline, yıllarca kimsenin dokunmadığı bir pipeline'dır. Yani yakın zamanda kodunu kimse okumak zorunda kalmadı. Ne yaptığını kimse açıklamak zorunda kalmadı. Ürettiğinin hâlâ downstream tüketicilerin beklediğiyle eşleşip eşleşmediğini kimse doğrulamadı.
Güvenilirlik ve anlaşılabilirlik aynı şey değildir. Bir pipeline tamamen güvenilir olabilir — geceleri çalışır, çıktı üretir, mevcut doğrulamadan geçer — ve aynı anda ekipteki herkes için tamamen opak olabilir.
Düzenlenmiş ortamlarda, bir şeyin değişmesi gerektiği an bu opaklık sorun haline gelir. Düzenleyici raporlamada ise bir şeyler her zaman sonunda değişir.
Sorunu Ortaya Çıkaran Değişiklik
Değişikliğin büyük olması gerekmiyor. Güncellenmiş yasal bir çerçevenin gerektirdiği yeni bir alan. Bir sütunun veri tipini değiştiren kaynak sistem migrasyonu. Belirli bir kenar durumunun nasıl ele alınması gerektiğini değiştiren bir iş kuralı açıklaması.
Kâğıtta küçük görünen bir değişiklik, kimse şu soruyu güvenle yanıtlayamadığında adli tıp egzersizine dönüşür: Bu pipeline adım adım gerçekte ne yapıyor?
Ekiplerin kendi yaptıkları pipeline'ı çözmeye üç hafta harcadığını gördüm — çünkü orijinal geliştiriciler ayrılmıştı, dokümantasyon hiç yazılmamıştı ve sistemin davranışı yalnızca kodda şifreleniyordu. Kod hızla ve güvenle okunamayacak kadar karmaşık hale geldiğinde, güvenle değiştirme kapasitesini kaybediyorsunuz.
Finansal hizmetlerde ise bir compliance pipeline'ında güvensizce bir şeyi değiştirmek telafi edilemez bir hata.
Hiçbir Dashboard'da Görünmeyen Gizli Maliyetler
Operasyonel veri ekipleri verimi ölçer. Tamamlanan işler, işlenen kayıtlar, hata oranları. Bunlar monitoring dashboard'larında görünen metrikler ve pipeline'ları olduklarından daha sağlıklı gösteriyorlar.
Hiçbir dashboard'da görünmeyen:
Arkeolog vergisi. Kıdemli ekip üyelerinin bir soru ortaya çıktığında pipeline davranışını tersine mühendislikle çözmeye harcadığı zaman. Bu görünmez — "araştırma" gibi görünüyor, "teknik borç ödemesi" gibi değil. Ama aynı şey.
Değişim kaçınma primi. İstenen bir değişikliğin güvenle yapılamayacağına dair güvensizlik nedeniyle kapsam dışına alındığı, ertelendiği ya da etrafından dolaşıldığı sayısız kez. Bu tamamen görünmez — yalnızca inşa edilmeyende kendini gösteriyor.
Bilgi konsantrasyon riski. Kritik bir pipeline'ı yalnızca bir kişi anlıyorsa, o kişinin müsaitliği compliance operasyonlarınız için tek hata noktasıdır. Bu hiçbir risk kaydında yer almıyor. Ama almalı.
Bakımı Yapılabilir Pipeline Gerçekte Nasıl Görünür
Somut olmak istiyorum, çünkü "daha iyi dokümantasyon yazın" herkesin hemfikir olduğu ama kimsenin uygulamadığı bir tavsiye.
Bakımı yapılabilir pipeline, yetkin yeni bir ekip üyesinin tam veri akışını — kaynak alanlardan çıktı alanlarına, her dönüşüm ve her filtre dahil — bir saatin altında anlayabildiği pipeline'dır. Kabaca değil. Bir denetçiye açıklayabilecek kadar kesin olarak.
Bunun için gerekli:
Kod mekaniğinin değil iş mantığının satır içi dokümantasyonu. Kod dönüşümün ne yaptığını zaten açıklıyor. Açıklamadığı neden — hangi düzenleyici gereksinim, hangi iş kuralı, mantığın hangi kenar durumu ele aldığı. İnsanlar ayrıldığında kaybolan bu.
Kaynak alanlar ile çıktı alanları arasında açık lineage. Çıktıdaki her alan bir kaynağa veya belgelenmiş bir türetmeye izlenebilmeli. Gizemli sütun olmamalı.
Yalnızca yürütme değil, davranış testi. Bir pipeline yanlış çıktı üretirken başarıyla çalışabilir. Önemli testler, işin tamamlandığını değil, çıktının doğru olduğunu doğrulayan testler.
Yatırım Konuşması
Çalışan bir pipeline'a bakım yapılabilirlik katmak pahalı. Görünür iş çıktısı olan çalışmalarla rekabet ettiği için planlamak zor olan bir iş türü.
Yatırım gerekçesini ortaya koymanın yolu, gizli maliyetleri görünür kılmak. Geçen çeyrek için arkeolog vergisini tahmin edin. Bilgi konsantrasyon risklerini belirlemek için şunu sorun: oluşturdukları kişi müsait olmasa düzeltilmesi bir günden fazla sürecek pipeline'lar hangileri? Değişim kaçınma primini backlog'u gözden geçirerek ölçün.
Bu maliyetlere rakam koyabildiğinizde, yatırım konuşması farklılaşıyor. Üç yıldır güvenilir şekilde çalışan pipeline başarı gibi görünmeyi bırakıp aslında ne olduğunu göstermeye başlıyor: süregelen faturalı ertelenmiş bakım.
Pipeline'ları yalnızca çalışmaları için değil, okunabilmesi için inşa edin. Fark, değişim anında ortaya çıkıyor — düzenleyici ortamda bu "eğer"le değil, "ne zaman"la ifade edilen bir şey.