Bulut, ayrıntı dönüşümünü kafasına çeviriyor

Yayınlanan: 2021-12-28

Yaygın bilgi dönüştürme yöntemi olan ayıkla, tamamen dönüştür ve yükle (ETL), bulut sistemleri tarafından sağlanan modaya uygun bir bükülme ile şu anda hızla tersine çevriliyor.

Bulut'un azalan harcamaları, uyarlanabilirliği ve ölçeklenebilirliği ve bulut bilgi ambarlarının devasa işleme kapasitesi, temel bir değişikliği zorladı: dönüştürmeden hemen önce tüm gerçekleri buluta yükleme yeteneği. Bu gelişme, tek başına ETL'nin - özütleme, yükleme ve tamamen dönüştürme veya ELT'ye dönüştürüldüğü anlamına gelir.

ELT, gerçeklerin ayrıntı düzeyinin korunması, pahalı uygulama mühendislerine duyulan ihtiyacın en aza indirilmesi ve proje geri dönüş durumlarının gözle görülür şekilde azalması ile birlikte bir dizi ödül sağlar.

Bilgi dönüşümü:

Veriler, müşterilerini tanımak, yeni beklentiler belirlemek ve görev için hayati ve güncel verilerle belirleyicilere yardımcı olmak için kullanan şirketler için kritik öneme sahiptir. Ancak, verileri değerlendirmek için öncelikle yapılandırılması gerekir. Panolara, deneyimlere ve tahmine dayalı tarzlara çekilebilmesi için anlaşılmayı arzular.

Buradaki zorluk, pişmemiş gerçeklerin fantastik biçimde biçimlendirilmiş, kullanılabilir veriler olarak sunulmamasıdır. Bu, veri dönüşümünün geldiği yerdir. Dağınık ham ayrıntılar, insanların farklı hırsları gerçekleştirmelerine yardımcı olan gerçekliğin temsillerine yeniden işlenmeyi arzular.

Bu dönüşüm, gerçekler yerine, genellikle bir detay deposuna yüklenmeden önce veya daha sonra ortaya çıkabilir.

Standart ETL:

Geleneksel ETL'de bilgi, yüklenmeden hemen önce incelemeye hazır bilgi modellerine dönüştürülür. Fivetran'dan Charles Wang'ın belirttiği gibi, "dönüşüm ile yüklemeyi tam adımda birleştirmek, depolama ve hesaplama araçlarını koruyabilir, ancak bilgi mühendisliği iş akışına mükemmel bir kırılganlık getirir. Bu aynı zamanda dönüşümler için kullanılan yazılım paketinin genellikle Python ve Java gibi betik dillerinden yararlanılarak oluşturulduğunu gösterir. Ek olarak, ETL'deki dönüşümler, Airflow gibi bu tür enstrümanlardan yararlanan sofistike orkestrasyon için müthiş bir teklif gerektirebilir.”

ETL normalde ayrıca özel yapım kodlardan oluşan müthiş bir teklif içerir. Geleneksel ETL'nin birincil sorunlarından biri bu nedenle erişilebilirliktir. Kıt, yüksek fiyatlı, mühendislerin ve bilim adamlarının dahil olmak istediği gerçekler gibi bu tür anlamına gelir.

Ek bir zorluk, geri dönüş durumlarıyla ilgilidir. Şirket içi bilgi ambarlarıyla ilgili geleneksel ETL işlemleri normalde özellikle zaman alıcıdır. ETL ile çalışmak aynı zamanda düzenli rutin bakımı da içerir ve karmaşıklığa neden olabilir.

Modern dönüşüm teknikleri:

Depolama, alışılageldiği üzere aşırı derecede yüksek fiyatlandırılmıştır. ETL'nin işletmeler için ödülü, tüm bilgilerini nihai konuma yüklemek zorunda kalmamalarıydı. Bu artık bulut sistemleri tarafından geliştirildi. Güney Afrika'da bulutun benimsenmesinde muazzam bir gelişme görüyoruz ve mühendislik ücretleri gözle görülür şekilde düşüyor. Daha düşük masraflar, işletmelerin tüm bilgilerini depolama masrafları konusunda bilinçli olmadan buluta yüklemelerini mümkün kılar.

Bu, günümüz ELT iş akışında, ham bilginin, yüklendikten hemen sonra incelemeye tamamen hazır detay tasarımlarına dönüştürüldüğünü göstermektedir. Depodayken, İngilizceye bağlı sezgisel sözdizimi sayesinde önemli ölçüde daha geniş bir insan yelpazesi tarafından uygulanabilen SQL kullanılarak bilgi yeniden işlenebilir. Dönüşüm sonuç olarak sadece kodlama bilgisine sahip olanlar tarafından değil, organizasyonun SQL okuryazar kullanıcıları tarafından gerçekleştirilebilir.

Günümüzde bilgi dönüşümü, bu nedenle çoğunlukla bulut tabanlı kaynaklar ve sistemlerden yararlanmaktadır. Bunlar toplu olarak modern gerçekler yığını (MDS) olarak adlandırılan şeyi oluşturur.

Bu MDS'nin merkezinde, genellikle ayrıntı göllerini de içerebilen bir bulut ambarı olan oldukça etkili bir bulut bilgi sistemi bulunur. Bilgi, veritabanları, web programları ve API'ler dahil olmak üzere çeşitli kaynak programlarından yüklenir. Bunu yapmak için, pişmemiş bilgiyi tüm sorgu kümesi veri kümelerine dönüştürmek için saygın bir dönüşüm katmanı kullanılır. Ve son olarak, işbirlikçi bir küçük işletme zekası ve görselleştirme çözümü, işletmenin bilgiyle etkileşime girmesine ve bilgi şirketi sonuçlarına eyleme dönüştürülebilir içgörüler çıkarmasına izin verir.

Ayrıntılar Dönüşümün Spekülasyonu olarak tanımlanan kısa makalesinde Wang, MDS'nin bilgileri aşağıdaki aşamalar yoluyla yönlendirdiğini vurgular:

Kaynaklar – operasyonel veritabanlarından, SaaS uygulamalarından, durum takibinden ayrıntılar
Bilgi hattı – gerçekleri kaynaklardan çıkarır ve bilgi deposuna toplar, bazen normalleştirir
Veri ambarı – gerçekleri analitik için optimize edilmiş bir ilişkisel veritabanlarında saklar
Bilgi dönüştürme cihazı - bilgi ambarında yeni olgu modelleri oluşturmak için kaynaktan gelen verileri kullanan SQL'e bağlı bir yazılım
Analitik kaynak – hikayeler ve görselleştirmeler oluşturmak için araçlar, bu tür küçük işletme zekası platformları

Detay deposu içinde dönüşüm:

Dönüşümler, kuruluşların analitik için sahip olması gereken belirli bilgi tasarımlarını oluşturmak üzere özelleştirilmiştir. Contemporary ELT, çıkarma ve yüklemeyi dönüşümden ayırır. Bu, şirketlerin veri entegrasyon yönteminin çıkarma ve yükleme aşamalarını otomatikleştirmesini ve dışarıdan temin etmesini mümkün kılabilir. Daha sonra, ayrıntılar zaten depodayken odaklanmış SQL tabanlı bir dönüştürme cihazı kullanabilirler.

ELT'nin önemli bir avantajı, yüklenmeden önce büyük bir dönüşümden geçmediği için gerçeklerin temelde granüler tipte kalmasıdır. Ortak ETL ile bir işletme, yükleme öncesinde farklı bilgileri toplamış olabilir ve bu nedenle ilk ayrıntı düzeyini tamamen düşürebilir.

Yeni ELT mimarisi ayrıca önemli işlevsellik, esneklik ve fiyat açısından olumlu yönler sunar. Yükleme hızlıdır ve kuruluşlar, şu anda sahip olmaları gerekmese bile, bilgi ambarındaki tüm bilgilerini koruyabilirler.

Wang, “Kabaca söylemek gerekirse, yalnızca bilgi ambarındaki yeniden işlenmiş bilgi stilleri, görünümler veya somutlaştırılmış görünümler olabilir” diyor. Bir kişi bir ödemeye her eriştiğinde, veri ambarının ilgili bilgileri döndürmek için bir sorgu çalıştırdığını açıkça belirterek devam ediyor. Bu görünümler kaydedilmez. "Sıfır gecikmeli ve sınırsız hesaplama araçlarına sahip ideal bir dünyada, tüm dönüşümler temelde görünümler olacaktır" diye ekliyor.

Buna karşılık, büyük bir masadan veya karmaşık bir sorudan anında oluşturulan görünümlerin ayrıntı depolarını boğmasına neden olabileceğinden, gerçekleştirilmiş görüntüler diske kaydedilir.

EtLT:

ELT'ye muhtemelen çoğu senaryoda EtLT olarak atıfta bulunulmalıdır, çünkü bazı hafif ağırlıklı dönüşümler veya normalleştirmeler genellikle bilgi yüklenmeden önce gerçekleştirilir. Bu, fazlalıkları, yinelemeleri ve türetilmiş değerleri ortadan kaldırır. Ayrıca, analistlerin kaynak uygulamasının temel alınan veri ürününü uygun bir şekilde yorumlayabilmeleri ve buna göre değerlendirme için hazırlanmış yeni bilgi türleri oluşturabilmeleri için olgulardan tabloları mümkün olan en açık ilişkiler kümesi halinde düzenler.

Wang, “Dış kaynaklıysa, otomatik ELT işi halletmek için çıkarma ve yükleme boru hatlarının çıktılarının standartlaştırılması gerekiyor” diyor. “Bir kaynaktan alınan bilgiyi etkin bir şekilde normalleştirmek için, tedarik uygulamasının temel işleyişi ve ayrıntı modeli hakkında keskin bir bilgiye sahip olmanız gerekir. Bu zorluğun üstesinden gelmenin ideal yolu, belirli bir kaynak için bilgi mühendisliği ile yoğun bir şekilde karşılaşan bir ekibe çıkarma ve yükleme için dış kaynak kullanmaktır.”

BT Uzmanları, Keyrus