Cloud mengubah transformasi detail di kepalanya

Diterbitkan: 2021-12-28

Metode transformasi informasi umum ekstrak, transformasi penuh, dan muat (ETL) dengan cepat saat ini sedang diputar di atas kepalanya dalam sentuhan modis yang dimungkinkan oleh sistem cloud.

Penurunan pengeluaran Cloud, kemampuan beradaptasi dan skalabilitasnya, dan kemampuan pemrosesan yang sangat besar dari gudang pengetahuan cloud, telah mendorong perubahan utama: kemampuan untuk memuat semua fakta ke dalam cloud, tepat sebelum mengubahnya. Perkembangan ini berarti bahwa ETL saja telah diubah—menjadi ekstrak, memuat dan sepenuhnya mengubah, atau ELT.

ELT memberikan sejumlah penghargaan, bersama dengan penyimpanan granularitas fakta, kebutuhan yang diminimalkan untuk insinyur aplikasi yang mahal, dan situasi penyelesaian proyek yang berkurang secara nyata.

Transformasi informasi:

Data sangat penting bagi perusahaan, yang menggunakannya untuk mengenali klien mereka, menentukan prospek baru, dan membantu pembuat tekad dengan data misi-vital dan terkini. Namun, untuk mengevaluasi data, pertama-tama harus terstruktur. Ia ingin dipahami sehingga dapat ditarik ke dasbor, pengalaman, dan gaya prediksi.

Tantangannya adalah fakta mentah tidak ditampilkan sebagai data yang dapat digunakan dan diformat secara fantastis. Di situlah transformasi data terjadi. Detail mentah yang berantakan ingin dikerjakan ulang menjadi representasi realitas yang membantu orang mencapai ambisi yang berbeda.

Transformasi ini dapat dilakukan baik sebelum fakta dimuat ke lokasinya, umumnya gudang detail, atau nanti

ETL standar:

Dalam ETL konvensional, informasi dirombak menjadi model pengetahuan siap-pemeriksaan tepat sebelum dimuat. Seperti yang dicatat oleh Charles Wang dari Fivetran, “menggabungkan transformasi dengan pemuatan ke dalam langkah yang tepat dapat menghemat penyimpanan dan sarana komputasi, tetapi memperkenalkan banyak kerapuhan ke dalam alur kerja rekayasa info. Ini juga berarti bahwa paket perangkat lunak yang digunakan untuk transformasi biasanya dibuat menggunakan bahasa skrip seperti Python dan Java. Selain itu, transformasi dalam ETL mungkin memerlukan penawaran hebat dari orkestrasi canggih yang menggunakan instrumen seperti Airflow.”

ETL biasanya juga melibatkan tawaran kode yang dibuat khusus. Oleh karena itu, salah satu masalah utama ETL tradisional adalah aksesibilitas. Langka, harga tinggi berarti bahwa para insinyur dan ilmuwan ingin terlibat.

Kesulitan tambahan menyangkut kesempatan turnaround. Perawatan ETL konvensional yang terlibat dengan gudang info di lokasi biasanya sangat memakan waktu. Bekerja dengan ETL juga melibatkan perawatan rutin rutin dan dapat menimbulkan kerumitan.

Teknik modern untuk transformasi:

Penyimpanan biasanya memiliki harga yang sangat tinggi. Hadiah dari ETL untuk bisnis adalah bahwa mereka tidak harus memuat semua pengetahuan mereka ke lokasi akhir. Itu sekarang telah diperbaiki oleh sistem cloud. Kami melihat peningkatan besar dalam adopsi cloud di Afrika Selatan dan biaya rekayasa menurun secara nyata. Biaya yang lebih rendah memungkinkan bisnis memuat semua informasi mereka ke cloud, tanpa harus mempertimbangkan biaya penyimpanan.

Ini menunjukkan bahwa dalam alur kerja ELT saat ini, pengetahuan mentah diubah menjadi desain detail yang benar-benar siap diperiksa setelah dimuat. Saat berada di gudang, pengetahuan dapat dikerjakan ulang menggunakan SQL, yang berkat sintaks intuitifnya yang bergantung pada bahasa Inggris, dapat diterapkan oleh lebih banyak orang secara signifikan. Transformasi sebagai hasilnya dapat dilakukan oleh pengguna organisasi yang melek SQL dan tidak hanya oleh mereka yang memiliki pengetahuan pengkodean.

Transformasi info saat ini sangat memanfaatkan sebagian besar sumber daya dan sistem berbasis cloud. Ini secara kolektif membentuk apa yang disebut sebagai tumpukan fakta modern (MDS).

Inti dari MDS ini adalah sistem pengetahuan cloud yang sangat efektif, biasanya gudang cloud yang juga dapat melibatkan detail danau. Pengetahuan dimuat ke dalamnya dari berbagai program sumber daya termasuk database, program web, dan API. Untuk melakukan ini, lapisan transformasi yang memiliki reputasi baik digunakan untuk mengubah pengetahuan mentah menjadi kumpulan data kueri-semua. Dan akhirnya, solusi visualisasi dan intelijen bisnis kecil kolaboratif memungkinkan bisnis berinteraksi dengan pengetahuan dan menarik wawasan yang dapat ditindaklanjuti ke kesimpulan perusahaan informasi.

Dalam artikel singkatnya yang berjudul Details Transformation Spelled out, Wang menjelaskan bahwa MDS menyalurkan informasi melalui tahapan berikut:

Sumber daya – detail dari database operasional, aplikasi SaaS, pelacakan acara
Saluran pengetahuan – mengekstrak fakta dari sumber daya dan memasukkannya ke dalam gudang informasi, terkadang menormalkannya
Gudang data – menyimpan fakta dalam database relasional yang dioptimalkan untuk analitik
Perangkat transformasi pengetahuan – perangkat lunak yang bergantung pada SQL yang menggunakan data dari sumbernya untuk membuat model fakta baru di dalam gudang informasi
Sumber daya analitik – alat untuk menghasilkan cerita dan visualisasi, seperti platform intelijen bisnis kecil

Transformasi dalam gudang detail:

Transformasi disesuaikan untuk menghasilkan desain info tertentu yang harus dimiliki organisasi untuk analitik. ELT kontemporer memisahkan ekstraksi dan pemuatan dari transformasi. Ini memungkinkan perusahaan untuk mengotomatisasi dan mengalihdayakan fase ekstraksi dan pemuatan metode integrasi data. Mereka kemudian dapat menggunakan perangkat transformasi berbasis SQL yang terfokus pada saat detail sudah ada di gudang.

Keunggulan utama ELT adalah fakta pada dasarnya tetap dalam tipe granular karena belum melalui transformasi besar sebelum dimuat. Dengan ETL umum, sebuah bisnis mungkin telah mengumpulkan pengetahuan yang berbeda sebelum memuat, sehingga menghilangkan granularitas pertamanya sepenuhnya.

Arsitektur ELT baru juga memberikan fungsionalitas substansial, fleksibilitas, dan aspek positif harga. Pemuatan berlangsung cepat, dan organisasi dapat menyimpan semua pengetahuan mereka di gudang informasi, bahkan yang mungkin tidak mereka miliki saat ini.

“Secara kasar, gaya informasi yang dikerjakan ulang hanya dalam gudang informasi dapat berupa tampilan atau tampilan yang terwujud,” catat Wang. Dia melanjutkan untuk menjelaskan bahwa setiap kali seseorang mengakses check out, gudang data menjalankan kueri untuk mengembalikan informasi yang relevan. Tampilan ini tidak disimpan. “Di bumi yang ideal dengan latensi nol dan sarana komputasi yang tidak terbatas, semua transformasi pada dasarnya adalah tampilan,” tambahnya.

Sebaliknya, tampilan nyata disimpan di disk karena tampilan yang dibuat dengan cepat dari meja besar atau pertanyaan rumit dapat menyebabkan gudang detail tersendat.

ELT:

ELT mungkin harus disebut sebagai EtLT di sebagian besar skenario, karena beberapa transformasi tugas ringan, atau normalisasi, sering dilakukan sebelum pengetahuan dimuat. Ini menghilangkan redundansi, duplikat, dan nilai turunan. Ini juga mengatur tabel dari fakta ke dalam set keterkaitan yang paling jelas dan layak sehingga analis dapat dengan mudah menginterpretasikan produk data yang mendasari aplikasi sumber daya, dan membangun tipe info baru yang disiapkan untuk evaluasi.

“Keluaran dari pipa ekstraksi dan pemuatan perlu distandarisasi jika dialihdayakan, ELT otomatis adalah untuk menyelesaikan pekerjaan,” kata Wang. “Untuk menormalkan informasi secara efektif dari sumber daya, Anda harus memiliki pengetahuan yang tajam tentang operasi dasar dan model detail aplikasi suplai. Cara ideal untuk menghindari tantangan ini adalah dengan mengalihdayakan ekstraksi dan pemuatan ke tim yang memiliki pertemuan intensif dengan rekayasa informasi untuk sumber daya tertentu tersebut.”

Spesialis TI, Keyrus