Evrimi işleyen gerçekler: Saksılı bir arka plan
Yayınlanan: 2022-03-14(Açık tedarik) ayrıntı işleme nasıl gelişti? Ve veri işleme çerçeveleri ekstra rafine hale geldikçe ve üretilen bilginin hacmi ve hızı her geçen saat artarken, ayırt edici sistemler zaman içinde nasıl ilerledi?
Sonraki iki konuyu yanıtlamak için test etmemize izin verin: Ayrıntıları nasıl işleyebiliriz ve günümüzde elimizde bulunan bilgi işleme teknikleri nelerdir? İşlem bilgilerini neden alıyoruz?
Önemli miktarda ilgili gadget'ları, sensörleri ve web sayfası ziyaretlerini düşündüğünüzde bu oldukça açıktır. İnsan ve ekipman tarafından üretilen tüm detaylardan bahsetmiyorum bile. Bilgi işlemenin, bilgisayar sistemlerini icat ettiğimizden ve bilgiye ulaşmayı deneyimlediğimizden beri her yerde olduğu açıktır.
Başlangıçta…
Kişisel bilgisayarların yaratılması, bilgi ve gerçeklerin işlenmesi için net bir ihtiyaç yaratacaktır. Bu inanılmaz erken zamanlarda, dizüstü veya bilgisayar uzmanları, bilgi işlemek için özel yapılmış uygulamalar yaratma konusunda deneyimlidir ve bunlar büyük olasılıkla bir delikli karta kaydedilmiştir.
Sonraki eylemler, montaj dilini ve C ve Java tarafından benimsenen Fortran gibi ek amaçlı programlama dillerini getirdi. Tarih öncesi devasa gerçekler alanı boyunca, yazılım programı mühendisleri bu dilleri benzersiz bilgi işleme işleri için amaca yönelik hazırlanmış kurslar yazmak için kullanırdı.
Öte yandan, bu ayrıntı işleme paradigmasına yalnızca bilgi analistleri veya verileri sistemleştirmek ve belirli sonuçlar çıkarmak isteyen daha geniş şirket topluluğu tarafından daha geniş bir şekilde benimsenmesini engelleyen bir programlama geçmişine sahip seçilmiş bir çift erişilebiliyordu.
Bir sonraki tamamen doğal eylem, 1970'lerde ve her yerde veri tabanının icadını fark etti. IBM'in veritabanları gibi standart ilişkisel veritabanı birimleri, SQL'i etkinleştirdi ve daha geniş kitleler tarafından veri işlemenin benimsenmesini artırdı. SQL, İngilizceye daha çok benzeyen, standartlaştırılmış ve ifade edici bir soru dilidir.
Duruma göre özel paketler üretmek ve verileri analiz etmek için programcılara daha uzun süre güvenmek zorunda olmayan daha fazla insanın gerçekleri işlemeye girmesini sağladı. SQL ayrıca, şirket programları, kayıp maliyetlerine ilişkin analitikler, ortak sepet boyutu, her yıl 12 aylık geliştirme rakamları vb. gibi bilgilerin işlenmesiyle ilgili amaçların çeşitliliğini ve biçimini genişletti.
Önemli bilgilerin şafağı
Huge Information çağı, Google tarafından üretilen ve iki temel öğeye (Map ve Cut down) dayalı basit bir ürünü açıklayan MapReduce belgesiyle başladı.
Bu ilkeller, çok sayıda paralel makinede paralel hesaplamalara izin verdi. Elbette paralel hesaplamalar, MapReduce döneminden hemen önce çok sayıda bilgisayar, süper bilgisayar ve MPI cihazı aracılığıyla yapılabilirdi. Yine de, MapReduce onu daha geniş bir izleyicinin kullanımına sunacak şekilde tasarladı.
Apache Hadoop, açık kaynak alanında yaygın olarak bulunan ve daha geniş bir izleyici tarafından elde edilebilen çerçevenin (başlangıçta Yahoo!'da uygulandı) bir açık kaynak uygulaması olarak geldi. Hadoop, çeşitli şirketler tarafından benimsendi ve birkaç Önemli Gerçekler oyuncusunun kökenleri Hadoop çerçevesi içindeydi.
Hadoop, veri işleme evinde yeni bir paradigma hakkında tanıtıldı: daha sonra sorgulanabilen / sorgulanabilen dağınık bir dosya prosedüründe veya depolamada (Hadoop için HDFS gibi) satış noktası bilgilerini perakende satış yeteneği.
Hadoop, ilişkisel veritabanlarına karşılaştırılabilir bir yol izledi; bu sayede, programlar oluşturmaya hazır olan farklı bir "kayıt" insan tarafından aşamalı olarak paketlenmiş kişiselleştirilmiş programlama ile başlamak, daha sonra dağıtılmış bir dosya tekniğinde bilgi üzerinde SQL sorgularını uygulamaya koymak, bu tür Hive veya diğer depolama çerçeveleri olarak.
Bağlantılı: Muazzam bilgi ve Hadoop'un 5 büyük avantajı .
Toplu işleme hızlandı
Huge Facts'in gelecekteki aşaması, Apache Spark'ın tanıtıldığını fark etti. Spark, daha fazla paralelleştirmeye izin verdi ve toplu işlemeyi bir sonraki düzeye getirdi. Daha önce belirtildiği gibi, toplu işleme, gerçekleri, daha sonra üzerinde rutin hesaplamalar yapacağınız bir depolama işlemine yerleştirmekten oluşur.
Buradaki ana fikir, esas olarak geçmiş verilere dayanarak etkileri toplamak için periyodik olarak (günlük, haftalık, saatlik) hesaplamalar yapmanıza rağmen, gerçeklerinizin bir yerde oturmasıdır. Bu hesaplamalar hiçbir zaman tutarlı bir şekilde çalışmaz ve bir başlangıç düzeyi ve bitiş noktası vardır. Sonuç olarak, güncel nihai sonuçlar için bunları sürekli olarak yeniden çalıştırmanız gerekir.
Büyük Bilgiden Hızlı Bilgiye - akış işlemenin tanıtımı
Büyük Bilgi evrimindeki bu yaklaşan aşama, Apache Storm'un en çok kullanılan ilk çerçeve olarak kaldığı akış işlemenin tanıtıldığını fark etti (aynı anda başka çalışma sistemleri ve çerçeveleri de sona erdi, ancak Storm daha iyi benimsemeyi gören tek kişiydi). Bu çerçeve, sürekli çalışabilen (7/24) paketlerin kaleme alınmasını sağladı.
Planların ve uygulamaların bir başlangıcı ve bir sonucu olduğu toplu işleme taktiğinin aksine, akış işleme programları sürekli olarak gerçekler üzerinde çalışır ve gerçekler üretilmesine rağmen gerçek zamanlı olarak sonuçlar verir. Akış işleme, bir mesaj akışı için bir depolama mekanizması olarak Apache Kafka'nın (LinkedIn kaynaklı) tanıtılmasıyla daha da karmaşıklaştı. Kafka, bilgi kaynaklarını ve işleme programını (Apache Storm gibi) içeren bir arabellek görevi gördü.
Lambda Architecture, Büyük Bilgi hikayesinde hafif bir sapma yarattı. Bu mimari, akış işlemeyi ilk benimseyenlerin Apache Storm gibi akış işleme yöntemlerinin güvenilir ve yeterli olduğunu hissetmemeleri ve böylece her bir sistemi (toplu ve akış işleme) aynı anda yönetmeyi kaydetmeleri nedeniyle ortaya çıktı.
Lambda Mimarisi, iki cihazın bir karışımıydı - gerçek zamanlı içgörüler için Apache Storm gibi bir akış işleme programı kullanıldı, ancak daha sonra mimari, yaşananların temel gerçeğini koruyan bir toplu işleme sistemini periyodik olarak kullandı.
Apache Flink – akış işleme kullanılabilir hale gelir
2015 hakkında, Apache Flink, geliştiriciler ve gerçekler / analitik liderleri tarafından benimsenen olağanüstü bir akış işleme çerçevesi olmaya başladı.
Başından beri uygun olan Flink, kullanıcıların Lambda mimarisinin artık önemli olmadığına ve akış işlemenin karmaşık durum işleme ve sürekli koşu için güvenilir olabileceğine inandıkları, semantikten hemen sonra çok sağlam güvenceler ve hataya dayanıklı bir işleme motoru sergiledi. görev açısından kritik uygulamalar. İki birimin (toplu / akış işleme) geliştirilmesi ve sürdürülmesiyle gelen tüm ek yük, Flink'in güvenilir ve elde edilebilir ayrıntı işleme çerçevesi nedeniyle gereksiz hale geldi.
Akış işleme, yeni bir paradigma başlattı ve zihniyette, olası dolandırıcılık durumu sorgulamasından önce bilginin tam olarak saklandığı bir yanıt sorma duruşundan, önce düşünceleri kontrol ettiğiniz ve ardından gerçekleri gerçek zamanlı olarak aldığınız bir kişiye geçiş yaptı. bilgi oluşturulur. Örnek olarak, akış işleme ile 7/24 çalışan bir dolandırıcılık tespit yazılımı geliştirebilirsiniz. Durumları gerçek zamanlı olarak alır ve kredi geçmişi kartı sahtekarlığı olduğunda, gerçekten 1. noktada olmasını engelleyerek size fikir verir. Bu, tüm dünyada neler olup bittiğine dair gerçek zamanlı içgörülere izin vereceğinden, büyük olasılıkla ayrıntı işlemedeki daha da büyük değişikliklerden biridir.
Açık kaynak gerçekleri işlemenin evrimi tipik bir model yaşadı, piyasaya yeni bir çerçeve tanıtıldı (örneğin ilişkisel bir veritabanı, toplu işleme, akış işleme), başlangıçta özel olarak hazırlanmış paketler üretebilen benzersiz izleyiciler (programcılar) için hazır bilgiye yaklaşmak.
Ardından, karmaşık bilgi işleme için gerçekten paketler yazmak istemeyen izleyiciler için yaygın olarak elde edilebilir hale getirme eğiliminde olan SQL'in piyasaya sunulması gelir.
Akış işleme, akış işleme faaliyetleri için çok benzer bir SQL modelini takip eder ve akış uygulamalarında geçmişte bildiğimiz modeli doğrulayan geniş bir kabul görür. Akış işleme pazarının, önümüzdeki yıllarda yüzde 21,6'lık bir CAGR'de katlanarak genişlemesi öngörülüyor. Bu büyüme ve gün geçtikçe artan akış işleme uygulamaları ve kullanım koşulları yelpazesi ile, bu yerdeki gelişmeler oldukça azdır ve akış işlemenin geleceği, herhangi bir zamanda değişen ve gelişen doğal ortamdır.
Aljoscha Krettek, Veverica'da Kurucu Ortak ve Mühendislik Direktörüdür .