Data virtualization and complex large volume of data
Genel bakış:
The data virtualization industry has been growing fast, something that experts think is going to last. As data becomes one of the most important assets in business, şirketler bundan en iyi şekilde yararlanmanın yollarını arıyor,,en,Görev,,en,zaten tahmin etmiş olabilirsin,,en,yoldaki birkaç engelle kolay değil,,en,İşletmeler, farklı kaynaklardan gelen artan hacimde yapılandırılmış ve yapılandırılmamış verileri yönetmek zorundadır,,en,Sanki bu görev yeterince zor değilmiş gibi,,en,farklı RDBMS'ler birbiriyle konuşmaz,,en,Buna, İş Zekası için artan ihtiyaçları da ekleyin,,en,analiz ve raporlama ve kuruluşlardaki BT departmanları için plaka zaten dolup taşıyor,,en,Veri sanallaştırma, bu sorunların çözümü gibi görünmektedir çünkü verileri uygulamalardan ayırır ve verileri ara katman yazılımına yerleştirir.,,en,Veri sanallaştırma aynı zamanda potansiyel olarak farklı kaynaklardan alınan verilerin BI biçiminde veya iş kullanıcılarının istediği birleşik bir görünüm sağlar.,,en. The task, you might have guessed already, is not easy with several hurdles on the way. Businesses have to manage growing volumes of structured and unstructured data from different sources. As if that task was not difficult enough, different RDBMSs do not talk to one another. Add to that the growing needs for Business Intelligence (BI), analytics and reporting and the plate for the IT departments in organizations is already overflowing. Data virtualization appears to be the solution for these problems because it decouples data from applications and places the data in the middleware. Data virtualization also potentially provides a unified view of data from disparate sources in a format BI or business users want. Ancak verileri ara katman yazılımına koymak, söylemek yapmaktan daha kolaydır,,en,BT departmanı açısından,,en,veri sanallaştırmayı uygulamak büyük bir zorluktu,,en,Oracle gibi firmalar,,en,Kırmızı şapka,,en,IBM ve Microsoft, yüksek kaliteli veriler sağlamak için çalışıyor,,en,Veri sanallaştırma nedir,,en,Veriler, iyi iş kararları açısından giderek daha önemli hale geliyor,,en,Şirketler, farklı kaynaklardan toplanan verilerin kapsamlı ve birleşik bir görünümünü ister.,,en,veri entegrasyonu gerekli,,en,Verileri yönetmenin zorluğu, temel olarak aşağıdaki nedenlerden dolayı daha büyük ve daha karmaşık hale geliyor,,en,Veri hacmi büyüyor,,en,özellikle büyük veri konseptinin gelişinden sonra,,en,Şirketler artık hem yapılandırılmış hem de yapılandırılmamış verilerle uğraşmak zorunda,,en. From the perspective of the IT department, implementing data virtualization has been a big challenge. Fortunately, firms like Oracle, Redhat, IBM and Microsoft have been working on providing high quality data virtualization tools.
What is data virtualization?
Data has been becoming increasingly important from the perspective of good business decisions. Companies want a comprehensive and unified view of the data collected from different sources. To do that, data integration is necessary. However, the challenge of managing data has been becoming bigger and more complex mainly because of the following reasons:
- The volume of data has been growing, especially after the arrival of the big data concept.
- Companies now have to deal with both structured and unstructured data. Yapılandırılmamış verileri yönetmek, şirket kaynakları üzerinde çok fazla yük oluşturur,,en,Şirketler farklı kullanıyor,,en,Veritabanı Yönetim Sistemleri,,en,DBMS'ler,,en,birbirleriyle uyumlu olacak şekilde tasarlanmamış Oracle ve SQL Server gibi,,en,Şirketler, Sarbanes-Oxley Yasası gibi veri saklama düzenlemeleri nedeniyle verileri saklamak için yasal zorlama altındadır,,en,Bu, depolamak zorunda oldukları veri miktarında benzeri görülmemiş bir artışa neden oldu,,en,İş zekası veya iş kullanıcıları artık daha iyi hale getirmek için self servis analitiğe ihtiyaç duyuyor,,en,bilgili kararlar veya stratejiler,,en,Tüm verilerin birleşik bir görünümüne ihtiyaçları var,,en,Birleşik bir görünüm sunmak için kaliteli verileri bir araya getirmek büyük bir teknik zorluktur,,en,Noel Yuhanna'ya göre,,en,Cambridge'de bir BT analisti,,en,Kütle tabanlı Forrester Research Inc,,en,Veri entegrasyonu,,en,her zaman zorlaşıyor,,en,ve inanıyoruz,,en.
- Companies use different database management systems (DBMSs), such as Oracle and SQL Server which were not designed to be compatible with each other.
- Companies are under legal compulsion of retaining data because of data-retention regulations like the Sarbanes-Oxley Act. This has resulted in an unprecedented rise in the amount of data they have to store.
- BI or the business users now need self-service analytics for making better, informed decisions or strategies. They need a unified view of all data. It is a huge technical challenge to bring quality data together to offer a unified view.
According to Noel Yuhanna, an IT analyst with Cambridge, Mass.-based Forrester Research Inc, “Data integration is getting harder all the time, and we believe [nedenlerden biri,,en,veri hacimlerinin büyümeye devam etmesidir,,en,veri entegrasyonuna gerçekten ihtiyacınız var çünkü işletme için değeri temsil ediyor,,en,tüketicilere ve ortaklara,,en,Daha iyi iş kararları verebilmek için kaliteli veriler istiyorlar.,,en,Veri sanallaştırma, farklı uygulamalardan gelen verileri ayırarak bu tür sorunları potansiyel olarak çözer ve ardından verileri bir ara katman yazılımına yerleştirir,,en,Veriler ara yazılımda bulunduğundan,,en,bağımlılık,,en,s azaltır,,en,Veri sanallaştırma araçları gerçek verileri ara katman yazılımına yerleştirmez, yalnızca gerçek konuma eşler,,en,Veri sanallaştırma aynı zamanda farklı kaynaklardan toplanan verilerin birleşik bir görünümünü sağlayabilir ve firmalar daha güçlü veri sanallaştırma araçları sundukça bu yetenek daha da güçlenecektir.,,en] of that is that data volumes are continuing to grow, you really need data integration because it represents value to the business, to the consumers and to the partners. They want quality data to be able to make better business decisions.”
Data virtualization potentially addresses such problems by decoupling data from different applications and then places the data in a middleware. Since data resides in the middleware, dependency on DBMSs reduces. Data virtualization tools do not place the actual data in the middleware but only maps to the actual location. Data virtualization is also capable of providing a unified view of the data collected from different sources and this capability is going to get stronger as firms offer more powerful data virtualization tools.
Kullanıcı açısından,,en,Ara yazılımdaki biçimlendirme ve konum gibi verilerin teknik ayrıntılarını bulmak için çaba harcamaya gerek yoktur.,,en,Kullanıcının sadece verilerin kendisi hakkında düşünmesi gerekir,,en,Vaka Analizi,,en,Bu örnek olay incelemesi, veri sanallaştırmanın Pfizer'in karşılaştığı bir iş sorununu nasıl çözdüğünü ortaya koyuyor,,en,Inc,,en,dünyanın en büyük ilaç üreticisi geliştiren,,en,Hem insanlar hem de hayvanlar için ilaç üretir ve pazarlar,,en,Sorun,,en,Pfizer'deki Dünya Çapında Eczacılık Bilimleri bölümü, hangi ilaçların pazara sunulacağını belirler,,en,bu son derece önemli bir rol,,en,Dünya Eczacılık Bilimleri bölümü de teknolojik sınırlamalarla kısıtlandı,,en,Günlük operasyonlarının bir parçası olarak,,en, there is no need to spend effort on finding the technical details of the data in the middleware such as formatting and location. The user just needs to think about the data itself.
'
Case study
This case study finds out how data virtualization solved a business problem faced by Pfizer, Inc. the largest drug manufacturer in the world that develops, manufactures and markets medicines for both humans and animals.
The problem
The Worldwide Pharmaceutical Sciences division in Pfizer determines which drugs are going to be introduced to the market. Obviously, that is an extremely important role. However, the Worldwide Pharmaceutical Sciences division was also constrained by technological limitations. As part of its day-to-day operations, farklı paydaşlar, birden çok uygulamada bulunan verileri görmek isteyebilir,,en,Veri entegrasyon talebi, geleneksel Extract tarafından gerçekleştirilecektir,,en,Dönüştürme ve Yükleme,,en,süreç ve sorunların başladığı yer,,en,Temelde iki tür sorun vardı,,en,ETL süreci yavaş ve esnek değildi ve,,en,verileri barındıran uygulamalar birbiriyle konuşmadı,,en,Diğer bir sorun, verileri barındıracak yeni veri kaynakları veya uygulamalar eklenememesiydi.,,en,birleşik bir veri görünümü sunmakta zorlanan, doğası gereği yavaş olan bir süreç,,en,farklı uygulamalardan toplandı,,en,Bu, projenin yavaşlamasına neden oldu,,en,maliyet artışı ve boşa giden yatırımlar,,en,Çözüm,,en,Pfizer, zaman içinde bir sağlayıcıdan bir veri sanallaştırma aracı seçti,,en,biçilmiş faydalar,,en,Faydalar,,en. The data integration request would be carried out by the traditional Extract, Transform and Loading (ETL) process and that is where the problems started. There were two types of problems basically: one, the ETL process was slow and inflexible and, two, the applications hosting the data did not talk to each other. Another problem was the inability to add new data sources or applications that would host data. As a result, a process that was inherently slow struggled to deliver a unified view of data, collected from different applications. That resulted in project slowdown, cost escalation and wasted investments.
The solution
Pfizer selected a data virtualization tool from a provider and over time, reaped benefits. The benefits were:
- Araç, veri entegrasyon taleplerini karşılamak için veri kaynaklarına erişmedi,,en,verilerin bir görünümünü bir ara yazılımda veya bir önbellekte depolar,,en,veri entegrasyon talebinin yerine getirilme hızı arttı,,en,Sunucu çökmeleri gibi öngörülemeyen olaylar bir şov durdurucu haline gelmedi çünkü bu tür olaylarda,,en,kullanıcılar bellekte depolanan verileri yine de görebilirler,,en,Veri sanallaştırma platformu, birden çok,,en,bulut tabanlı CRM sistemleri gibi farklı veri kaynakları ve,,en,Veriler bir ara yazılımda veya bellekte saklanacağı ve ana bilgisayarlardan erişilemeyeceği için,,en,platform, kullanıcıların istediği gibi verilerin birleşik görünümlerini sunabilir,,en,Veri sanallaştırmanın yükselişinin etkileri,,en. Instead, it would store a view of the data in a middleware or a cache. So, the speed of data integration request fulfillment increased.
- Unforeseen events such as server crashes did not become a showstopper because in such events, users could still views of the data that was stored in the memory.
- The data virtualization platform supported additions of multiple, different data sources such as cloud-based CRM systems and business intelligence (BI) tools.
- Since the data would be stored in a middleware or in the memory and nor accessed from the hosts, the platform could offer unified views of the data as the users would like.
Implications of the rise of data virtualization
Birçoğu, veri sanallaştırmanın yükselişinin ETL süreçlerinin önemini önemli ölçüde azaltabileceğine inanıyor,,en,Belirli sektörlerden elde edilen veriler bu tür görüşleri doğrulamaktadır,,en,Novartis,,en,Phone House ve Pfizer zaten veri sanallaştırmaya yöneldi,,en,Büyük veri hacimleriyle uğraşan ve eski veri kaynaklarına sahip şirketler özellikle veri sanallaştırmaya yatırım yapıyor,,en,Veri sanallaştırma, birleşik sunma söz konusu olduğunda net avantajlar sunar,,en,gerçek zamanlı veri görünümleri,,en,Şirketlerin çevikliğe ihtiyacı var,,en,ETL ile son derece zor olan veri taleplerinin veri entegrasyonunun hızlı bir şekilde yerine getirilmesi,,en,ETL için her şeyin kasvetli ve kıyamet olmadığına inanan başka bir grup insan var,,en,Mark Beyer'e göre,,en,Gartner Inc.'de bilgi yönetimi için araştırma başkan yardımcısı,,en,EDW gitmiyor,,en. Data from certain industries substantiate such views. For example, Novartis, The Phone House and Pfizer have already turned to data virtualization. Companies that deal in huge data volumes and have legacy data sources are especially investing on data virtualization. Data virtualization offers clear advantages when it comes to offering unified, real-time views of data. Companies need agile, quick fulfillment of data integration of data requests which is extremely difficult with ETL.
However, there is another group of people who believe that it is not all gloom and doom for ETL. According to Mark Beyer, research vice president for information management at Gartner Inc., The EDW is not going away — in fact, kurumsal veri ambarının kendisi her zaman bir vizyondu ve asla gerçek değildi,,en,şimdi EDW'nin vizyonu, organizasyondaki tüm bilgi varlıklarını içerecek şekilde gelişiyor,,en,Bilgi havuzu stratejisinden bilgi hizmetleri platformu stratejisine dönüşüyor. ",,en,Veri sanallaştırmanın yükselişte olduğu ve ETL'nin ihtişamının zayıfladığı inkar edilemez,,en,biraz da olsa,,en,veri sanallaştırma platformunun sorunsuz bir şekilde benimsenmesinin önünde hala bir takım engeller var,,en,BT departmanları, veri kaynaklarından veri haritaları oluşturmayı ve bunları ara katman yazılımına yerleştirmeyi teknik olarak zor buluyor,,en,teknik açıdan,,en,farklı müşteriler için birkaç farklı veri kaynağından birleşik ve özelleştirilmiş görünümler oluşturmak son derece zorlu bir görevdir,,en, now the vision of the EDW is evolving to include all the information assets in the organization. It’s changing from a repository strategy into an information services platform strategy.”
Summary
It is undeniable that data virtualization is on the rise and the glory of ETL is fading, even if slightly. However, there are still a number of hurdles on the way of seamless adoption of the data virtualization platform. IT departments are finding it technically difficult to create maps of data from the data sources and placing them on the middleware. Also, from a technical viewpoint, creating unified and customized views from several different data sources for different customers is an extremely challenging task. Bu tür zorlukların kabul edilmesi ve uygun planlamanın yapılması gerekir,,en,Veri sanallaştırma,,en,techalpine.com/data-virtualization-and-complex-large-volume-of-data,,en.
