Data virtualization and complex large volume of data
Übersicht:
The data virtualization industry has been growing fast, something that experts think is going to last. As data becomes one of the most important assets in business, Unternehmen suchen nach Wegen, um das Beste daraus zu machen,,en,Die Aufgabe,,en,Sie haben vielleicht schon geraten,,en,ist nicht einfach mit mehreren Hürden auf dem Weg,,en,Unternehmen müssen wachsende Mengen strukturierter und unstrukturierter Daten aus verschiedenen Quellen verwalten,,en,Als ob diese Aufgabe nicht schwierig genug wäre,,en,Verschiedene RDBMS kommunizieren nicht miteinander,,en,Hinzu kommt der wachsende Bedarf an Business Intelligence,,en,Analytics and Reporting und die Platte für die IT-Abteilungen in Organisationen ist bereits überfüllt,,en,Die Datenvirtualisierung scheint die Lösung für diese Probleme zu sein, da sie Daten von Anwendungen entkoppelt und die Daten in der Middleware platziert,,en,Die Datenvirtualisierung bietet möglicherweise auch eine einheitliche Ansicht von Daten aus unterschiedlichen Quellen in einem von BI- oder Geschäftsbenutzern gewünschten Format,,en. The task, you might have guessed already, is not easy with several hurdles on the way. Businesses have to manage growing volumes of structured and unstructured data from different sources. As if that task was not difficult enough, different RDBMSs do not talk to one another. Add to that the growing needs for Business Intelligence (BI), analytics and reporting and the plate for the IT departments in organizations is already overflowing. Data virtualization appears to be the solution for these problems because it decouples data from applications and places the data in the middleware. Data virtualization also potentially provides a unified view of data from disparate sources in a format BI or business users want. Das Einfügen von Daten in die Middleware ist jedoch leichter gesagt als getan,,en,Aus Sicht der IT-Abteilung,,en,Die Implementierung der Datenvirtualisierung war eine große Herausforderung,,en,Firmen wie Oracle,,en,Roter Hut,,en,IBM und Microsoft haben daran gearbeitet, qualitativ hochwertige Daten bereitzustellen,,en,Was ist Datenvirtualisierung?,,en,Daten werden im Hinblick auf gute Geschäftsentscheidungen immer wichtiger,,en,Unternehmen möchten eine umfassende und einheitliche Ansicht der aus verschiedenen Quellen gesammelten Daten,,en,Datenintegration ist notwendig,,en,Die Herausforderung bei der Datenverwaltung ist vor allem aus folgenden Gründen größer und komplexer geworden,,en,Das Datenvolumen hat zugenommen,,en,vor allem nach der Einführung des Big-Data-Konzepts,,en,Unternehmen müssen sich nun sowohl mit strukturierten als auch mit unstrukturierten Daten befassen,,en. From the perspective of the IT department, implementing data virtualization has been a big challenge. Fortunately, firms like Oracle, Redhat, IBM and Microsoft have been working on providing high quality data virtualization tools.
What is data virtualization?
Data has been becoming increasingly important from the perspective of good business decisions. Companies want a comprehensive and unified view of the data collected from different sources. To do that, data integration is necessary. Jedoch, the challenge of managing data has been becoming bigger and more complex mainly because of the following reasons:
- The volume of data has been growing, especially after the arrival of the big data concept.
- Companies now have to deal with both structured and unstructured data. Die Verwaltung unstrukturierter Daten belastet die Unternehmensressourcen erheblich,,en,Unternehmen verwenden unterschiedliche,,en,Datenbankmanagementsystem,,en,DBMSs,,en,wie Oracle und SQL Server, die nicht so konzipiert wurden, dass sie miteinander kompatibel sind,,en,Unternehmen sind aufgrund von Vorschriften zur Vorratsdatenspeicherung wie dem Sarbanes-Oxley Act gesetzlich zur Aufbewahrung von Daten verpflichtet,,en,Dies hat zu einem beispiellosen Anstieg der zu speichernden Datenmenge geführt,,en,BI- oder Geschäftsbenutzer benötigen jetzt Self-Service-Analysen, um bessere Ergebnisse zu erzielen,,en,informierte Entscheidungen oder Strategien,,en,Sie benötigen eine einheitliche Ansicht aller Daten,,en,Es ist eine große technische Herausforderung, Qualitätsdaten zusammenzuführen, um eine einheitliche Ansicht zu bieten,,en,Laut Noel Yuhanna,,en,ein IT-Analyst bei Cambridge,,en,Forrester Research Inc.,,en,Datenintegration,,en,wird immer schwieriger,,en,und wir glauben,,en.
- Companies use different database management systems (DBMSs), such as Oracle and SQL Server which were not designed to be compatible with each other.
- Companies are under legal compulsion of retaining data because of data-retention regulations like the Sarbanes-Oxley Act. This has resulted in an unprecedented rise in the amount of data they have to store.
- BI or the business users now need self-service analytics for making better, informed decisions or strategies. They need a unified view of all data. It is a huge technical challenge to bring quality data together to offer a unified view.
According to Noel Yuhanna, an IT analyst with Cambridge, Mass.-based Forrester Research Inc, “Data integration is getting harder all the time, and we believe [eine der Ursachen,,en,davon ist, dass das Datenvolumen weiter wächst,,en,Sie brauchen wirklich Datenintegration, weil sie einen Wert für das Unternehmen darstellt,,en,an die Verbraucher und an die Partner,,en,Sie möchten, dass Qualitätsdaten bessere Geschäftsentscheidungen treffen können.,,en,Die Datenvirtualisierung behebt möglicherweise solche Probleme, indem Daten von verschiedenen Anwendungen entkoppelt und dann in einer Middleware abgelegt werden,,en,Da sich die Daten in der Middleware befinden,,en,Abhängigkeit von,,en,s reduziert,,en,Datenvirtualisierungstools platzieren die tatsächlichen Daten nicht in der Middleware, sondern ordnen sie nur dem tatsächlichen Speicherort zu,,en,Die Datenvirtualisierung bietet auch eine einheitliche Ansicht der aus verschiedenen Quellen gesammelten Daten. Diese Funktion wird verstärkt, da Unternehmen leistungsfähigere Tools für die Datenvirtualisierung anbieten,,en] of that is that data volumes are continuing to grow, you really need data integration because it represents value to the business, to the consumers and to the partners. They want quality data to be able to make better business decisions.”
Data virtualization potentially addresses such problems by decoupling data from different applications and then places the data in a middleware. Since data resides in the middleware, dependency on DBMSs reduces. Data virtualization tools do not place the actual data in the middleware but only maps to the actual location. Data virtualization is also capable of providing a unified view of the data collected from different sources and this capability is going to get stronger as firms offer more powerful data virtualization tools.
Aus der Sicht des Benutzers,,en,Es ist nicht erforderlich, die technischen Details der Daten in der Middleware wie Formatierung und Speicherort zu ermitteln,,en,Der Benutzer muss nur über die Daten selbst nachdenken,,en,Fallstudie,,en,Diese Fallstudie zeigt, wie die Datenvirtualisierung ein Geschäftsproblem von Pfizer gelöst hat,,en,Inc.,,en,der größte Arzneimittelhersteller der Welt, der sich entwickelt,,en,produziert und vermarktet Arzneimittel für Mensch und Tier,,en,Das Problem,,en,Der Geschäftsbereich Worldwide Pharmaceutical Sciences in Pfizer legt fest, welche Medikamente auf den Markt gebracht werden sollen,,en,das ist eine äußerst wichtige Rolle,,en,Der Geschäftsbereich Worldwide Pharmaceutical Sciences war auch durch technologische Einschränkungen eingeschränkt,,en,Im Rahmen seiner täglichen Arbeit,,en, there is no need to spend effort on finding the technical details of the data in the middleware such as formatting and location. The user just needs to think about the data itself.
'
Case study
This case study finds out how data virtualization solved a business problem faced by Pfizer, Inc. the largest drug manufacturer in the world that develops, manufactures and markets medicines for both humans and animals.
The problem
The Worldwide Pharmaceutical Sciences division in Pfizer determines which drugs are going to be introduced to the market. Offensichtlich, that is an extremely important role. Jedoch, the Worldwide Pharmaceutical Sciences division was also constrained by technological limitations. As part of its day-to-day operations, Verschiedene Stakeholder möchten Daten anzeigen, die sich in mehreren Anwendungen befinden,,en,Die Datenintegrationsanforderung würde vom traditionellen Extrakt ausgeführt,,en,Transformieren und laden,,en,Prozess und hier begannen die Probleme,,en,Grundsätzlich gab es zwei Arten von Problemen,,en,Der ETL-Prozess war langsam und unflexibel und,,en,Die Anwendungen, auf denen die Daten gehostet werden, haben nicht miteinander gesprochen,,en,Ein weiteres Problem war die Unfähigkeit, neue Datenquellen oder Anwendungen hinzuzufügen, die Daten hosten würden,,en,Ein Prozess, der von Natur aus langsam war und Schwierigkeiten hatte, eine einheitliche Ansicht der Daten zu liefern,,en,aus verschiedenen Anwendungen gesammelt,,en,Dies führte zu einer Projektverlangsamung,,en,Kosteneskalation und verschwendete Investitionen,,en,Die Lösung,,en,Pfizer hat im Laufe der Zeit ein Datenvirtualisierungstool von einem Anbieter ausgewählt,,en,erntete Vorteile,,en,Die Vorteile waren,,en. The data integration request would be carried out by the traditional Extract, Transform and Loading (ETL) process and that is where the problems started. There were two types of problems basically: one, the ETL process was slow and inflexible and, two, the applications hosting the data did not talk to each other. Another problem was the inability to add new data sources or applications that would host data. Als Ergebnis, a process that was inherently slow struggled to deliver a unified view of data, collected from different applications. That resulted in project slowdown, cost escalation and wasted investments.
The solution
Pfizer selected a data virtualization tool from a provider and over time, reaped benefits. The benefits were:
- Das Tool hat nicht auf die Datenquellen zugegriffen, um Datenintegrationsanforderungen zu erfüllen,,en,Es würde eine Ansicht der Daten in einer Middleware oder einem Cache speichern,,en,Die Geschwindigkeit der Erfüllung von Datenintegrationsanforderungen wurde erhöht,,en,Unvorhergesehene Ereignisse wie Serverabstürze wurden aufgrund solcher Ereignisse nicht zum Showstopper,,en,Benutzer konnten weiterhin Ansichten der Daten anzeigen, die im Speicher gespeichert waren,,en,Die Datenvirtualisierungsplattform unterstützte das Hinzufügen mehrerer,,en,verschiedene Datenquellen wie Cloud-basierte CRM-Systeme und,,en,Da die Daten in einer Middleware oder im Speicher gespeichert würden und auch nicht von den Hosts zugegriffen würde,,en,Die Plattform könnte einheitliche Ansichten der Daten bieten, wie die Benutzer möchten,,en,Auswirkungen des Aufstiegs der Datenvirtualisierung,,en. Instead, it would store a view of the data in a middleware or a cache. So, the speed of data integration request fulfillment increased.
- Unforeseen events such as server crashes did not become a showstopper because in such events, users could still views of the data that was stored in the memory.
- The data virtualization platform supported additions of multiple, different data sources such as cloud-based CRM systems and business intelligence (BI) tools.
- Since the data would be stored in a middleware or in the memory and nor accessed from the hosts, the platform could offer unified views of the data as the users would like.
Implications of the rise of data virtualization
Viele glauben, dass der Aufstieg der Datenvirtualisierung die Bedeutung von ETL-Prozessen erheblich verringern könnte,,en,Daten aus bestimmten Branchen untermauern solche Ansichten,,en,Novartis,,en,Das Telefonhaus und Pfizer haben sich bereits der Datenvirtualisierung zugewandt,,en,Unternehmen, die mit großen Datenmengen arbeiten und über ältere Datenquellen verfügen, investieren insbesondere in die Datenvirtualisierung,,en,Die Datenvirtualisierung bietet klare Vorteile, wenn es darum geht, Unified anzubieten,,en,Echtzeitansichten von Daten,,en,Unternehmen brauchen Agilität,,en,Schnelle Erfüllung der Datenintegration von Datenanforderungen, was mit ETL äußerst schwierig ist,,en,Es gibt eine andere Gruppe von Menschen, die glauben, dass es für ETL nicht nur düster ist,,en,Laut Mark Beyer,,en,Research Vice President für Informationsmanagement bei Gartner Inc.,,en,Die EDW geht nicht weg,,en. Data from certain industries substantiate such views. For example, Novartis, The Phone House and Pfizer have already turned to data virtualization. Companies that deal in huge data volumes and have legacy data sources are especially investing on data virtualization. Data virtualization offers clear advantages when it comes to offering unified, real-time views of data. Companies need agile, quick fulfillment of data integration of data requests which is extremely difficult with ETL.
Jedoch, there is another group of people who believe that it is not all gloom and doom for ETL. According to Mark Beyer, research vice president for information management at Gartner Inc., The EDW is not going away — in fact, Das Enterprise Data Warehouse selbst war immer eine Vision und nie eine Tatsache,,en,Jetzt entwickelt sich die Vision der EDW, alle Informationsressourcen in die Organisation einzubeziehen,,en,Es ändert sich von einer Repository-Strategie zu einer Strategie für eine Informationsdienstplattform. ",,en,Es ist nicht zu leugnen, dass die Datenvirtualisierung zunimmt und der Ruhm von ETL nachlässt,,en,wenn auch leicht,,en,Auf dem Weg zur nahtlosen Einführung der Datenvirtualisierungsplattform gibt es noch einige Hürden,,en,IT-Abteilungen finden es technisch schwierig, Karten mit Daten aus den Datenquellen zu erstellen und diese in der Middleware zu platzieren,,en,aus technischer Sicht,,en,Das Erstellen einheitlicher und angepasster Ansichten aus verschiedenen Datenquellen für verschiedene Kunden ist eine äußerst herausfordernde Aufgabe,,en, now the vision of the EDW is evolving to include all the information assets in the organization. It’s changing from a repository strategy into an information services platform strategy.”
Summary
It is undeniable that data virtualization is on the rise and the glory of ETL is fading, even if slightly. Jedoch, there are still a number of hurdles on the way of seamless adoption of the data virtualization platform. IT departments are finding it technically difficult to create maps of data from the data sources and placing them on the middleware. Also, from a technical viewpoint, creating unified and customized views from several different data sources for different customers is an extremely challenging task. Solche Herausforderungen müssen anerkannt und eine ordnungsgemäße Planung durchgeführt werden,,en,Datenvirtualisierung,,en,techalpine.com/data-virtualization-and-complex-large-volume-of-data,,en.
