Data Center Challenges with Big Data
Apžvalga: Dideli duomenų ateina su dideliais iššūkiais,,en,todėl iššūkis yra sutvarkyti šią didžiulę duomenų apimtį,,en,Duomenų sprogimą turi palaikyti duomenų centrai,,en,Šiame straipsnyje kalbėsiu apie,,en,duomenų sprogimas,,en,o tai yra dideli duomenys,,en,duomenų centruose,,en,Duomenų centrai yra nepaprastai svarbūs, tuo tarpu mes atsižvelgiame į didelius duomenis ir jų saugojimą,,en,Vienoje pusėje,,en,duomenų sprogimas suteikia mums galimybę gauti daugiau įžvalgos,,en,tai kelia daug iššūkių,,en,Vienas didžiausių iššūkių yra tvarkyti duomenų saugojimą,,en,kuris yra duomenų centro valdymas,,en,Pažvelkime į pagrindinius didelių duomenų padarinius duomenų centrams,,en,Elektrinė infrastruktūra,,en,Duomenų centro elektrinė infrastruktūra yra vienas didžiausių rūpesčių tvarkant didelius duomenis,,en,Didžiausias klausimas yra,,en. The data will keep on expanding with a tremendous velocity. The study has shown that almost 90 percent data has been generated in the last two years, so the challenge is to handle this huge volume of data. The data explosion has to be supported by the data centers.
In this article I will talk about the impact of data explosion (which is big data) on the data centers.
Data centers are of immense importance while we consider big data and its storage. In one side, data explosion gives us an opportunity to get more insight; iš kitos pusės, it brings lot of challenges. One of the biggest challenges is to manage the storage of data, which is data center management.
Must Read – How Big Data Can Revolutionize Healthcare Sector?
Let us have a look at some of the major impacts of big data on data centers.
Electrical infrastructure: Electrical infrastructure of a data center is one of the major concerns for handling big data. The biggest question is, ar esama elektros infrastruktūra gali priimti didžiulį duomenų kiekį,,en,Atsakymas yra „NE“,,en,nes didžiulę duomenų apimtį turi valdyti tvirtesnė elektros infrastruktūra,,en,Taigi reikia patobulinti esamą elektros infrastruktūrą arba įdiegti naują infrastruktūrą,,en,Organizacijos imasi daugybės iniciatyvų, siekdamos įvertinti esamos elektros infrastruktūros ir būsimo plėtros plano tinkamumą,,en,Elektros infrastruktūros patikimumas taip pat svarbus, atsižvelgiant į duomenų apimtį ir jų apdorojimą,,en,Elektros energija ir aušinimas,,en,daro netiesioginį poveikį duomenų centro energijos suvartojimui,,en,Plečiantis elektros infrastruktūrai,,en,elektros energijos suvartojimas padidėja daug kartų,,en,Kaip patenkinti šį energijos poreikį, yra didelis klausimas,,en? The answer is ‘NO’, because the huge data volume needs to be handled by a more robust electrical infrastructure. So the existing electrical infrastructure has to be enhanced or a new infrastructure needs to be deployed. Organizations are taking lot of initiatives to measure the suitability of their existing electrical infrastructure and future expansion plan. Reliability of electrical infrastructure is also important while considering data volume and its processing.
Must Read – How Big Data is changing the world of Data Recovery Services?
Electrical Power and cooling: Dideli duomenų has an indirect impact on the data center power consumption. As the electrical infrastructure expands, the electrical power consumption increases many fold. How this power demand can be met is a big question. Galia turėtų būti patikima,,en,atsinaujinantis,,en,gausus ir energiją taupantis gamtoje,,en,Taigi didžiųjų duomenų paklausa daro pakopinį poveikį energijos poreikiui ir kainai,,en,Duomenų centrų valdytojai planuoja energijos suvartojimą ateityje ir su tuo susijusias išlaidas,,en,Duomenų centro vieta taip pat svarbi apskaičiuojant sąnaudas,,en,Dabartinė tendencija yra perkelti duomenų centrus į atokesnes vietas nuo metro miestų,,en,Šaldymo kaina taip pat yra svarbus dalykas, kurį reikia atsiminti,,en,nes tai yra maždaug,,en,visų energijos sąnaudų,,en,Daugeliu atvejų duomenų centrai juda šiaurinės dalies link,,en,kadangi dėl vėsių klimato metų visus metus aušinimo poreikis yra daug mažesnis,,en,Sandėliavimo infrastruktūra,,en,Dideli duomenys taip pat paveiks duomenų centrų saugojimo infrastruktūrą,,en,Anksčiau šie duomenų centrai buvo naudojami santykiniams duomenims saugoti,,en, renewable, abundant and energy efficient in nature. So the demand of big data has a cascading effect on power demand and cost. Data center managers are planning for future power consumption and its associated costs. The location of data center is also important for cost estimation. The current trend is to move the data centers to remote locations away from metro cities. Cooling cost is also an important point to remember, because it is approximately 30% to 40% of the total power cost. In most of the cases data centers are moving towards northern part, as the demand for cooling is much lower due to its cool climate year around.
Must Read – Suporuoti IOT ir Hadoop,en
Storage infrastructure: Big data will also impact data center storage infrastructure. Earlier these data centers were used to store relational data, bet dabar duomenų centrai turėtų saugoti įvairių tipų duomenis,,en,kaip struktūrizuotas,,en,nestruktūruota ir,,en,pusiau struktūruotas,,en,Taigi, norint palaikyti ir saugoti didžiulį duomenų kiekį, reikia patobulinti saugojimo infrastruktūrą,,en,turi tokias savybes kaip greitis,,en,tūrio,,en,tikrumas ir įvairovė,,en,Taigi duomenų centro saugojimo infrastruktūra turėtų palaikyti šias funkcijas,,en,Norint įveikti šiuos sudėtingumus,,en,organizacijos sudaro tinkamą duomenų saugojimo planą,,en,Pasikeitė eismo struktūra,,en,Dideliais duomenimis,,en,duomenų šaltiniai yra skirtingi,,en,Tipas,,en,duomenų apimtis ir formatas taip pat skiriasi,,en,Taigi pasikeitė bendras duomenų modelis,,en,Anksčiau duomenų centrai buvo sukurti tam tikro formato duomenims saugoti,,en,bet dabar sunku suprasti patį modelį,,en (like structured, unstructured and semi structured etc.). So the storage infrastructure has to be enhanced to support and store huge volume of data (known as big data). Dideli duomenų has its own characteristics like velocity, volume, veracity and variety. So the data center storage infrastructure should be able to support these features. To overcome these complexities, organizations are making proper storage plan to support big data.
Must Read – Why Apache Spark is the future platform for big data?
Chang in traffic pattern: In big data, the data sources are different. The type, volume and format of data are also different. So there is a change in overall data pattern. Earlier the data centers were designed to store data of specific format, but now it is difficult to understand the pattern itself. Šis duomenų srauto modelio pasikeitimas yra vienas didžiausių rūpesčių,,en,Tvarkyti šį naują didelių duomenų srauto modelį,,en,duomenų centrų inžinieriai galvoja apie novatoriškus dizainus ir jų diegimą,,en,Srauto pokyčiai taip pat turi tiesioginį poveikį duomenų centro saugojimui,,en,Duomenų centro saugojimo architektūra turi būti suderinama su nauju duomenų formatu,,en,Organizacijos nuolatos kuria naujas idėjas, kaip tvarkyti duomenų centrą esant didelėms duomenų apkrovoms,,en,Duomenų centro saugumas bus dar vienas svarbus veiksnys, kuriam įtakos turėjo didelis duomenų sprogimas,,en,Dideli duomenys yra apie duomenis,,en,todėl jo saugumas saugyklos lygmenyje yra kritinis iššūkis, kurį reikia įveikti,,en,Duomenys turi būti saugomi duomenų centruose,,en,nes joje yra konfidenciali organizacijos informacija,,en. To handle this new big data traffic pattern, data center engineers are thinking of innovative designs and their deployment. The change in traffic pattern also has a direct impact on the data center storage. The data center storage architecture has to be compatible with new data format. Organizations are continuously innovating new ideas to manage the data center with big data load.
Must Read – Why Python is important for big data?
Security: Data center security will be another major factor impacted by big data explosion. Big data is all about data, so its security at the storage level is a critical challenge to overcome. The data has to be secured in data centers, because it contains the confidential information of an organization. Organizations are working on different approaches to avoid security threats. Data center security has to be implemented at network level, storage level and also application level. As the data center infrastructure expands to support big data volume, security planning should be done to mitigate threats from all directions.
Must Read – Big data and cloud computing – What you don’t know!
Data center network: Big data will also impact data center network infrastructure. The existing data center WAN (Wide Area Network) links are capable of handling moderate band width requirements. Because the applications were interacting with data centers through human generated requests only. These human generated requests are comparatively small in volume compared to volume of big data in-flow. Big data sources will send huge volume of data to these data centers which will increase inbound band width requirements. So the data center network infrastructure has to me modified/upgraded to support the volume and velocity of data. It will also increase the band width requirement of the network.
Explore Big data articles – Archive
Išvada
So there are different big data factors which impacts data centers worldwide. The major challenges are electrical infrastructure, power and cooling. The other impacts are related to data center storage, network, data pattern and security. As big data is continuously evolving, it will come with new challenges. So the future data centers need to be designed keeping all these factors in consideration.
