Blog

Hortonworks – obrada velikih količina podataka

CROZ-ov paket konzultantskih usluga između ostalog uključuje arhitekturno savjetovanje, instalaciju i konfiguraciju HDP distribucije na vaš klaster te mogućnost pilotiranja HDP-a na CROZ-ovu klasteru.
, 19.02.2018.

Big data svakako je jedan od novijih buzzworda koji je privukao pozornost mnogih kompanija širom svijeta. Prikupljanjem velikih količina podataka postavilo se pitanje što je sve moguće napraviti s tim silnim podacima. Ono što je bilo sigurno jest to da dotadašnje, tradicionalne tehnologije i alati poput relacijskih baza nisu bili pogodni za obradu velikih količina podataka. Kako bi se riješio problem nedostatka tehnologije pogodne za obradu velikih količina podataka, Google je razvio tri tehnologije: MapReduce, Google File System i Bigtable. Nekoliko godina poslije, po uzoru na spomenute Googleove tehnologije, Doug Cutting i Mike Cafarella pokrenuli su projekt otvorenog koda nazvan Apache Hadoop. Hadoop se primarno sastojao od HDFS-a (distribuirani datotečni sustav) i MapReducea. Vrijednost obrade velikih količina podataka prepoznata je vrlo brzo te danas na raspolaganju imamo više desetaka tehnologija razvijenih oko Apache Hadoop ekosustava.

Hortonworks Data Platform i filozofija otvorenog koda

Mnoge velike kompanije investirale su u razvoj big data tehnologija pa je tako nastalo nekoliko distribucija Apache Hadoopa koje su danas dostupne na tržištu. Jednu od najpoznatijih distribucija razvila je tvrtka Hortonworks pod imenom Hortonworks Data Platform ili HDP.

HDP distribucija dolazi s mnogim big data tehnologijama poput Sparka, Kafke, Rangera, Zookeepera, Zeppelina i mnogim drugima. Ono što Hortonworks čini posebnim u odnosu na konkurentske kompanije jest to što su posvećeni filozofiji otvorenog koda koja, kako kažu, potiče inovativnost. Jedna je od prednosti njihove filozofije ta što su zbog uključenosti u zajednicu otvorenog koda uistinu u korak s tehnologijom i vrlo brzo dodaju njihove najnovije verzije u HDP.

U početku su kritičari govorili da Hortonworks neće uspjeti stoga što nije enterprise-ready, prvenstveno zbog sigurnosti. No u Hortonworksu su pokazali da misle drugačije. Uz Ambari kao sučelje za upravljanje klasterom i Rangerom za nadzor i autorizaciju, HDP je danas i više nego enterprise-ready. Tome u prilog ide i činjenica kako ga mnoge svjetske kompanije poput IBM-a, Yahooa, T-mobilea i Symanteca koriste na svojim klasterima.

Partnerstvo Hortonworksa i CROZ-a

CROZ je iz vlastitog iskustva prepoznao mnoge prednosti HDP-a u odnosu na konkurentske distribucije. Iz tog smo se razloga odlučili na partnerstvo s Hortonworksom. Snagu HDP-a dodatno podcrtava i činjenica da je IBM ljetos zaustavio razvoj svoje distribucije i odlučio se za partnerstvo s Hortonworksom, kontribuirajući u to partnerstvo svojim vrlo značajnim BigSQL modulom i Data Science Experience platformom.

HDP je besplatan, svatko ga može preuzeti i instalirati na svoj klaster. Ako korisnik želi, može platiti i dodatnu podršku. No bitno je naglasiti da sve funkcionalnosti HDP-a dolaze u besplatnoj inačici.

CROZ-ov paket konzultantskih usluga između ostalog uključuje arhitekturno savjetovanje, instalaciju i konfiguraciju HDP distribucije na vaš klaster te mogućnost pilotiranja HDP-a na CROZ-ovu klasteru.

Razvoj big data tehnologija nastavlja se i ne nazire mu se kraj. Hortonworks u svakoj novoj verziji HDP-a uvodi novine koje će vaš klaster učiniti efikasnijim, sigurnijim i boljim u obradi velikih količina podataka. IT zajednica je tek sada počela čvršće vjerovati u big data tehnologije i postupno se prelazi iz faze pilotiranja u fazu razvoja velikih projekata koji će sutra pokretati jedan značajan komadić našeg svijeta

Tagovi:
Povratak