Blog

Apache Spark na z/OS-u

Postoji gruba računica po kojoj se Spark na z/OS-u isplati već u slučajevima kada se više od 150 GB podataka sa z/OS-a prebacuje u DWH skladišta na neku drugu platformu.
, 03.02.2017.

Kada smo mi pripadnici CROZ-ovog mainframe svemira čuli da postoji verzija Apache Spark (o Sparku možete pročitati odličan nedavni blog kolege Benšića 🙂 ) namijenjen za mainframe odmah smo pomislili na Linux on z Systems. Čuli smo za Apache Spark, logično je da radi na Linuxu, e pa ako radi na Linuxu pomislili smo zašto ne bi radio i na Linuxu on z. Činilo nam se da je i to još jedna od ‘novotarija’ koje dolaze iz open source svijeta (kao npr. Docker, MongoDB, Node.js, …), a koje se mogu naći na Linuxu koji se izvodi na IBM mainframe mašini. To je zapravo i istina. Apache Spark radi na Linuxu on z. Međutim, kad smo shvatili da postoji i Apache Spark namijenjen za z/OS tu je stvar već postala jako zanimljiva. Spark na z/OS-u? Zašto, kako? Krenimo redom.

Zašto?

Zato što je analitika nad ‘živim’ transakcijskim podacima sve zanimljivija, a većina takvih podataka u svijetu još uvijek se nalazi na mainframe platformi i to ponajviše na z/OS operativnom sustavu u DB2 ili IMS bazama. Noviji naziv za takve okoline je još i ‘system of records’. Dakle, radite analitiku na mjestu gdje podaci nastaju bez potrebe da se izvlače, prerađuju i pune (ETL) u velika DWH skladišta koje su najčešće negdje izvan mainframe-a. Nabrojimo samo neke važnije prednosti: rezultati u realnom vremenu, sigurnost i pouzdanost platforme, blizina podataka. Također je važno istaknuti da Spark na z/OS-u može raditi s podacima iz raznih izvora: DB2, IMS, VSAM, ADABAS, … Može čak raditi i s podacima koji su izvan mainframe-a.

Kako?

Preciznije pitanje bi bilo ‘kako, a da ne bude skupo?’. Tako što se većina Spark posla (> 90%) izvodi na specijaliziranom zIIP procesoru čija potrošnja ne utječe na mjesečni trošak softvera. Uz procesorsku snagu potrebna je i određena količina memorije. Spark na z/OS-u koristi sve specifične funkcije na z/OS-u kao WLM, large page support, SMT2. Integrira se s RACF (ili nekom drugom odgovarajućom) sigurnosnom platformom, a nadgleda se kroz RMF ili Spark Web UI.

Apache Spark za z/OS je besplatan, ali ako želite podršku od IBM-a, potrebno ju je platiti. Ako kupujete zIIP procesore i memoriju radi korištenja Sparka na z/OS-u, IBM je najavio osigurati posebne popuste. Uzevši to u obzir, postoji gruba računica po kojoj se Spark na z/OS-u isplati već u slučajevima kada se više od 150 GB podataka sa z/OS-a prebacuje u DWH skladišta na neku drugu platformu.

Ako zadovoljavate navedene uvjete i željeli biste probati da li je Spark na z/OS-u prava stvar za vas, stručnjaci CROZ-a sa svojim znanjem o Sparku i velikim iskustvom na mainframe-u su tu da vam pomognu.

Tagovi:
Povratak