Wprowadzenie do Big Data i Apache Hadoop
Program warsztatu oferuje szybki przegląd podstawowych technologii z ekosystemu Apache Hadoop. Oprócz prezentacji, dla uczestników jest przygotowany warsztat, gdzie w praktyce będą mieli okazję samodzielnie eksplorować zbiory danych.
Podczas warsztatów:
- – zdobędziesz podstawową wiedzę, dotyczącą problemów skali Big Data,
- – zrozumiesz algorytm MapReduce,
- – poznasz narzędzia analityczne Pig i Hive,
- – poznasz zalety i wady omawianych technologii.
Od uczestników wymagana jest podstawowa wiedza z SQLa, basha, Pythona (lub innego języka skryptowego) oraz Javy. Uczestnicy w trakcie zajęć korzystają z własnego sprzętu (wymagany komputer z min. 6GB RAM i procesorem Intel i5 lub nowszym/podobnym).
Zapewniamy nielimitowany dostęp do pysznej kawy oraz pizzę. ☺
Prowadzący
jest specjalistą IT z szerokim zapleczem teoretycznym i praktycznym. Od 2006 roku zdobywa doświadczenia w różnych dziedzinach - od technologii mobilnych przez JEE po wdrażanie platform Big Data - a wszystko to w całej różnorodności projektów i środowisk m.in. bankowości, telekomunikacji, sektorze publicznym i startupach.
Program warsztatów
- Wprowadzenie do Big Data.
- Czym jest Big Data, BigTable, MapReduce.
- Pojęcia real time, batch w kontekście procesowania danych.
- Ekosystem Hadoop.
- Wprowadzenie do MapReduce i Hadoop.
- Architektura.
- HDFS and YARN.
- Map Reduce Framework.
- Map Reduce Streaming.
- Warsztat.
- HDFS.
- Map Reduce.
- Wprowadzenie do Pig.
- Architektura.
- Tryby pracy.
- Typy danych, słowa kluczowe.
- Składnia.
- Warsztat Pig.
- Wprowadzenie do Hive.
- Architektura.
- Tryby pracy.
- Typy danych.
- Składnia.
- Formaty danych.
- Porównanie z Pig.
- Warsztat Hive.
- Monitorowanie i zarządzanie klastrem.
- CLI.
- Przegląd Apache Ambari.
Uwaga
Zapisy na wybrany warsztat zostały zakończone.