#8

Wprowadzenie do Big Data i Apache Hadoop

Program warsztatu oferuje szybki przegląd podstawowych technologii z ekosystemu Apache Hadoop. Oprócz prezentacji, dla uczestników jest przygotowany warsztat, gdzie w praktyce będą mieli okazję samodzielnie eksplorować zbiory danych.

Podczas warsztatów:

  • – zdobędziesz podstawową wiedzę, dotyczącą problemów skali Big Data,
  • – zrozumiesz algorytm MapReduce,
  • – poznasz narzędzia analityczne Pig i Hive,
  • – poznasz zalety i wady omawianych technologii.

Od uczestników wymagana jest podstawowa wiedza z SQLa, basha, Pythona (lub innego języka skryptowego) oraz Javy. Uczestnicy w trakcie zajęć korzystają z własnego sprzętu (wymagany komputer z min. 6GB RAM i procesorem Intel i5 lub nowszym/podobnym).

Zapewniamy nielimitowany dostęp do pysznej kawy oraz pizzę. ☺

Prowadzący

Jakub Nowacki:

Absolwent Politechniki Gdańskiej oraz Uniwersytetu Bristolskiego, gdzie obronił doktorat z matematyki stosowanej. Na co dzień łączy umiejętności analityczne i programistyczne. Najbardziej interesuje się rozproszonym przetwarzaniem i analizą dużych zbiorów danych. Zaczynał przygodę z programowaniem w językach C i C++, jednak obecnie najlepiej czuje się w świecie Javy i Pythona.

Program warsztatów

  1. Wprowadzenie do Big Data.
    1. Czym jest Big Data, BigTable, MapReduce.
    2. Pojęcia real time, batch w kontekście procesowania danych.
    3. Ekosystem Hadoop.
  2. Wprowadzenie do MapReduce i Hadoop.
    1. Architektura.
    2. HDFS and YARN.
    3. Map Reduce Framework.
    4. Map Reduce Streaming.
    5. Warsztat.
      1. HDFS.
      2. Map Reduce.
  3. Wprowadzenie do Pig.
    1. Architektura.
    2. Tryby pracy.
    3. Typy danych, słowa kluczowe.
    4. Składnia.
    5. Warsztat Pig.
  4. Wprowadzenie do Hive.
    1. Architektura.
    2. Tryby pracy.
    3. Typy danych.
    4. Składnia.
    5. Formaty danych.
    6. Porównanie z Pig.
    7. Warsztat Hive.
  5. Monitorowanie i zarządzanie klastrem.
    1. CLI.
    2. Przegląd Apache Ambari.

Uwaga

W trosce o jakość warsztatów jesteśmy zmuszeni ograniczyć liczbę uczestników. **Kwalifikacja odbywa się na podstawie odpowiedzi udzielonych w formularzu zgłoszeniowym oraz - w dalszym kroku - kolejności zgłoszeń.** Potwierdzenie udziału w warsztatach wraz z instrukcją przygotowania środowiska otrzymasz najpóźniej na 7 dni przed planowaną datą wydarzenia.

Zapisy na wybrany warsztat zostały zakończone.