Kurs Apache Atlas

Lekcja 1 • Podstawy zarządzania danymi

Obejmuje podstawowe koncepcje zarządzania danymi, w tym metadane, pochodzenie danych i katalogowanie. Ustanawia kontekst biznesowy, który motywuje do adopcji Atlasa.

Lekcja 2 • Przegląd Apache Atlas

Przedstawia Atlas jako platformę do zarządzania danymi typu open source, jego historię i pozycję w ekosystemie Hadoop. Łączy potrzeby w zakresie zarządzania z możliwościami Atlasa.

Lekcja 3 • Kluczowe przypadki użycia i korzyści

Analizuje rzeczywiste wdrożenia Atlasa w różnych branżach, aby zilustrować wymierne rezultaty zarządzania danymi. Pomaga uczącym się dopasować funkcje Atlasa do celów organizacyjnych.

Lekcja 1 • Podstawowe pliki konfiguracyjne

Szczegółowo wyjaśnia plik atlas-application.properties i powiązane pliki konfiguracyjne. Umożliwia uczącym się dostrojenie zachowania Atlasa do konkretnych wymagań wdrożeniowych.

Lekcja 2 • Instalacja samodzielna

Przeprowadza przez pobieranie, budowanie i uruchamianie Atlasa w trybie samodzielnym do celów programistycznych. Zapewnia bezpieczne środowisko izolowane do eksploracji funkcji bez złożoności klastra.

Lekcja 3 • Aktualizacja i rozwiązywanie problemów z instalacjami

Omawia ścieżki migracji wersji i typowe błędy instalacji wraz z krokami diagnostycznymi. Przygotowuje uczących się do utrzymywania wdrożeń Atlasa w czasie.

Lekcja 4 • Wdrożenie w trybie klastrowym

Obejmuje wdrażanie Atlasa w rozproszonym klastrze wraz z HBase, Solr i Kafka. Buduje umiejętności gotowości produkcyjnej w oparciu o wiedzę z trybu samodzielnego.

Lekcja 1 • Zrozumienie systemu typów

Wyjaśnia oparty na typach model metadanych Atlasa, w tym typy pierwotne, enum, struktury i encje. Ustanawia ramy koncepcyjne dla wszystkich prac związanych z modelowaniem metadanych.

Lekcja 2 • Klasyfikacje i metadane biznesowe

Obejmuje tworzenie i stosowanie klasyfikacji oraz atrybutów metadanych biznesowych do encji. Łączy modelowanie typów z praktycznym tagowaniem i egzekwowaniem polityk.

Lekcja 3 • Typy relacji i modelowanie pochodzenia danych

Wyjaśnia, jak definiować typy relacji, które rejestrują przepływ danych i własność między encjami. Stanowi podstawę do budowy grafu pochodzenia danych.

Lekcja 4 • Wbudowane definicje typów

Przegląd typów dostarczonych przez Atlasa dla Hive, HDFS, Kafka i innych systemów. Redukuje zbędne modelowanie poprzez wykorzystanie istniejących definicji.

Lekcja 1 • Tworzenie i aktualizowanie encji

Obejmuje tworzenie encji przez interfejs użytkownika Atlasa i API REST z wymaganymi i opcjonalnymi atrybutami. Buduje podstawowe umiejętności CRUD centralne dla codziennych zadań zarządzania metadanymi.

Lekcja 2 • Wyszukiwanie encji za pomocą podstawowego wyszukiwania

Wprowadza wyszukiwanie pełnotekstowe i wyszukiwanie oparte na atrybutach w interfejsie użytkownika Atlasa i przez API REST. Umożliwia uczącym się efektywne lokalizowanie zasobów w dużych katalogach metadanych.

Lekcja 3 • Zaawansowane wyszukiwanie DSL i Gremlin

Uczy języków zapytań Atlas DSL i Gremlin do złożonego wyszukiwania encji. Rozszerza możliwości wyszukiwania poza podstawowe filtry dla zaawansowanych użytkowników.

Lekcja 4 • Stosowanie klasyfikacji do encji

Pokazuje dołączanie, propagowanie i usuwanie klasyfikacji na encjach. Łączy zarządzanie encjami z egzekwowaniem polityk zarządzania danymi.

Lekcja 1 • Ręczne tworzenie pochodzenia danych przez API

Pokazuje, jak tworzyć encje procesów i łączyć wejścia i wyjścia przez API REST. Obejmuje scenariusze, w których automatyczne haki są niedostępne.

Lekcja 2 • Automatyczne pochodzenie danych z Hive i Spark

Pokazuje, jak haki Atlasa automatycznie rejestrują pochodzenie danych z zapytań Hive i zadań Spark. Redukuje ręczny wysiłek poprzez wykorzystanie natywnych integracji.

Lekcja 3 • Analiza wpływu i śledzenie źródła problemów

Wykorzystuje grafy pochodzenia danych do oceny wpływu zmian schematu na dalsze etapy i śledzenia problemów z jakością danych w górę strumienia. Dostarcza praktycznych informacji dotyczących zarządzania danymi.

Lekcja 4 • Koncepcje pochodzenia danych i model grafu

Definiuje encje wejściowe, wyjściowe i procesowe, które tworzą graf pochodzenia danych Atlasa. Ustanawia model koncepcyjny przed praktyczną pracą z pochodzeniem danych.

Lekcja 1 • Integracja z Hive i konfiguracja haka

Konfiguruje hak Atlasa dla Hive do automatycznego rejestrowania metadanych tabel, kolumn i zapytań. Pokazuje najczęstszą i najbardziej wpływową integrację Atlasa.

Lekcja 2 • Integracja z Sqoop i Falcon

Pokazuje użycie haków Sqoop i Falcon do rejestrowania pochodzenia danych z relacyjnych importów i metadanych przepływów pracy. Rozszerza zasięg pochodzenia danych na potoki wsadowego pozyskiwania danych.

Lekcja 3 • Integracja z Apache Ranger dla polityk

Łączy klasyfikacje Atlasa z politykami dostępu opartymi na tagach Rangera do automatycznego egzekwowania. Pokazuje przepływ pracy od zarządzania danymi do bezpieczeństwa.

Lekcja 4 • Integracja z Kafka dla strumieniowania zdarzeń

Konfiguruje Atlas do katalogowania tematów Kafka i rejestrowania pochodzenia danych producent-konsument. Dotyczy zarządzania metadanymi dla strumieniowych potoków danych.

Lekcja 1 • Autoryzacja i zarządzanie rolami

Wyjaśnia wbudowane role Atlasa i sposób przypisywania uprawnień użytkownikom i grupom. Ustanawia kontrolę dostępu z najmniejszymi uprawnieniami dla operacji na metadanych.

Lekcja 2 • Mechanizmy uwierzytelniania

Obejmuje opcje uwierzytelniania oparte na plikach, LDAP, Kerberos i SSO dla Atlasa. Umożliwia uczącym się dopasowanie uwierzytelniania do standardów bezpieczeństwa organizacji.

Lekcja 3 • Logowanie audytu i raportowanie zgodności

Pokazuje włączanie i odpytywanie dziennika audytu Atlasa dla operacji na encjach i administracyjnych. Wspiera raportowanie zgodności i dochodzenia kryminalistyczne.

Lekcja 4 • Szyfrowanie TLS i bezpieczeństwo sieci

Konfiguruje TLS dla API REST Atlasa i komunikacji między usługami. Chroni metadane podczas przesyłania w rozproszonych wdrożeniach.

Lekcja 1 • Monitorowanie i alerty dla Atlasa

Integruje metryki Atlasa z platformami monitorującymi i konfiguruje alerty dotyczące stanu usług. Umożliwia proaktywne zarządzanie operacjami w środowisku produkcyjnym.

Lekcja 2 • Konfiguracja wysokiej dostępności

Konfiguruje Atlas w trybie HA aktywny-pasywny z koordynacją ZooKeeper. Zapewnia ciągłość działania usługi metadanych dla środowisk o krytycznym znaczeniu.

Lekcja 3 • Tworzenie kopii zapasowych, przywracanie i odtwarzanie po awarii

Obejmuje procedury tworzenia kopii zapasowych i przywracania oparte na migawkach HBase dla metadanych Atlasa. Chroni dane zarządcze przed uszkodzeniem i awariami infrastruktury.

Lekcja 4 • Dostrajanie wydajności i indeksowanie

Optymalizuje ustawienia JanusGraph, Solr i JVM dla dużych obciążeń metadanymi. Redukuje opóźnienia zapytań i poprawia przepustowość pozyskiwania danych.