Big Data Engineer Eğitimi

Ders 1 • Veri Mühendisi Rolü ve Sorumlulukları

Veri mühendisinin kapsamını veri bilimcileri ve analistlerinden ayırır. Veri hatlarının sahipliğini, güvenilirliğini ve veri kalitesini netleştirir.

Ders 2 • Büyük Veri Mimarisi Desenleri

Lambda ve Kappa mimarilerini ve bunların ödünleşmelerini tanıtır. Daha sonra ele alınacak tüm veri hattı tasarımları için yapısal bağlamı sağlar.

Ders 3 • Büyük Veriyi ve Boyutlarını Tanımlama

5 V çerçevesini ve gerçek dünya veri büyüme etkenlerini kapsar. Tüm kurs boyunca kullanılan kelime dağarcığını oluşturur.

Ders 1 • Veri Mühendisleri için Ağ Kavramları

TCP/IP, DNS, bağlantı noktaları ve güvenlik duvarlarını dağıtık sistemler bağlamında açıklar. Öğrencilerin küme ortamlarındaki bağlantı sorunlarını gidermesini sağlar.

Ders 2 • Bulut Altyapı Temelleri

Büyük bulut sağlayıcılarındaki hesaplama, depolama ve ağ ilkelerini tanıtır. Öğrenciler sanal makineler ve nesne depolama kovaları dağıtabilir ve yapılandırabilir.

Ders 3 • Docker ile Konteynerleştirme

Tekrarlanabilir veri mühendisliği ortamları için konteynerler oluşturmayı ve çalıştırmayı öğretir. Konteynerler, bir sonraki bölümden itibaren laboratuvarlarda kullanılır.

Ders 1 • HDFS Mimarisi ve İç Yapısı

NameNode, DataNode rollerini, blok çoğaltmayı ve hata toleransını açıklar. İşleme çerçevelerini tanıtmadan önce gereken depolama temelini sağlar.

Ders 2 • Dağıtık Depolama için Veri Biçimleri

Avro, Parquet ve ORC dahil olmak üzere satır tabanlı ve sütun tabanlı biçimleri karşılaştırır. Biçim seçimi, sonraki işleme bölümlerinde sorgu performansını doğrudan etkiler.

Ders 3 • Bulut Nesne Depolama Entegrasyonu

Bulut nesne depolamanın doğrudan HDFS yedeklemesi olarak kullanılmasını gösterir. Öğrencileri daha sonra tanıtılacak bulut yerel veri hattı mimarilerine hazırlar.

Ders 4 • Veri Gölü Tasarım İlkeleri

Bölge tabanlı veri gölü mimarisini tanıtır: ham, düzenlenmiş ve tüketim katmanları. Öğrenciler, aşağı akış analitik hatlarını destekleyen depolama düzenleri tasarlar.

Ders 1 • Spark Performans Ayarlama

Üretim işleri için bölümleme, önbelleğe alma, serileştirme ve bellek yönetimini ele alır. Öğrenciler, iş çalıştırma sürelerini ve kaynak maliyetlerini önemli ölçüde azaltır.

Ders 2 • Spark Mimarisi ve Yürütme Modeli

Sürücü, yürütücü, DAG zamanlayıcısı ve görev yürütmeyi açıklar. İç yapıları anlamak, verimli Spark kodu yazmanın ön koşuludur.

Ders 3 • RDD'ler, DataFrame'ler ve Veri Kümeleri

Üç Spark soyutlama katmanını ve her birinin ne zaman kullanılacağını kapsar. Düşük seviyeli RDD işlemlerinden yüksek seviyeli DataFrame dönüşümlerine doğru ilerler.

Ders 4 • Spark SQL ve Veri Manipülasyonu

DataFrame'ler üzerinde SQL sorguları, pencere işlevleri ve karmaşık toplamaları öğretir. Analistlerden mühendislere dönüşenlerin mevcut SQL becerilerini Spark'ta kullanmalarını sağlar.

Ders 1 • Apache Sqoop ve Alternatifleri ile Toplu Alma

Sqoop ve modern alternatiflerini kullanarak toplu ilişkisel veritabanı çıkarmayı kapsar. Hem akış hem de toplu kaynak sistemleri için alma araç setini tamamlar.

Ders 2 • Mesaj Üretme ve Tüketme

Üretici bildirim ayarlarını, tüketici ofset yönetimini ve tam olarak bir kez semantiğini kapsar. Öğrenciler, Python ve Java'da güvenilir üreticiler ve tüketiciler yazar.

Ders 3 • Değişiklik Verisi Yakalama Teknikleri

Satır düzeyindeki değişiklikleri yakalamak için veritabanı işlem günlüklerini kullanarak CDC'yi tanıtır. Operasyonel veritabanları ile veri gölü arasında gerçek zamanlıya yakın senkronizasyon sağlar.

Ders 4 • Apache Kafka Mimarisi

Broker'ları, konuları, bölümleri, tüketici gruplarını ve çoğaltmayı açıklar. Bu mimari, sonraki bölümlerde oluşturulan tüm akış hatlarının temelini oluşturur.

Ders 1 • Akış Hattı Güvenilirliği ve İzleme

Akış işleri için geri basınç, tüketici gecikmesi, hata kurtarma ve uyarılamayı ele alır. Öğrencilerin akış hatlarını üretimde işletebilmesini sağlar.

Ders 2 • Apache Flink Mimarisi ve API'leri

Flink'in JobManager'ını, TaskManager'ını, DataStream API'sini ve Table API'sini kapsar. Öğrenciler, tam olarak bir kez garantileriyle durum bilgisi olan akış işleri yazar.

Ders 3 • Akış İşleme Temelleri

Olay zamanı, işlem zamanı, filigranlar ve pencerelendirme semantiklerini tanımlar. Bu kavramlar, doğru akış uygulamaları yazmanın ön koşuludur.

Ders 4 • Spark Yapılandırılmış Akış

Spark Yapılandırılmış Akış'ın mikro toplu iş ve sürekli işleme modlarını öğretir. Akış iş yükleri için mevcut Spark DataFrame becerilerinden yararlanır.

Ders 1 • Bulut Veri Ambarı Platformları

MPP bulut ambarı mimarilerini ve bunların depolama-hesaplama ayrımı modellerini karşılaştırır. Öğrenciler, ambar SQL'ini kullanarak büyük veri kümelerini yükler, dönüştürür ve sorgular.

Ders 2 • Apache Iceberg ve Hudi Biçimleri

Iceberg'in gizli bölümlemesini ve Hudi'nin güncelleme/ekleme yeteneklerini Delta Gölü'ne alternatif olarak kapsar. Öğrenciler, kullanım durumları için doğru açık tablo biçimini seçer.

Ders 3 • Delta Gölü ve Tablo Biçimleri

Delta Gölü'nde ACID işlemleri, zaman yolculuğu ve şema zorlamasını tanıtır. Ham veri gölü depolama ile ambar sınıfı güvenilirlik arasındaki boşluğu kapatır.

Ders 4 • Veri Ambarı Modelleme Temelleri

Yıldız şema, kar tanesi şema, yavaş değişen boyutlar ve olgu tablosu tasarımını kapsar. Ambar ve göl evi uygulamalarında kullanılan modelleme kelime dağarcığını sağlar.

Ders 1 • Apache Airflow Mimarisi ve DAG'ler

Airflow'un zamanlayıcısını, yürütücüsünü, meta veri veritabanını ve DAG yazarlığını kapsar. Bu bölümdeki tüm veri hattı otomasyonu için orkestrasyon temelini oluşturur.

Ders 2 • Hatlar için CI/CD ve Kod Olarak Altyapı

Git iş akışlarını, otomatik testleri ve Terraform'u veri hattı dağıtımına uygular. Öğrenciler, değişiklikleri üretime güvenli ve tekrarlanabilir bir şekilde iletir.

Ders 3 • Gelişmiş DAG Tasarım Desenleri

Dinamik DAG oluşturma, dallanma ve DAG'ler arası bağımlılıkları öğretir. Öğrencilerin esnek, yeniden kullanılabilir orkestrasyon desenleri oluşturmasını sağlar.

Ders 4 • Veri Kalitesi ve Veri Hattı Testi

Büyük Beklentiler ve dbt testlerini kullanarak veri hattı içinde veri kalitesi kontrolleri uygular. Kötü verilerin aşağı akış tüketicilere yayılmasını önler.