Kurso sa Big Data Analysis

Aralin 1 • Mga Uri at Format ng Datos

Sumasaklaw sa structured, semi-structured, at unstructured na datos kasama ang mga karaniwang format ng file. Inihahanda ang mga mag-aaral na pumili ng angkop na mga estratehiya sa storage at processing.

Aralin 2 • Pagbibigay-Kahulugan sa mga Konsepto ng Big Data

Ipinakikilala ang 5 Vs framework at iniiba ang big data sa tradisyunal na datos. Iniangkla ang lahat ng kasunod na teknikal na paksa sa magkabahaging terminolohiya.

Aralin 3 • Mga Business Driver at Use Case

Sinusuri ang mga motibasyon ng industriya para sa pag-aampon ng big data at mga karaniwang layunin sa analitika. Ikinokonekta ang mga teknikal na konsepto sa masusukat na resulta ng negosyo.

Aralin 1 • Mga Prinsipyo ng Distributed File System

Ipinapaliwanag ang replication, fault tolerance, at block storage sa mga distributed system. Itinatatag ang pundasyon ng storage na kinakailangan para sa lahat ng processing framework sa hinaharap.

Aralin 2 • Hadoop Distributed File System (HDFS)

Sumasaklaw sa arkitektura, configuration, at mga pangunahing operasyon ng HDFS para sa pag-iimbak ng malalaking dataset. Direktang nagbibigay-daan sa hands-on na trabaho sa Hadoop-based na processing sa mga susunod na kabanata.

Aralin 3 • Mga Pundamental ng NoSQL Database

Sinusuri ang key-value, document, column-family, at graph na mga modelo ng NoSQL. Inihahanda ang mga mag-aaral na itugma ang teknolohiya ng storage sa istruktura ng datos at mga kinakailangan sa query.

Aralin 4 • Object Storage para sa Big Data

Ipinakikilala ang cloud-native object storage bilang isang scalable na alternatibo sa HDFS. Inihahanda ang mga mag-aaral na mag-arkitekto ng hybrid at cloud-first na mga solusyon sa data lake.

Aralin 1 • Modelo ng Programang MapReduce

Ipinapaliwanag ang mga yugto ng map, shuffle, at reduce gamit ang mga diagram ng data flow. Nagbibigay ng konseptwal na ubod na kinakailangan bago sumulat ng anumang distributed processing code.

Aralin 2 • Pagpapahusay ng Performance ng MapReduce

Sumasaklaw sa memory settings, speculative execution, at task parallelism para sa mas mabilis na trabaho. Ikinokonekta ang teoretikal na kaalaman sa masusukat na pagpapabuti ng performance.

Aralin 3 • Pagsulat ng mga MapReduce Job

Ginagabayan ang mga mag-aaral sa pag-code ng mga function ng mapper at reducer na may mga praktikal na halimbawa. Binubuo ang pundasyon ng programming para sa lahat ng kasunod na processing framework.

Aralin 1 • Mga Distributed SQL Query Engine

Ipinakikilala ang mga MPP query engine na direktang nagpapatupad ng SQL sa distributed storage. Pinapalawak ang toolkit ng mga mag-aaral lampas sa Hive para sa interactive at ad hoc analytics.

Aralin 2 • Disenyo ng Schema para sa Analytics

Itinuturo ang star at snowflake schema, denormalization, at mga pattern ng schema-on-read. Inihahanda ang mga mag-aaral na magdisenyo ng mga istruktura ng data warehouse sa mga big data platform.

Aralin 3 • Arkitektura at Data Model ng Hive

Ipinapaliwanag ang Hive metastore, mga table, at HiveQL bilang isang SQL abstraction sa ibabaw ng HDFS. Binibigyang-daan ang mga mag-aaral na magamit ang umiiral na kasanayan sa SQL sa isang distributed na konteksto.

Aralin 4 • Query Optimization sa Hive

Sumasaklaw sa mga execution plan, vectorization, at cost-based optimization para sa mga query sa Hive. Direktang binabawasan ang latency ng query sa mga analytical pipeline na binuo sa kabanatang ito.

Aralin 1 • Arkitektura at Modelo ng Pagpapatupad ng Spark

Ipinapaliwanag ang driver, executor, DAG scheduler, at task execution sa mga Spark cluster. Nagbibigay ng pang-unawa sa arkitektura na kinakailangan upang sumulat at mag-tono ng mahusay na mga Spark job.

Aralin 2 • DataFrames at Spark SQL

Ipinakikilala ang DataFrame API at Spark SQL para sa structured data processing sa malalaking sukat. Ikinokonekta ang kaalaman sa SQL mula sa Kabanata 4 sa optimized na execution engine ng Spark.

Aralin 3 • Mga Advanced na Operasyon ng Spark

Sumasaklaw sa mga join, aggregation, window function, at user-defined function sa Spark. Binibigyang-daan ang mga mag-aaral na hawakan ang mga kumplikadong analytical transformation sa mga production pipeline.

Aralin 4 • Mga RDD at Pangunahing Transformation

Sumasaklaw sa Resilient Distributed Datasets, lazy evaluation, at mga pangunahing operasyon ng transformation. Binubuo ang pundasyonal na modelo ng programming ng Spark bago ang mga mas mataas na antas na API.

Aralin 1 • Message Queuing gamit ang Kafka

Sumasaklaw sa mga Kafka topic, partition, producer, at consumer bilang isang streaming backbone. Nagbibigay ng ingestion layer na kinakailangan ng lahat ng downstream stream processor.

Aralin 2 • Apache Spark Structured Streaming

Itinuturo ang micro-batch at tuloy-tuloy na streaming gamit ang pinag-isang DataFrame API ng Spark. Ginagamit ang mga kasanayan sa Spark mula sa mga kabanata ng batch at pinapalawak ang mga ito sa streaming workload.

Aralin 3 • Apache Flink Stream Processing

Ipinakikilala ang native streaming model, state backend, at event-time processing ng Flink. Nagbibigay ng alternatibo sa Spark para sa low-latency, stateful streaming application.

Aralin 4 • Mga Pattern ng Disenyo ng Real-Time Pipeline

Naglalahad ng mga arkitektura ng Lambda, Kappa, at CQRS para sa pagsasama ng batch at streaming. Inihahanda ang mga mag-aaral na mag-arkitekto ng end-to-end na real-time data system.

Aralin 1 • Kalidad at Pagpapatunay ng Datos

Ipinakikilala ang data profiling, schema validation, at automated quality checks sa mga pipeline. Tinitiyak na ang mga analytical output ay maaasahan at mapagkakatiwalaan para sa mga downstream consumer.

Aralin 2 • Workflow Orchestration gamit ang Airflow

Itinuturo ang DAG authoring, pag-iiskedyul, at pamamahala ng dependency sa Apache Airflow. Nagbibigay ng orchestration layer na nagko-coordinate sa lahat ng bahagi ng pipeline.

Aralin 3 • Mga Estratehiya ng Data Ingestion

Sumasaklaw sa batch ingestion, change data capture, at mga pattern ng event-driven ingestion. Itinatatag ang entry point para sa lahat ng datos na pumapasok sa mga pipeline na binuo sa kabanatang ito.

Aralin 4 • Pagiging Maaasahan at Pag-monitor ng Pipeline

Sumasaklaw sa idempotency, retry logic, dead-letter queue, at observability para sa mga pipeline. Inihahanda ang mga mag-aaral na mapanatili ang production-grade data infrastructure.

Aralin 1 • MLOps para sa mga Big Data Pipeline

Naglalahad ng tuloy-tuloy na pagsasanay, feature store, at experiment tracking para sa scalable na operasyon ng ML. Binibigyang-daan ang mga mag-aaral na mapanatili at mapabuti ang mga modelo sa mga production environment.

Aralin 2 • Deployment at Serving ng Modelo

Sumasaklaw sa batch scoring, real-time inference, at mga pattern ng model registry para sa production ML. Tinutulay ang agwat sa pagitan ng pagsasanay ng modelo at operational na halaga ng negosyo.

Aralin 3 • Mga Konsepto ng Distributed Machine Learning

Ipinapaliwanag ang data parallelism, model parallelism, at distributed gradient descent. Itinatatag ang teoretikal na pundasyon para sa lahat ng ML framework na saklaw sa kabanatang ito.

Aralin 4 • Graph Analytics sa Malaking Sukat

Ipinakikilala ang mga graph data model at distributed graph processing para sa pagsusuri ng network. Pinapalawak ang mga kakayahan sa analitika sa mga problema sa big data na nakasentro sa relasyon.