Kozi ya Apache PySpark

Somo 1 • Muhtasari wa Usanifu wa Apache Spark

Inaeleza mfano wa dereva-mtekelezaji wa Spark, wasimamizi wa nguzo, na injini ya utekelezaji ya DAG. Inatoa mfano wa akili ambao wanafunzi wanahitaji kufikiri kuhusu tabia ya kazi ya PySpark.

Somo 2 • Dhana na Changamoto za Data Kubwa

Inashughulikia ujazo, kasi, na aina kama vichocheo vya mahitaji ya usindikaji uliosambazwa. Inaweka wazi kwa nini zana za jadi zinashindwa kwenye kiwango kikubwa, ikichochea mbinu ya PySpark.

Somo 3 • Misingi ya SparkSession na SparkContext

Inatanguliza SparkSession kama lango la pamoja la utekelezaji wa utendaji wote wa Spark. Wanafunzi huunda vipindi, kuweka usanidi, na kuelewa mpangilio wa mazingira.

Somo 4 • Kusanidi Mazingira ya PySpark

Inaongoza usakinishaji wa Java, Python, na PySpark kwa ndani na kupitia madaftari ya wingu. Wanafunzi wanathibitisha usanidi wao kwa kuendesha mazingira madogo ya Spark.

Somo 1 • Kuunda RDDs kutoka Vyanzo Mbalimbali

Inaonyesha kuleta sambamba orodha za Python na kusoma kutoka kwa faili na mifumo ya nje. Wanafunzi wanafanya mazoezi ya kuunda RDDs na hesabu zinazodhibitiwa za sehemu.

Somo 2 • Vitendo na Udumishaji wa RDD

Inaeleza jinsi vitendo vinavyoanzisha utekelezaji na jinsi kuhifadhi nakala kwenye kumbukumbu kunavyozuia urekebishaji usio wa lazima. Wanafunzi wanachagua viwango sahihi vya hifadhi kwa mizigo ya kazi ya kurudiarudia.

Somo 3 • Mageuzi: map, filter, na flatMap

Inashughulikia mageuzi makuu ya uvivu yanayobadilisha maudhui ya RDD kipengele kwa kipengele. Wanafunzi huunda minyororo ya mageuzi na kukagua DAG inayotokana.

Somo 4 • RDDs za Ufunguo-Thamani na Uendeshaji wa Jozi

Inatanguliza RDDs za jozi na uendeshaji unaotegemea kuhama kama groupByKey na reduceByKey. Wanafunzi hujifunza kupunguza kuhama kwa utendaji bora.

Somo 1 • Spark SQL: Kuuliza kwa Sintaksia ya SQL

Inasajili DataFrames kama maoni ya muda na kuyauliza kwa SQL ya kawaida. Wanafunzi wanaunganisha wito wa SQL na API ya DataFrame katika mstari mmoja wa usindikaji.

Somo 2 • Makusanyiko na Uwekaji katika Vikundi

Inatumia groupBy, agg, na vitendaji vya dirisha kufupisha data katika viwango mbalimbali vya ukamilifu. Wanafunzi hutoa vipimo vya kiwango cha biashara kutoka kwa data ya matukio ghafi.

Somo 3 • Kuunda DataFrames kutoka Vyanzo Vingi

Inashughulikia kusoma vyanzo vya CSV, JSON, Parquet, na JDBC kwenye DataFrames. Wanafunzi husanidi chaguo za msomaji na kushughulikia rekodi zilizoharibika kwa ustaarabu.

Somo 4 • Mageuzi ya DataFrame na Uendeshaji wa Safu

Inafundisha kuchagua, kuchuja, kubadilisha jina, kuakibishia, na kupata safu kwa kutumia API ya Safu. Wanafunzi huunda minyororo ya mageuzi inayoweza kutumika tena.

Somo 1 • Aina Changamano: Safu, Ramani, na Miundo

Inaendesha data iliyowekwa ndani na yenye nusu-muundo kwa kutumia explode, vitendaji vya safu, na ufikiaji wa miundo. Wanafunzi huweka laini na kuunda upya safu za mtindo wa JSON kwa uchanganuzi wa jedwali.

Somo 2 • Uondoaji wa Nakala Rudufu na Uthibitishaji wa Data

Huondoa rekodi rudufu na kutekeleza sheria za biashara kupitia ukaguzi wa mtindo wa madai. Wanafunzi huunda tabaka za uthibitishaji zinazoleta wazi matatizo ya ubora wa data mapema.

Somo 3 • Uendeshaji wa Tungo na Regex

Hutumia vitendaji vya tungo vilivyojengwa ndani na mifumo ya regex kusafisha na kusawazisha sehemu za maandishi. Wanafunzi husawazisha fomati zisizofanana kama nambari za simu na kategoria.

Somo 4 • Uchakataji wa Tarehe na Muhuri wa Muda

Huchambua, kuunda fomati, na kuhesabu hesabu za tarehe kwa kutumia vitendaji vya tarehe vya Spark. Wanafunzi hutoa vipengele vinavyotegemea wakati kwa uchanganuzi wa chini ya mstari.

Somo 1 • Mifumo ya Juu ya Makusanyiko

Inatumia uwekaji katika vikundi wa viwango vingi, makusanyiko ya masharti, na vitendaji vya makadirio kwa kiwango kikubwa. Wanafunzi husawazisha usahihi na utendaji kwa mizigo mizito ya makusanyiko.

Somo 2 • Vitendaji vya Dirisha: Kuorodhesha na Kuamuru

Inatanguliza vipimo vya dirisha na vitendaji vya kuorodhesha kama row_number, rank, na dense_rank. Wanafunzi wanagawa safu zilizoamriwa ndani ya sehemu kwa uchanganuzi wa mtindo wa ubao wa viongozi.

Somo 3 • Vitendaji vya Dirisha: Jumla Zinazoendelea na Lag/Lead

Hukokotoa jumla zinazoendelea, wastani zinazohamishika, na ulinganisho wa kipindi hadi kipindi kwa kutumia mipaka ya fremu. Wanafunzi huunda vipimo vya mfululizo wa wakati bila viungo vya kujitegemea.

Somo 4 • Aina na Mikakati ya Viungo

Inashughulikia viungo vya ndani, kushoto, kulia, nje kamili, nusu, na kinyume na mifano ya vitendo. Wanafunzi huchagua aina za viungo kulingana na mantiki ya biashara na ukubwa wa data.

Somo 1 • Kuandika DataFrames kwa Njia za Kuhifadhi

Inaeleza njia za kuhifadhi za overwrite, append, ignore, na error na athari zake za uzalishaji. Wanafunzi hutekeleza mifumo ya uandishi isiyo na madhara kwa mifumo ya kuaminika.

Somo 2 • Kuunganisha kwenye Hifadhi ya Wingu na Iliyosambazwa

Husanidi PySpark kusoma kutoka na kuandika kwenye hifadhi ya vitu na mifumo ya faili iliyosambazwa. Wanafunzi huthibitisha utambulisho kwa usalama na kurekebisha mipangilio ya I/O kwa mazingira ya wingu.

Somo 3 • Fomati za Faili: Parquet, ORC, Avro, na Delta

Inalinganisha fomati za safu na za safu kwenye utendaji wa kusoma, ukandamizaji, na mageuzi ya schema. Wanafunzi huchagua fomati kulingana na mifumo ya ufikiaji wa mzigo wa kazi.

Somo 4 • Mikakati ya Ugawaji na Upangaji kwa Bucketing

Inatumia ugawaji na upangaji kwa bucketing wakati wa kuandika ili kupunguza gharama za uchunguzi kwenye seti kubwa za data. Wanafunzi hubuni mipango ya ugawaji inayolingana na vihusishi vya kawaida vya maswali.

Somo 1 • Kuhifadhi Nakala kwenye Kumbukumbu na Vigezo vya Matangazo

Inatumia kuhifadhi nakala kwenye kumbukumbu kwa DataFrames na vigezo vya matangazo ili kuondoa hesabu isiyo ya lazima na uhamishaji wa mtandao. Wanafunzi wanapima viwango vya kupata nakala na tabia ya kuondoa.

Somo 2 • Kuelewa Kiwashauri cha Catalyst

Hufuatilia jinsi Catalyst inavyobadilisha mipango ya mantiki kuwa mipango iliyoboreshwa ya kimaumbile kupitia mpito unaotegemea sheria na gharama. Wanafunzi husoma pato la explain kuthibitisha uboreshaji.

Somo 3 • Usimamizi wa Kumbukumbu na Ukusanyaji wa Taka

Inaeleza maeneo ya kumbukumbu ya mtekelezaji, hifadhi ya nje ya rundo, na athari ya JVM GC kwenye kazi za Spark. Wanafunzi hurekebisha sehemu za kumbukumbu ili kupunguza kumwagika na kusimama kwa GC.

Somo 4 • Ugawaji kwa Usambamba

Inalinganisha idadi ya sehemu na viini vya nguzo ili kuongeza usambamba bila mzigo mkubwa usio wa lazima. Wanafunzi wanatumia utekelezaji wa maswali unaobadilika ili kuweka ukubwa wa sehemu kiotomatiki.

Somo 1 • Uweka Kumbukumbu ya Matukio, Ufuatiliaji, na Ushughulikiaji wa Makosa

Inatekeleza uwekaji kumbukumbu ya matukio uliopangwa, ushughulikiaji wa tofauti, na utoaji wa vipimo ndani ya kazi za PySpark. Wanafunzi huunda mifumo inayoonekana inayoleta wazi hitilafu na kurudi nyuma kwa utendaji.

Somo 2 • Kupima Msimbo wa PySpark

Inatumia mifumo ya upimaji wa vitengo na ujumuishaji kwa kutumia pytest na DataFrames ndogo kwenye kumbukumbu. Wanafunzi huunda seti za majaribio zinazokamata kurudi nyuma kabla ya usambazaji wa uzalishaji.

Somo 3 • Urata wa Mzunguko wa Kazi na Airflow

Hupanga na kufuatilia kazi za PySpark kwa kutumia urata unaotegemea DAG na usimamizi wa tegemezi. Wanafunzi huunda DAG ya mfumo wa hatua nyingi yenye mantiki ya kurudia na arifa.

Somo 4 • Usanifu wa Mfumo na Mifumo ya Usanifu

Inatanguliza usanifu wa medali, usanifu wa mfumo unaojikita, na utengano wa tabaka za kumeza, mageuzi, na utoaji. Wanafunzi wanapanga mahitaji ya biashara kwa hatua za mfumo.