ডেটাব্রিকস লেকহাউস দিয়ে ডেটা অ্যাপ ডেভেলপমেন্ট কোর্স

পাঠ 1 • ডেটাব্রিকস প্ল্যাটফর্ম ওভারভিউ

এটি প্রধান ডেটাব্রিকস সার্ভিসসমূহ মানচিত্রায়িত করে: ওয়ার্কস্পেস, ক্লাস্টার, জবস এবং ইউনিটি ক্যাটালগ। শিক্ষার্থীরা কোনো উপকরণ কনফিগার করার আগে অভিমুখীকরণ অর্জন করে।

পাঠ 2 • ক্লাস্টার কনফিগারেশন এবং ম্যানেজমেন্ট

অল-পারপাস বনাম জব ক্লাস্টার, অটোস্কেলিং এবং রানটাইম নির্বাচন কভার করে। সঠিক ক্লাস্টার ডিজাইন সরাসরি খরচ কমায় এবং পাইপলাইনের নির্ভরযোগ্যতা উন্নত করে।

পাঠ 3 • নোটবুক এবং সহযোগিতামূলক ডেভেলপমেন্ট

মাল্টি-ল্যাঙ্গুয়েজ নোটবুক, ম্যাজিক কমান্ড এবং সহ-লেখার ফিচার পরিচয় করিয়ে দেয়। পুরো কোর্স জুড়ে ব্যবহৃত প্রাথমিক ডেভেলপমেন্ট এনভায়রনমেন্ট প্রতিষ্ঠা করে।

পাঠ 4 • স্টোরেজ ইন্টিগ্রেশন এবং ক্লাউড কানেক্টিভিটি

ডেটাব্রিকস কীভাবে ক্লাউড অবজেক্ট স্টোরেজ সুরক্ষিতভাবে মাউন্ট এবং অ্যাক্সেস করে তা ব্যাখ্যা করে। শিক্ষার্থীরা পরবর্তী সকল ডেটা এক্সারসাইজের জন্য প্রয়োজনীয় স্টোরেজ ক্রেডেনশিয়াল কনফিগার করে।

পাঠ 1 • টেবিল অপ্টিমাইজেশন টেকনিক

কুয়েরি কর্মদক্ষতা উন্নত করতে OPTIMIZE, Z-ORDER এবং ফাইল কম্প্যাকশন কভার করে। এই টেকনিকগুলো অ্যাডভান্সড চ্যাপ্টারে প্রোডাকশন টেবিলে প্রয়োগ করা হয়।

পাঠ 2 • ডেল্টা টেবিল তৈরি এবং পরিবর্তন

ম্যানেজড এবং এক্সটার্নাল টেবিলের জন্য DDL, স্কিমা ডেফিনিশন এবং ALTER অপারেশন কভার করে। শিক্ষার্থীরা সকল পাইপলাইন এক্সারসাইজে ব্যবহৃত টেবিল তৈরি করে।

পাঠ 3 • DML অপারেশন এবং মার্জ প্যাটার্ন

ব্যবহারিক আপসার্ট সিনারিওসহ INSERT, UPDATE, DELETE এবং MERGE INTO শেখায়। MERGE পরবর্তী চ্যাপ্টারে কভার করা ইনক্রিমেন্টাল ডেটা লোডিংয়ের মূল ভিত্তি।

পাঠ 4 • টাইম ট্রাভেল এবং ডেটা ভার্সনিং

ঐতিহাসিক টেবিল ভার্সন কুয়েরি করা এবং পূর্ববর্তী অবস্থা পুনরুদ্ধার করার প্রদর্শন করে। শিক্ষার্থীরা অডিটিং এবং রিকভারি সিনারিওর জন্য টাইম ট্রাভেল ব্যবহার করে।

পাঠ 1 • COPY INTO দিয়ে ব্যাচ ইনজেশন

ক্লাউড স্টোরেজ থেকে ডেল্টা টেবিলে আইডেমপোটেন্ট ফাইল লোডিংয়ের জন্য COPY INTO পরিচয় করিয়ে দেয়। স্ট্রিমিং বিকল্প প্রবর্তনের আগে সবচেয়ে সহজ ইনজেশন প্যাটার্ন প্রতিষ্ঠা করে।

পাঠ 2 • অটো লোডার আর্কিটেকচার

অটো লোডার কীভাবে ডিরেক্টরি লিস্টিং বা ফাইল নোটিফিকেশন ব্যবহার করে নতুন ফাইল সনাক্ত করে তা ব্যাখ্যা করে। শিক্ষার্থীরা পাইপলাইন কনফিগার করার আগে অভ্যন্তরীণ মেকানিক্স বোঝে।

পাঠ 3 • সেমি-স্ট্রাকচার্ড ডেটা ইনজেস্ট করা

ইনজেশন চলাকালীন JSON, XML এবং নেস্টেড স্ট্রাকচার পার্স করা শেখায়। শিক্ষার্থীরা জটিল পেলোড ফ্ল্যাটেন এবং নর্মালাইজ করে কুয়েরিযোগ্য ডেল্টা কলামে রূপান্তর করে।

পাঠ 4 • মেসেজ ব্রোকার থেকে স্ট্রিমিং ইনজেশন

ডেল্টায় রিয়েল-টাইম ইনজেশনের জন্য ডেটাব্রিকসকে ইভেন্ট স্ট্রিমিং প্ল্যাটফর্মের সাথে সংযুক্ত করে। শিক্ষার্থীরা অফসেট, কনজিউমার গ্রুপ এবং এক্সাক্টলি-ওয়ান্স সেমানটিকস কনফিগার করে।

পাঠ 1 • ইউজার-ডিফাইন্ড ফাংশন এবং হায়ার-অর্ডার ফাংশন

অ্যারে এবং ম্যাপের জন্য পাইথন UDF, প্যান্ডাস UDF এবং বিল্ট-ইন হায়ার-অর্ডার ফাংশন পরিচয় করিয়ে দেয়। শিক্ষার্থীরা দক্ষতার সাথে কাস্টম লজিক দিয়ে স্পার্ক SQL প্রসারিত করে।

পাঠ 2 • পাইথন এবং স্কালায় ডেটাফ্রেম API

প্রোগ্রামাটিকভাবে ডেটাফ্রেম তৈরি, কলাম অপারেশন এবং ট্রান্সফরমেশন চেইনিং শেখায়। শিক্ষার্থীরা ব্যবহারের ক্ষেত্রের উপর ভিত্তি করে SQL এবং API পদ্ধতির মধ্যে বেছে নেয়।

পাঠ 3 • স্পার্ক SQL ফান্ডামেন্টালস

ডেটাব্রিকস-এ SQL সিনট্যাক্স রিভিউ করে, যার মধ্যে CTE, উইন্ডো ফাংশন এবং সাবকুয়েরি রয়েছে। কোর্সের সমস্ত ট্রান্সফরমেশন কাজের জন্য কুয়েরি ভিত্তি সরবরাহ করে।

পাঠ 4 • অ্যাগ্রিগেশন এবং জয়েন

গ্রুপবাই, পিভট এবং তাদের কর্মদক্ষতার প্রভাবসহ সকল জয়েন স্ট্রাটেজি কভার করে। বড় ডেটাসেটে ডেটা স্কিউ এড়ানোর জন্য সঠিক জয়েন নির্বাচন অত্যন্ত গুরুত্বপূর্ণ।

পাঠ 1 • পাইপলাইন অর্কেস্ট্রেশনের জন্য ডেল্টা লাইভ টেবিল

DLT ডিক্লারেটিভ পাইপলাইন, এক্সপেক্টেশন এবং স্বয়ংক্রিয় ডিপেন্ডেন্সি রেজোলিউশন পরিচয় করিয়ে দেয়। শিক্ষার্থীরা একটি ম্যানুয়াল মেডেলিয়ন পাইপলাইনকে একটি ম্যানেজড DLT পাইপলাইনে স্থানান্তর করে।

পাঠ 2 • ব্রোঞ্জ লেয়ার বাস্তবায়ন

মেটাডেটা কলাম এবং অডিট ফিল্ড সহ অটো লোডার ব্যবহার করে র ইনজেশন লেয়ার তৈরি করে। শিক্ষার্থীরা একটি স্ট্রাকচার্ড পাইপলাইনে চ্যাপ্টার ৩ থেকে ইনজেশন প্যাটার্ন প্রয়োগ করে।

পাঠ 3 • মেডেলিয়ন আর্কিটেকচার ডিজাইন প্রিন্সিপালস

প্রতিটি মেডেলিয়ন লেয়ারের উদ্দেশ্য এবং ডেটা কোয়ালিটি এক্সপেক্টেশন সংজ্ঞায়িত করে। সঠিক লেয়ার ডিজাইন ডাউনস্ট্রিমে ডেটা কোয়ালিটি ইস্যু ছড়ানো প্রতিরোধ করে।

পাঠ 4 • সিলভার লেয়ার ক্লিনজিং এবং কনফর্মিং

সিলভার টেবিল তৈরি করতে ডেটা কোয়ালিটি রুল, ডিডুপ্লিকেশন এবং টাইপ কাস্টিং প্রয়োগ করে। শিক্ষার্থীরা ব্রোঞ্জ থেকে সিলভার ইনক্রিমেন্টালি আপডেট করতে MERGE ব্যবহার করে।

পাঠ 1 • ডেল্টা শেয়ারিং দিয়ে ডেটা শেয়ার করা

বহিরাগত প্রাপকদের কাছে নিরাপদে ডেটা বিতরণ করতে ওপেন-প্রোটোকল ডেল্টা শেয়ারিং কনফিগার করে। শিক্ষার্থীরা ডেটা কপি না করেই শেয়ার প্রকাশ করে এবং প্রাপক ক্রেডেনশিয়াল পরিচালনা করে।

পাঠ 2 • ডেটা লিনিয়েজ এবং ডিসকভারি

স্বয়ংক্রিয় কলাম-লেভেল লিনিয়েজ ক্যাপচার এবং ডেটা ক্যাটালগ সার্চ ইন্টারফেস প্রদর্শন করে। স্কিমা পরিবর্তন ডিপ্লয় করার আগে লিনিয়েজ ইমপ্যাক্ট অ্যানালাইসিস সক্ষম করে।

পাঠ 3 • আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট

ইউনিটি ক্যাটালগে ইউজার, গ্রুপ, সার্ভিস প্রিন্সিপাল এবং প্রিভিলেজ গ্র্যান্ট কভার করে। শিক্ষার্থীরা অ্যানালিস্ট, ইঞ্জিনিয়ার এবং অটোমেটেড জবের জন্য লিস্ট-প্রিভিলেজ অ্যাক্সেস বাস্তবায়ন করে।

পাঠ 4 • ইউনিটি ক্যাটালগ অবজেক্ট মডেল

ইউনিটি ক্যাটালগে মেটাস্টোর, ক্যাটালগ, স্কিমা এবং টেবিল হায়ারার্কি ব্যাখ্যা করে। যেকোনো পারমিশন বরাদ্দের পূর্বশর্ত হল অবজেক্ট মডেল বোঝা।

পাঠ 1 • ব্যাচ এবং রিয়েল-টাইম মডেল ইনফারেন্স

ডেল্টা টেবিলে ব্যাচ স্কোরিং এবং এন্ডপয়েন্টের মাধ্যমে রিয়েল-টাইম সার্ভিংয়ের জন্য রেজিস্টার্ড মডেল ডিপ্লয় করে। শিক্ষার্থীরা ইনফারেন্স ফলাফল গোল্ড-লেয়ার ডেল্টা টেবিলে ফেরত লেখে।

পাঠ 2 • স্পার্ক ডেটাফ্রেমে মডেল ট্রেনিং

স্কেলে ডেল্টা-ব্যাকড ফিচার ডেটা ব্যবহার করে scikit-learn এবং স্পার্ক MLlib মডেল ট্রেনিং করে। শিক্ষার্থীরা ডেটাব্রিকস-এর মধ্যে ক্রস-ভ্যালিডেশন এবং হাইপারপ্যারামিটার টিউনিং প্রয়োগ করে।

পাঠ 3 • MLflow মডেল রেজিস্ট্রি এবং লাইফসাইকেল

মডেল রেজিস্টার করে, স্টেজ ট্রানজিশন পরিচালনা করে এবং মডেল রেজিস্ট্রিতে অ্যাপ্রুভাল ওয়ার্কফ্লো এনফোর্স করে। শিক্ষার্থীরা নিরাপদে একটি মডেল স্টেজিং থেকে প্রোডাকশনে প্রমোট করে।

পাঠ 4 • MLflow ট্র্যাকিং এবং এক্সপেরিমেন্ট ম্যানেজমেন্ট

ডেটাব্রিকস নোটবুক থেকে MLflow এক্সপেরিমেন্টে প্যারামিটার, মেট্রিক্স এবং আর্টিফ্যাক্ট লগ করা শেখায়। সিস্টেমেটিক ট্র্যাকিং পুনরুৎপাদনযোগ্য ML-এর ভিত্তি।

পাঠ 1 • ডেটাব্রিকস ওয়ার্কফ্লো এবং জব অর্কেস্ট্রেশন

ডেটাব্রিকস ওয়ার্কফ্লোতে ডিপেন্ডেন্সি, কন্ডিশনাল ব্রাঞ্চিং এবং রিট্রাই লজিক সহ মাল্টি-টাস্ক জব তৈরি করে। শিক্ষার্থীরা অ্যাড-হক নোটবুক রানকে গভর্নড, শিডিউলড পাইপলাইন দিয়ে প্রতিস্থাপন করে।

পাঠ 2 • ক্যাশিং, পার্টিশনিং এবং ফাইল ম্যানেজমেন্ট

পুনরাবৃত্ত কুয়েরি দ্রুত করতে ডেল্টা ক্যাশিং, ডিস্ক ক্যাশিং এবং কৌশলগত পার্টিশনিং প্রয়োগ করে। শিক্ষার্থীরা ছোট-ফাইল ওভারহেডের বিপরীতে পার্টিশন গ্রানুলারিটি ভারসাম্য করে।

পাঠ 3 • অবজারভেবিলিটি এবং অ্যালার্টিং

পাইপলাইন হেলথের জন্য ডেটাব্রিকস সিস্টেম টেবিল, গ্যাংলিয়া মেট্রিক্স এবং এক্সটার্নাল অ্যালার্টিং কনফিগার করে। শিক্ষার্থীরা লেটেন্সি, এরর এবং ডেটা ফ্রেশনেস কভার করে একটি মনিটরিং ড্যাশবোর্ড তৈরি করে।

পাঠ 4 • কস্ট ম্যানেজমেন্ট এবং ক্লাস্টার অপ্টিমাইজেশন

DBU কনজাম্পশন অ্যানালাইসিস করে, ইনস্ট্যান্স পুল স্ট্রাটেজি প্রয়োগ করে এবং ক্লাস্টার রাইট-সাইজ করে। প্রোডাকশন ভলিউমে ওয়ার্কলোড স্কেল করার আগে কস্ট কন্ট্রোল অপরিহার্য।