পাইথন ও স্ক্র্যাপি দিয়ে ওয়েব স্ক্র্যাপিং কোর্স

পাঠ 1 • পাইথন প্রজেক্টের জন্য ভার্চুয়াল এনভায়রনমেন্ট

প্রজেক্ট নির্ভরতা পরিষ্কারভাবে পরিচালনা করতে বিচ্ছিন্ন ভার্চুয়াল এনভায়রনমেন্ট তৈরি করুন। বিচ্ছিন্নতা একাধিক প্রজেক্ট জুড়ে প্যাকেজ দ্বন্দ্ব প্রতিরোধ করে।

পাঠ 2 • স্ক্র্যাপি প্রজেক্টের জন্য কোড এডিটর সেটআপ

পাইথন সাপোর্ট, লিন্টিং এবং সিনট্যাক্স হাইলাইটিং সহ একটি কোড এডিটর কনফিগার করুন। সঠিক টুলিং ডেভেলপমেন্ট ত্বরান্বিত করে এবং সিনট্যাক্স ত্রুটি হ্রাস করে।

পাঠ 3 • স্ক্র্যাপি এবং এর নির্ভরতা ইনস্টল করা

pip এর মাধ্যমে স্ক্র্যাপি ইনস্টল করুন এবং সাধারণ নির্ভরতা সমস্যা সমাধান করুন। একটি পরিষ্কার ইনস্টল নিশ্চিত করে যে এনভায়রনমেন্ট স্পাইডার ডেভেলপমেন্টের জন্য প্রস্তুত।

পাঠ 1 • স্ক্র্যাপার রিসার্চের জন্য ব্রাউজার ডেভটুলস

এলিমেন্ট পরিদর্শন, নেটওয়ার্ক ট্র্যাফিক মনিটর এবং সিলেক্টর কপি করতে ব্রাউজার ডেভেলপার টুলস ব্যবহার করুন। এই রিসার্চ ওয়ার্কফ্লো সরাসরি স্পাইডার ডিজাইনকে নির্দেশনা দেয়।

পাঠ 2 • অ্যাডভান্সড সিলেকশনের জন্য XPath এক্সপ্রেশন

শুধুমাত্র CSS এর চেয়ে বেশি নমনীয়তার সাথে DOM নেভিগেট করতে XPath এক্সপ্রেশন লিখুন। XPath জটিল ট্রাভার্সাল প্যাটার্ন পরিচালনা করে যা CSS প্রকাশ করতে পারে না।

পাঠ 3 • HTTP রিকোয়েস্ট এবং রেসপন্স কীভাবে কাজ করে

ব্রাউজার থেকে সার্ভার এবং পুনরায় ব্রাউজারে একটি HTTP রিকোয়েস্টের জীবনচক্র ট্রেস করুন। এই মডেল ব্যাখ্যা করে যে পেজ ফেচ করার সময় স্ক্র্যাপি কী নকল করে।

পাঠ 4 • ডেটা টার্গেটিংয়ের জন্য CSS সিলেক্টর

একটি HTML ডকুমেন্টের মধ্যে নির্দিষ্ট এলিমেন্ট চিহ্নিত করতে CSS সিলেক্টর সিনট্যাক্স ব্যবহার করুন। এই সিলেক্টরগুলো স্ক্র্যাপি স্পাইডারে প্রাথমিক টার্গেটিং টুল।

পাঠ 1 • স্পাইডার চালানো এবং ডিবাগ করা

scrapy crawl কমান্ড দিয়ে স্পাইডার এক্সিকিউট করুন এবং লগ আউটপুট ব্যাখ্যা করুন। ডিবাগিং দক্ষতা অকার্যকর স্পাইডারে ব্যয়িত সময় হ্রাস করে।

পাঠ 2 • একটি স্ক্র্যাপি স্পাইডার ক্লাসের অ্যানাটমি

Spider বেস ক্লাস এবং এর প্রয়োজনীয় অ্যাট্রিবিউট ও মেথড পরীক্ষা করুন। প্রতিটি স্পাইডার এই কাঠামো উত্তরাধিকার সূত্রে পায়, তাই এটি আয়ত্ত করা ভিত্তি স্থাপন করে।

পাঠ 3 • সিলেক্টর দিয়ে ডেটা এক্সট্র্যাক্ট করা

টেক্সট এবং অ্যাট্রিবিউট এক্সট্র্যাক্ট করতে parse মেথডের ভিতরে CSS এবং XPath সিলেক্টর প্রয়োগ করুন। সঠিক এক্সট্র্যাকশন যেকোনো স্পাইডারের মূল দক্ষতা।

পাঠ 1 • প্রসেসর দিয়ে ডেটা ক্লিনিং

ফিল্ড ভ্যালু স্ট্রিপ, কাস্ট এবং নরমালাইজ করার জন্য কাস্টম প্রসেসর ফাংশন লিখুন। লোডার লেভেলে পরিষ্কার ডেটা ডাউনস্ট্রিম পাইপলাইন জটিলতা হ্রাস করে।

পাঠ 2 • স্ক্র্যাপি আইটেম সংজ্ঞায়িত করা

স্ক্র্যাপ করা রেকর্ড উপস্থাপন করতে টাইপ করা ফিল্ড সহ Item ক্লাস ডিক্লেয়ার করুন। আইটেমগুলো একটি প্রজেক্টের সমস্ত স্পাইডার জুড়ে একটি ধারাবাহিক স্কিমা প্রয়োগ করে।

পাঠ 3 • পরিষ্কার ডেটার জন্য ItemLoader ব্যবহার করা

ফিল্ড ভ্যালুতে ইনপুট এবং আউটপুট প্রসেসিং অটোমেট করতে ItemLoader প্রয়োগ করুন। লোডারগুলো রক্ষণাবেক্ষণযোগ্যতার জন্য এক্সট্র্যাকশন লজিককে ক্লিনিং লজিক থেকে পৃথক করে।

পাঠ 1 • স্ক্র্যাপি রিকোয়েস্ট দিয়ে লিঙ্ক অনুসরণ করা

অতিরিক্ত URL ফেচ করার জন্য ক্রলারকে নির্দেশ দিতে parse মেথড থেকে scrapy.Request অবজেক্ট ইয়িল্ড করুন। লিঙ্ক-ফলোয়িং পূর্ণ-সাইট ক্রলের পেছনের মেকানিজম।

পাঠ 2 • নিয়ম-ভিত্তিক ক্রলিংয়ের জন্য CrawlSpider ব্যবহার করা

নিয়ম-ভিত্তিক লিঙ্ক-অনুসরণ প্যাটার্ন ঘোষণামূলকভাবে সংজ্ঞায়িত করতে CrawlSpider সাবক্লাস এবং Rule অবজেক্ট ব্যবহার করুন। নিয়মগুলো বৃহৎ, কাঠামোবদ্ধ সাইটের জন্য বয়লারপ্লেট হ্রাস করে।

পাঠ 3 • ক্রল ডেপ্থ এবং স্কোপ পরিচালনা করা

ক্রলকে ফোকাসড এবং দক্ষ রাখতে ডেপ্থ লিমিট এবং URL ফিল্টার কনফিগার করুন। স্কোপ নিয়ন্ত্রণ সম্পদ নষ্ট করে এমন নিয়ন্ত্রণহীন ক্রল প্রতিরোধ করে।

পাঠ 4 • পেজিনেশন কৌশল

নাম্বারযুক্ত এবং কার্সর-ভিত্তিক পেজিনেশন স্কিম জুড়ে পরবর্তী-পৃষ্ঠার লিঙ্ক সনাক্ত এবং অনুসরণ করুন। পেজিনেশন হ্যান্ডলিং সম্পূর্ণ ডেটাসেট এক্সট্র্যাকশন আনলক করে।

পাঠ 1 • CSV এবং JSON-এ ডেটা এক্সপোর্ট করা

ফ্ল্যাট ফাইলে আইটেম লেখার জন্য স্ক্র্যাপির বিল্ট-ইন ফিড এক্সপোর্টার ব্যবহার করুন। ফ্ল্যাট-ফাইল এক্সপোর্ট স্পাইডার থেকে ব্যবহারযোগ্য ডেটায় পৌঁছানোর দ্রুততম পথ।

পাঠ 2 • কাস্টম পাইপলাইন কম্পোনেন্ট লেখা

পাইপলাইন ক্লাস তৈরি করুন যা স্টোরেজের আগে আইটেম পরিষ্কার, ডিডুপ্লিকেট বা সমৃদ্ধ করে। কাস্টম পাইপলাইন সেই লজিক হ্যান্ডল করে যা এক্সপোর্টার প্রকাশ করতে পারে না।

পাঠ 3 • মঙ্গোডিবিতে ডেটা সংরক্ষণ করা

PyMongo ব্যবহার করে একটি মঙ্গোডিবি সংগ্রহে আইটেম ইনসার্ট করে এমন একটি পাইপলাইন লিখুন। ডকুমেন্ট স্টোরেজ পরিবর্তনশীল বা নেস্টেড ফিল্ড সহ স্ক্র্যাপ করা ডেটার জন্য উপযুক্ত।

পাঠ 4 • একটি SQL ডেটাবেসে ডেটা সংরক্ষণ করা

একটি রিলেশনাল ডেটাবেসে একটি পাইপলাইন সংযুক্ত করুন এবং সারি সারি আইটেম ইনসার্ট করুন। ডেটাবেস স্টোরেজ কোয়েরি এবং দীর্ঘমেয়াদী ডেটা ম্যানেজমেন্ট সক্ষম করে।

পাঠ 1 • বট ডিটেকশন কৌশল বোঝা

স্বয়ংক্রিয় ট্র্যাফিক সনাক্ত করতে ব্যবহৃত সার্ভার-সাইড সিগন্যাল ক্যাটালগ করুন। ডিটেকশন পদ্ধতি জানা পরবর্তী বিভাগে প্রয়োগ করা প্রতিরোধ ব্যবস্থাকে অবহিত করে।

পাঠ 2 • AutoThrottle দিয়ে রিকোয়েস্ট থ্রটলিং

সার্ভার রেসপন্স টাইমের সাথে রিকোয়েস্ট রেট খাপ খাইয়ে নিতে স্ক্র্যাপির AutoThrottle এক্সটেনশন সক্রিয় করুন। নম্র ক্রলিং রেট-লিমিট ব্যান হওয়ার ঝুঁকি হ্রাস করে।

পাঠ 3 • ইউজার এজেন্ট এবং হেডার রোটেট করা

প্রতি রিকোয়েস্টে ইউজার-এজেন্ট স্ট্রিং এবং HTTP হেডার র্যান্ডমাইজ করতে মিডলওয়্যার কনফিগার করুন। হেডার রোটেশন বট ডিটেকশন ট্রিগার করে এমন ফিঙ্গারপ্রিন্ট হ্রাস করে।

পাঠ 4 • প্রক্সি রোটেশন ব্যবহার করা

একাধিক IP অ্যাড্রেসে ট্র্যাফিক বিতরণ করতে রোটেটিং প্রক্সি পুলের মাধ্যমে রিকোয়েস্ট রুট করুন। প্রক্সি রোটেশন IP-ভিত্তিক ব্যানের বিরুদ্ধে প্রাথমিক প্রতিরক্ষা।

পাঠ 1 • ইনফিনিট স্ক্রল এবং লেজি লোডিং হ্যান্ডলিং

লুকানো কন্টেন্ট প্রকাশ করতে স্ক্রল অ্যাকশন অটোমেট করুন এবং লেজি-লোড ইভেন্ট ট্রিগার করুন। এই কৌশলগুলো আধুনিক ফিড-স্টাইল পৃষ্ঠায় ডেটাসেট এক্সট্র্যাকশন সম্পূর্ণ করে।

পাঠ 2 • জাভাস্ক্রিপ্ট-রেন্ডার করা কন্টেন্ট সনাক্ত করা

স্ক্র্যাপিং কৌশল নির্বাচন করার আগে সার্ভার-রেন্ডার করা HTML এবং ক্লায়েন্ট-রেন্ডার করা কন্টেন্টের মধ্যে পার্থক্য করুন। সঠিক সনাক্তকরণ ভুল পদ্ধতিতে নষ্ট প্রচেষ্টা প্রতিরোধ করে।

পাঠ 3 • ব্রাউজার অটোমেশনের পারফরম্যান্স ট্রেড-অফ

সরাসরি HTTP রিকোয়েস্টের বিপরীতে হেডলেস ব্রাউজারের গতি, রিসোর্স খরচ এবং নির্ভরযোগ্যতা তুলনা করুন। অবহিত ট্রেড-অফ সিদ্ধান্ত প্রজেক্টকে রক্ষণাবেক্ষণযোগ্য এবং দক্ষ রাখে।

পাঠ 4 • Playwright এর সাথে স্ক্র্যাপি ইন্টিগ্রেট করা

স্ক্র্যাপির রিকোয়েস্ট পাইপলাইনের ভিতরে জাভাস্ক্রিপ্ট রেন্ডার করতে scrapy-playwright লাইব্রেরি ব্যবহার করুন। Playwright ইন্টিগ্রেশন সেই সাইটগুলো হ্যান্ডল করে যেখানে API ইন্টারসেপশন সম্ভব নয়।