Курс з розмітки даних

Урок 1 • Зацікавлені сторони та ролі в команді

Визначає осіб, залучених до проєктів анотування, та їхні обов'язки. Готує учнів до ефективної співпраці в командах анотувальників.

Урок 2 • Що означає анотування даних

Визначає анотування та його зв'язок із навчанням з учителем. Формує спільний словник термінів, який використовуватиметься в курсі.

Урок 3 • Анотування в робочому процесі МН

Відображає завдання анотування на етапи навчання, валідації та тестування моделі. Показує, як якість розмітки безпосередньо впливає на продуктивність моделі.

Урок 1 • Завдання на ранжування та порівняння

Охоплює формати ранжування вподобань і попарного порівняння, які використовуються в RLHF та оцінювальних проєктах. Відрізняє ці завдання від завдань класифікації.

Урок 2 • Формати завдань анотування тексту

Охоплює методи розмітки, специфічні для текстових даних. Забезпечує практичне ознайомлення з найпоширенішими завданнями анотування в NLP.

Урок 3 • Формати завдань анотування зображень

Знайомить із методами візуальної розмітки, які використовуються в проєктах комп'ютерного зору. Пов'язує кожен метод із архітектурою моделі, яку він підтримує.

Урок 4 • Формати аудіо- та відеоанотування

Пояснює часове анотування для мовних та рухових даних. Демонструє, як часова точність впливає на якість кінцевої моделі.

Урок 1 • Основні функції та навігація інструментів

Проводить огляд елементів інтерфейсу, спільних для основних платформ анотування. Підвищує швидкість і точність роботи з інструментом.

Урок 2 • Функції співпраці та робочі процеси

Охоплює багатокористувацькі функції, які підтримують командні проєкти анотування. Розглядає контроль версій і вирішення конфліктів у спільних робочих просторах.

Урок 3 • Імпорт, експорт та формати даних

Навчає, як правильно імпортувати дані в інструменти та експортувати розмічені результати. Забезпечує розуміння анотувальниками форматів, які використовуватимуть інженери.

Урок 4 • Налаштування проєктів анотування

Пояснює, як налаштовуються параметри проєкту до початку анотування. Пов'язує налаштування з вимогами до форматів даних на виході.

Урок 1 • Робота з крайовими випадками та винятками

Пропонує системний підхід до елементів даних, які виходять за межі стандартних правил. Забезпечує вирішення крайових випадків без внесення шуму.

Урок 2 • Анатомія інструкції з анотування

Розбирає компоненти добре написаного документа з інструкціями. Навчає анотувальників швидко знаходити визначення, правила та вказівки щодо крайових випадків.

Урок 3 • Оновлення інструкцій та версіонування

Пояснює, як інструкції еволюціонують протягом проєкту і як анотувальники до цього адаптуються. Запобігає неузгодженості міток, спричиненій застарілими вказівками.

Урок 4 • Інтерпретація неоднозначних інструкцій

Формує стратегії для вирішення нечітких або суперечливих формулювань в інструкціях. Зменшує неузгодженість, спричинену неправильним тлумаченням.

Урок 1 • Робочі процеси перевірки та аудиту

Описує структуровані процеси перевірки виконаної роботи з анотування. Формує навички як для самостійної перевірки, так і для колегіального аудиту.

Урок 2 • Сесії зворотного зв'язку та калібрування

Охоплює те, як надається зворотний зв'язок і як він використовується для вирівнювання роботи анотувальників. Зменшує систематичні помилки за допомогою структурованого калібрування.

Урок 3 • Метрики міжекспертної згоди

Навчає розрахунку та інтерпретації показників згоди між анотувальниками. Пов'язує рівні згоди з надійністю набору даних.

Урок 4 • Автоматизовані перевірки якості

Знайомить із засобами на основі правил та моделей, які автоматично позначають потенційні помилки. Доповнює перевірку людиною масштабованими методами виявлення.

Урок 1 • Етичні обов'язки анотувальників

Позиціонує анотування як професію з етичними зобов'язаннями перед кінцевими користувачами та суспільством. Заохочує принципове прийняття рішень, коли інструкції мовчать.

Урок 2 • Принципи конфіденційності в анотуванні

Знайомить із мінімізацією даних, обмеженням мети та зобов'язаннями щодо конфіденційності. Закладає основи етичного поводження з персональною інформацією.

Урок 3 • Обізнаність про упередження під час розмітки

Розглядає, як упередження анотувальників потрапляють у розмічені набори даних і впливають на справедливість моделі. Формує звички, які зменшують суб'єктивний вплив на мітки.

Урок 4 • Безпека вмісту та запобігання шкоді

Охоплює завдання анотування, пов'язані з модеруванням шкідливого, токсичного або незаконного вмісту. Надає анотувальникам безпечні та узгоджені практики розмітки.

Урок 1 • Зменшення помилок через дизайн процесу

Навчає звичкам передпочаткової перевірки та проміжного самоконтролю, які виявляють помилки на ранньому етапі. Зменшує потребу в переробці, вбудовуючи якість у процес анотування.

Урок 2 • Налаштування ефективного робочого простору

Охоплює налаштування фізичного та цифрового робочого простору для тривалої роботи з анотування. Пов'язує ергономічне та технічне налаштування з довгостроковою продуктивністю.

Урок 3 • Збільшення обсягу без втрати якості

Розглядає стратегії збільшення обсягу анотування зі зростанням досвіду. Пов'язує приріст швидкості зі збереженими або покращеними показниками якості.

Урок 4 • Тайм-менеджмент для анотувальників

Знайомить із методами обмеження часу, визначення темпу та планування перерв для завдань анотування. Допомагає анотувальникам дотримуватися термінів, зберігаючи якість міток.

Урок 1 • Анотування для низькоресурсних та багатомовних даних

Розглядає виклики анотування для малопоширених мов та обмежених даних. Формує стратегії підтримки якості при обмеженому довідковому матеріалі.

Урок 2 • Стратегічне мислення в проєктах анотування

Розвиває проєктне бачення планування, ризиків та компромісів в анотуванні. Готує старших анотувальників та керівників до прийняття обґрунтованих стратегічних рішень.

Урок 3 • Внесок у розробку інструкцій

Навчає досвідчених анотувальників визначати прогалини та пропонувати вдосконалення інструкцій. Підвищує статус анотувальника від виконавця завдань до учасника процесу.

Урок 4 • Анотування для RLHF та узгодження моделей

Охоплює спеціалізовані завдання анотування, які навчають системи навчання з підкріпленням на основі зворотного зв'язку людини. Пов'язує судження анотувальника з поведінкою та безпекою моделі.