Для доступа к материалам доклада и записи выступления
купите билет
или авторизуйтесь, если у вас он уже есть
или авторизуйтесь, если у вас он уже есть
Автоматизированная проверка качества данных с помощью LLM
3 октября
10.35-11.05
Green 5
* разберёмся, почему ошибки в данных приводят не только к сбоям сервисов, но и к ударам по бизнесу;
* расскажем, как мы в команде создали свой инструмент контроля качества данных, когда популярные решения не подошли;
* покажем архитектуру на Airflow + Python, где проверки описаны декларативно в YAML, результаты логируются и оперативно приходят в Telegram;
* поделимся опытом экспериментов с LLM;
* обсудим технические тонкости: маскирование PII, guardrails для LLM, кэширование и контроль стоимости;
* подведём итоги: как автоматизация сократила время на разбор инцидентов, снизила долю ручных проверок, сделала отчёты понятными для всех
Может заинтересовать
#похожие доклады
MLDataConf | Хранилище данных
