データ品質のためのPython入門(Great Expectations使用)
Great Expectationsを使用して、データ品質の基本概念から実践的な検証、パイプライン統合までを学び、信頼性の高いデータセットを構築するスキルを習得します。
...
Share
データ品質の基礎とGreat Expectationsのセットアップ
Unit 1: データ品質の基本を学ぶ
データ品質とは?
データ品質の6つの側面
Unit 2: Great Expectationsの準備
Python環境の準備
Great Expectations導入
Unit 3: データソースとの連携
CSVデータの接続
Parquetデータの接続
SQLデータベースの接続
Unit 4: 期待値の定義と実装
期待値スイートの作成
ビジネスルールの検証
データ品質の自動化と高度な検証
Unit 1: Data Docsで品質を可視化
Data Docsとは?
Data Docsの生成と探索
Data Docsの解釈と活用
Unit 2: データパイプラインへの統合
Pythonスクリプトで自動化
Airflowとの連携
dbtとの連携
Unit 3: 高度な検証とカスタム期待値
カスタム期待値の作成
複雑な検証ロジック