『ゼロから触ってわかった!Azure × Databricksでつくる次世代データ基盤 非公式ガイド ―』 クラウドでデータ基盤を作ろうとすると、Azure・Storage・ネットワーク・権限・セキュリティ…そこに Databricks が加わった瞬間、一気に難易度が跳ね上がります。
DatabricksのDeclarative Pipelineでは、データ品質を担保するためのルール(Expectations)を宣言的に定義できます。ただ、実装方法として「SQL(YAMLに近い形式)」と「Python(DLTなどを活用)」の2つの選択肢があり、どちらを選ぶべきか迷う方も多いのではない ...
一部の結果でアクセス不可の可能性があるため、非表示になっています。
アクセス不可の結果を表示する