『ゼロから触ってわかった!Azure × Databricksでつくる次世代データ基盤 非公式ガイド ―』 クラウドでデータ基盤を作ろうとすると、Azure・Storage・ネットワーク・権限・セキュリティ…そこに Databricks が加わった瞬間、一気に難易度が跳ね上がります。
DatabricksのDeclarative Pipelineでは、データ品質を担保するためのルール(Expectations)を宣言的に定義できます。ただ、実装方法として「SQL(YAMLに近い形式)」と「Python(DLTなどを活用)」の2つの選択肢があり、どちらを選ぶべきか迷う方も多いのではない ...