AWS DEA実践シリーズ① ETL関連サービス | Glue, Glue DataBrew, Athena, Redshift

ある企業は、AWSクラウド上で複数のデータストアを運用しています。これには、Amazon RDSの構造化データや、Amazon S3に保存されたJSONやXMLなどの半構造化データが含まれています。

この企業は、データカタログを定期的に更新し、メタデータの変更を自動で検出したいと考えています。運用負荷を最小限に抑えることも重要な要件です。

解決方法

• AWS Glue Data Catalog をメタデータのリポジトリとして利用します。
• AWS Glueクローラー を設定し、RDSやS3などのデータストアを定期的にスキャンします。
• クローラーはデータ構造の変更を検出し、Data Catalogを自動で更新します。

ポイント

• 手作業なしでメタデータ管理が自動化され、運用負荷を軽減できます。
• 複数のデータストアのメタデータを一元管理し、常に最新状態を保てます。

このように、Glue Data CatalogとGlueクローラーを組み合わせることで、効率的かつ自動的なメタデータ管理が実現できます。

ある衣料品メーカーでは、Amazon S3バケットに複数のファイルとしてユーザーの行動ログやイベント情報などの生データ（JSON形式）を保存し、処理・分析しています。しかし、これらのデータにはNull値や異常値、重複値が多く、そのままでは正確な分析ができません。

データエンジニアは、できるだけコードを書かず、運用負荷も抑えてデータクレンジングを行いたいと考えています。

解決方法

• AWS Glue DataBrewを使用し、事前にカスタムルール（Null値や異常値、重複値の除去など）を設定します。
• DataBrewのノーコードGUIで、ルールに基づいたデータクレンジングを自動化します。

ポイント

• コーディング不要で、GUI操作だけでデータの品質を向上できます。
• 運用負荷を最小限に抑えつつ、クレンジング済みのきれいなデータを効率よく準備できます。

このように、AWS Glue DataBrewを活用することで、S3に保存された生データの品質を簡単かつ自動的に向上させることができます。

国際展開するアパレル小売企業では、各店舗の売上データをAmazon S3バケットに集約して管理しています。データエンジニアは、このS3内のApache Parquet形式の販売データから、特定の列だけを抽出して分析する必要があります。できるだけ運用負担を減らしたいという要件です。

解決方法

• AWS Glueクローラーを使い、S3のParquetデータからメタデータ（スキーマ情報）を自動で作成します。
• 作成されたメタデータをもとに、Amazon AthenaでSELECT文を実行し、必要な列だけをクエリします。

ポイント

• Parquet形式は「列指向」なので、欲しい列（例：price）だけを効率よく読み取れます。
• GlueクローラーとAthenaを組み合わせることで、手作業なしで管理・分析が可能です。
• 運用負担が最小限になり、データ抽出も高速です。

このように、GlueクローラーとAthenaを活用することで、S3上のParquetデータから必要な列だけを効率よく分析でき、運用も簡単にできます。

あるプロセス製造企業では、自社プラントの毎日の生産実績をAmazon Redshiftテーブルにロードしています。データエンジニアは、業務終了時刻にRedshift内の特定の列データをS3へ公開したいと考えています。この処理を自動化し、運用負担を減らすことが求められています。

解決方法

• Amazon EventBridgeで業務終了時刻に合わせてスケジュールルールを設定します。
• EventBridgeがAWS Lambda関数を自動起動します。
• Lambda関数内でAmazon Redshift Data APIを使い、Redshiftテーブルから必要な列データを取得します。
• Lambdaが取得したデータをAmazon S3へ保存します。

ポイント

• スケジュール実行なので、手作業や管理の手間がありません。
• Redshift Data APIを使うことで、Lambdaから直接データ取得が可能です。
• S3にデータを公開することで、他システムやユーザーと簡単に共有できます。

このように、EventBridge・Lambda・Redshift Data API・S3を組み合わせることで、業務終了時刻に自動でデータを取得し、公開する仕組みを簡単に構築できます。