AWS DEA実践シリーズ③ ビッグデータ・ストリーミング処理サービス | EMR、MWAA、Managed Service for Apache Flink・MSK

AWS DEA実践シリーズの最終回の今回は、ビッグデータやストリーミング処理において重要な「EMR」「Managed Workflows for Apache Airflow（MWAA）」「Managed Service for Apache Flink」「Amazon MSK（Managed Streaming for Apache Kafka）」について、それぞれの特徴とAWS上での役割を解説します。また、ワークフロー管理サービスの比較などもご紹介します。

Amazon EMRは、大規模データのETL処理や分散データ分析を実現するフルマネージド型クラスタサービスです。Apache Spark、Hadoop、Hive、Prestoなどのオープンソース分析フレームワークをAWS上で簡単に利用できます。

＜主な特徴＞

• 大規模データの高速処理
  数TB～PB級のデータを分散並列処理。Glueよりも大規模なデータセットに最適。
• コスト効率
  スポットインスタンスや自動スケールでコスト最適化。大規模ジョブでもコストパフォーマンスが高い。
• 柔軟なフレームワーク選択
  Spark、Hadoop、Hive、Presto、HBaseなど、多様なOSSを選択・組み合わせ可能。

＜ユースケース例＞

• ビッグデータの集計・変換・機械学習
• データウェアハウスの構築やデータマート作成
• WebログやIoTデータのバッチ分析

＜Glueとの使い分け＞

• Glue：小規模～中規模データのノーコード/ローコードETLに最適
• EMR：大規模データや複雑な分散処理、カスタム分析に最適

Amazon Managed Workflows for Apache Airflow（MWAA）は、ワークフロー管理・スケジューリングのためのフルマネージド型Apache Airflowサービスです。データパイプラインやバッチジョブの依存関係・実行順序・スケジュール管理をPythonコードで定義できます。

＜主な特徴＞

• DAG*（有向非巡回グラフ）によるワークフロー設計
  各処理（タスク）やその依存関係、実行順序をDAGとしてPythonで記述。
• スケジューリング・監視・リトライ
  定期実行や失敗時の自動再実行、進捗・エラー監視も管理画面から容易に確認。
• AWSサービス連携
  EMRやRedshift、Lambda、S3などのAWSリソースをAirflowタスクとして連携可能。

*DAG (Directed Acyclic Graph)：有向非巡回グラフ。どんな処理を、どの順番で、いつ実行するかをPython コードで定義した、ワークフローの設計図

＜ユースケース例＞

• ETLパイプライン全体の自動化
• データ処理の依存関係管理
• マルチステップのバッチ処理や分析ワークフロー

Managed Service for Apache Flinkは、ストリーミングデータのリアルタイム処理・分析を実現するフルマネージドサービスです。Apache Flinkは、ストリームデータの複雑な変換・集計・異常検知などを高パフォーマンスで実行できる分散処理エンジンです。

＜主な特徴＞

• リアルタイムストリーム処理
  秒間数千～数百万件規模のデータをリアルタイムに集計・変換・フィルタリング。
• 異常検知やセッション分析
  しきい値やパターン検出によるリアルタイムアラート（SNS通知等）やセッション集計も可能。
• スケーラビリティ・高可用性
  自動スケールや障害時の自動復旧で、安定したリアルタイム分析基盤を構築。

＜ユースケース＞

• IoTセンサーやアプリイベントのリアルタイム集計
• 不正アクセスや障害の即時検知
• ストリームデータの加工・フィルタリング後のS3やRedshiftへの保存

Amazon MSK（Managed Streaming for Apache Kafka）は、Apache Kafkaをフルマネージドで利用できるAWSのサービスです。Kafkaは、分散型の高スループットなメッセージング基盤として世界中で広く使われています。Amazon MSKを利用することで、インフラの構築や運用・スケーリング・障害対応などをAWSが自動で管理し、ユーザーはKafkaのセットアップや運用負荷を大きく軽減できます。

＜主な特徴＞

• フルマネージド：クラスタのプロビジョニング、パッチ適用、監視、障害復旧などをAWSが自動化。運用負担を大幅に削減。
• 高可用性・耐障害性：マルチAZ配置や自動バックアップ、データのレプリケーションによる高い可用性。
• セキュリティ：VPC内配置、暗号化（転送時・保存時）、IAM連携、アクセスコントロールなどエンタープライズ要件にも対応。
• スケーラビリティ：トラフィック増加時もブローカーやストレージの拡張が容易。
• Kafkaエコシステム互換：オープンソースKafkaと互換性が高く、既存のKafkaクライアントやツールをそのまま利用可能。

＜ユースケース＞

• リアルタイムデータパイプライン：アプリケーションログ、IoTデバイスデータ、クリックストリームなどの大量イベントを低遅延で収集・分配。
• マイクロサービス間の非同期連携：サービス間の疎結合なイベント駆動型アーキテクチャの基盤として活用。
• データレイクや分析基盤への連携：ストリーミングデータをS3やRedshift、Elasticsearch、Flinkなど他の分析サービスへ柔軟に連携。
• 異常検知やリアルタイム分析：FlinkやSpark Streamingと連携し、リアルタイムでデータ集計やアラート検知を実現。

Amazon MSKは、Kafkaのメリットをそのままに、AWSの運用自動化・高可用性・セキュリティを組み合わせた、企業のストリーミング基盤構築に最適なサービスです。

今回の勉強会では、「Apache Kafka」「Apache Flink」「Apache Airflow」の3つのOSS（オープンソースソフトウェア）サービスが登場しました。

もともとApache Spark、Airflow、FlinkなどはOSSとしてオンプレミス環境でも利用可能でしたが、AWSのマネージドサービスを使うことで「インフラ運用不要」「自動スケール」「セキュリティ強化」などのメリットが得られます。OSSの柔軟性とAWSクラウドの安定性・運用効率を両立できるのが大きな魅力です。

これらを一つのシステムとして組み合わせると、下記のような流れになります。

• Kafka：様々な端末やシステムからストリームデータ（ログやイベント）を収集します。
• Flink：Kafkaで収集したデータをリアルタイムで集計・セッション分析・異常検知などのストリーム処理を行います。
• Airflow：DAG（有向非巡回グラフ）によるスケジューラで、EMRジョブの起動・実行・停止やRedshift/BIツールの更新など、バッチ処理や分析の全体フローを管理します。

この構成では、

• 生データや処理済みデータはS3などに保管
• 集計データはDynamoDBやOpenSearch Serviceに保存・可視化
• バッチ分析や日次処理はEMRやRedshift、QuickSightなどで実施

といった流れを実現できます。

画像の例では、Kafka→Flink→DynamoDB/OpenSearch/S3→Airflow→EMR/Redshift/QuickSightという連携が描かれています。

「Kinesis Data Streams」と「Apache Kafka」は、どちらもストリームデータの収集・分配を担いますが、用途や連携先によって使い分けが重要です。

ワークフロー管理サービスとして、「MWAA（Managed Airflow）」「Step Functions」「Glue Workflow」があります。それぞれの特徴や向いているケースをまとめると、下記の通りです。

Airflowは複数タスクを順序/依存関係を持って実行、Step Functionsは状態遷移や分岐を管理、Glue WorkflowはETLジョブの順序管理に特化していることが分かります。