データ処理の事例


画像のリサイズや加工、PDF生成、各種データ集計、データ収集、データ解析のためのETL処理などを、 仮想サーバーやオンプレミス環境で実行されていませんか?

これらのデータ処理を実行するために、仮想サーバー等を稼働させている場合、 サーバー管理や、処理のスケーリング、アイドルタイムのサーバー停止等を考慮する必要があります。

そこで、弊社ではこれらのデータ処理において、マネージドサービスを組み合わせたサーバーレス構成をご提案しています。

課題

  • 処理するデータの量が増え続け、期待する時間内に処理が終わらない
  • 日々手作業で行っている処理を自動化したい
  • 1日1回のバッチ処理のために仮想サーバーを常時稼働させており、処理実行中以外のサーバー代が無駄になっている
  • データ処理基盤となるサーバーのセキュリティパッチ等の管理が出来ていない

解決方法

  • Step FunctionsとLambdaまたはFargate等を組み合わせたサーバーレス環境で構築する
  • 処理を並列実行することで、短時間に大量の処理を実行する
  • S3やDynamoDB等のストレージと組み合わせる

メリット

  • 必要なときにだけ処理が行われるため、アイドルタイム(処理が実行されていない時間)に対しての課金は発生しない
  • 並列実行可能な処理については、タスク実行を並列化させることで、コストは変わらず、短時間に全体の処理を完了させることができる
  • Step Functionsなどにより、ステータス等の管理を柔軟に行い処理を分岐させられる
  • マネージドサービスのみで構成したサーバーレス環境で稼働するため、 稼働環境に対するサーバー管理やパッチ更新作業等のサーバー管理が不要で全てを自動化することが出来る