Google Cloud Platformでのビッグデータ分析
GCP基盤の最大限活用
- Firebaseでの認証管理とリアルタイムデータ管理
- BigQueryでのビッグデータ分析
- CloudSQLでの分析結果保持
- Pub/subでの他システム連携
- Cloud Schedulerでのジョブ管理
- Google Kubernetes Engine上のアプリケーション運用
- CloudBuildでのデプロイ
担当領域：基盤設計・構築、要件定義、設計、開発と維持保守
AWSでの大規模リアルタイム基盤
高性能目標かつリアルタイム重視
- AWS IoTでの車両走行CANデーアを収集
- Kinesis Data StreamとKinesis Stream Analyticを活用してリアルタイムデータ分析実施
- リアルタイムデータを管理部門やエンドユーザまで通知＆アラーム送信
- データをS3に積み上げ、法規によりセキュリティ確保した上で保管
- EMRでS3上に保管されていたデータを抽出し、データウェアハウスのRed-Shiftへ導入
- Red-Shiftにてビッグデータ分析を行い、分析した情報をリレーションナルデータベースへ保持
- 分析データをFargateによって外部へ提供し、様々なサービスで活用
- 数十EC2インスタンス、数百Kinesis Shard
担当領域：基盤PoC、設計・構築、性能チューニング、維持保守