株式会社ナピル
2023年8月15日
リアルタイム処理ビッグデータ分析基盤
高速ストリーム処理により、大規模データを即時分析し意思決定を迅速化
業務データやログデータのリアルタイム分析は、リスク検知や機会創出に直結する競争力要素となっています。従来のバッチ処理では対応が困難でした。
主な成果
本システムは以下の技術的特徴を備えております：
データ処理遅延
アラート検知速度
ダウンタイム
業務レポート生成時間
技術的課題
開発にあたっては、以下の課題に直面しました：
- 分散処理環境の安定稼働とスケーリング制御
- 時系列データの集約と異常検知精度の向上
- 異なるデータソースの正規化・統合処理
Apache FlinkとKafkaベースのストリーム基盤を構築し、機械学習による異常検知をリアルタイム実装することで上記課題を克服しました。
今後の展望
高精度な予測分析機能や、ダッシュボードの操作性向上に取り組み、経営層の意思決定支援システムとしての進化を図ってまいります。
技術スタック:
- Apache Kafka
- Apache Flink
- Elasticsearch
- Redis
- Kubernetes
