Data Streams Monitoring

Datadog Data Streams Monitoring（DSM）を使用すると、KafkaやRabbitMQを使用するイベント駆動型アプリケーションのパフォーマンスを簡単に追跡して改善できます。DSMは、すべてのサービスとキュー間の依存関係を自動的にマッピングし、エンドツーエンドのレイテンシの測定、障害のあるキューやサービスとその所有者の特定、バックアップされたメッセージの洪水を修復するのに役立つすぐに使えるメトリクスを提供することで、重大なダウンタイムの回避と厳しいSLAの達成を可能にします。

イベント駆動型アプリケーションのあらゆる場所で速度低下を検出

キュー、プロデューサー、コンシューマーを含むパイプライン全体の任意の2点間のレイテンシーを測定。
秒単位とオフセット単位の遅延指標を確認できるため、遅延メッセージを簡単に特定できます。
閾値、異常値、外れ値モニタリングを作成することで、ストリーミングデータパイプラインの異常なレイテンシーやスループットを迅速に検出できます。

パイプラインのボトルネックや障害を局所化し、解決

エンド・ツー・エンドのパイプライン・トポロジーの自動マッピングにより、キュー、プロデューサー、コンシューマー間の依存関係の破綻を簡単に検出
遅延がアプリケーションサービスやキューシステムの問題に起因しているかどうかを判定し、原因チームを特定
サービスやキューのメッセージバックアップ量を考慮し、遅延の影響によるトラブルシューティングの優先順位付け

大量のバックアップメッセージを修復

ダウンストリームのボトルネックを迅速に検出・解決し、長い遅延、メッセージのダウンタイム、メッセージの遅延を防ぎます。
各サービスの自動コンシューマラグ通知により、上流でメッセージフローのバーストが発生している可能性がある箇所を特定します。
依存するすべてのサービスやキューにおけるメッセージの流れを視覚的に追跡し、常にSLAを満たすようにします。

ストリーミングデータパイプラインメトリクスをコンテキスト内のすべてのテレメトリと関連付け

DSM メトリクス、分散トレース、インフラストラクチャメトリクス、ログの間でシームレスにピボットすることで、アプリケーションの問題をより迅速に解決します。
Kafka または RabbitMQ 統合ダッシュボードにレイテンシとスループットのメトリクスを追加することで、パイプラインを完全に可視化します。
サービスカタログ経由でサービスオーナー、オンコールエンジニア、重要なリソースに迅速にアクセスできるため、インシデント対応が合理化されます。

当社のデジタル取引プラットフォームを支えるストリーミングデータパイプラインの構築には、すべてのキューとサービスを含むシステム全体のスループットとレイテンシを可視化する必要があります。Data Streams Monitoringによって、私たちのチームはパフォーマンスのボトルネックを積極的に発見し、ストリーム処理を最適化して、最大スループットと低レイテンシーのデータ配信を顧客に保証できます。

ダレン・ファー MarketAxess社のソリューションアーキテクト

Datadog Data Streams Monitoringのおかげで、世界中に散らばるクラスタのKafkaパイプラインのトポロジーを簡単にマッピングし、エンドツーエンドのレイテンシーをモニタリングし、パイプライン全体のインシデントソースを1か所で特定することができます。DSMがAPMとシームレスに統合されたことで、世界中の何百万人ものゲーマーが常に最高の体験を得られるようにすることができました。