アプリケーションの規模と複雑さが増大する中で、生成される膨大なログを管理し、これらのログを取り込んで、処理して分析するコストを管理することが一層困難になっています。多くの場合、組織は生成されるログボリュームの変動とログを収集するコストを制御できないことから、アプリケーションから生成されるログの数を制限するか、ログ管理プラットフォームにログを送信する前にフィルタリングせざるを得なくなっています。保持または破棄するログを選択しなければならないと、ログによる包括的な問題監視にギャップが生じ、ログから検出できる異常に迅速に対応できなくなります。
すべてのログをストリーミングし、必要なログだけを維持する
Datadog のログ管理のアプローチは [Logging without Limits™] (https://www.datadoghq.com/blog/logging-without-limits/) と呼ばれます。このアプローチでは、すべてのログを Datadog に簡単かつコスト効率よく送信できます。処理されたすべてのログのリアルタイムストリームを監視し、Datadog 製品に保持して詳細な分析を実行する価値のあるログをオンザフライで判別します。保持するかどうかに関係なく、すべてのログを Datadog 独自のクラウドストレージにアーカイブして、技術、セキュリティ、または業務監査のために、運用に関する完全な履歴を保持できます。
Datadog の Logging without Limits™ に新しい 2 つの機能が追加されました。これらの機能によって、これまで以上に柔軟にログデータを監視および分析できるようになります。
- Metrics from Logs：すべてのログからメトリクスを生成します。
- Log Rehydration™：アーカイブからログを簡単にリロードして分析できます。
ログからのメトリクスの生成
サーバー、コンテナ、クラウドサービスなどのデータソースはすべて、膨大なログを生成します。これらの元のログは通常、個別に見ると、それほど高い価値はありません。たとえば、一般的な Web アクセスログからは通常、Web サーバーの状態に関する知見は得られませんが、アクセスログを総合的に見ると、リクエストのレイテンシやサーバーステータスなどの重要指標の傾向を示し、価値が高いものになります。
Datadog を使用すると、ソースプラットフォーム、言語、またはツールに関係なく、取り込んだログからメトリクスを作成し、ログデータを集約したビューを構築できるようになります。膨大なログを保持および選別するのではなく、単一のメトリックを作成して、それらのログが示す傾向を追跡できます。Datadog は 15 か月間、メトリクスを完全な粒度で保持します。
新しいメトリクスを作成するには、自分のアカウントの ログ構成 ページの［Generate Metrics（メトリクスの生成）］タブに移動します。処理されたログの属性またはタググループを使用してログデータをフィルタリングし、ホスト、アベイラビリティゾーン、サービスなどのディメンション別にグループ化します。
メトリクスに名前を付けて保存したら、Datadog のダッシュボードとグラフですばやく表示し、異常な傾向を検出する高度なアラートを設定できます。たとえば、Web アクセスログのユーザーエージェントデータを使用して、アプリケーションのブラウザの使用傾向を捉えるメトリクスを作成できます。生成されたメトリクスに対して、予測や異常検出などの分析を適用することもできます。
ログからメトリクスを作成すると、ログのインデックスを作成して保持するコストを削減できるため、Amazon S3 や Azure Blob などのクラウドストレージに元のログを自動的にアーカイブできます。また、メトリクスから異常なアクティビティを検知した場合、関連するログをアーカイブからシームレスにリロードして、詳細なトラブルシューティングを実行できます。
アーカイブからのログのリロード
Datadog の Log Rehydration™ を使用すると、選択したクラウドストレージソリューションにすべてのログをアーカイブできるだけでなく、必要に応じてアーカイブからログのサブセットを取得できます。インシデントを調査したり、技術、セキュリティ、または業務監査を実施したりするために、アーカイブされたデータにいつでも迅速にアクセスできます。
アーカイブからログをリロードするには、アカウントの ログ構成 ページに移動し、［Reload from Archives（アーカイブからリロード）］タブをクリックします。 ［New Historical View（新しい履歴ビュー）］ボタンをクリックし、アクセスする必要があるログのアーカイブと期間を選択し、自由テキスト検索やサービス、ソース、ステータスなどの属性を使用してログをクエリします。
Datadog は、履歴ビューでログ設定した条件に基づいてログを自動的に取得し、ログエクスプローラーに表示します。新しいログを使用する場合と同じように、ログの詳細をすばやく表示したり、ログから関連するトレースにピボットしたりできます。
Log Rehydration™ 機能により、ログの保存方法が向上し、一層のコスト削減を図ることができます。たとえば、必要なすべてのログをアーカイブからいつでもシームレスに取得できるため、インデックスを作成して保持するログ数を減らしたり、インデックスを作成したログの保持期間を短縮したりできます。
制限のないロギング
Logging without Limits™ のその他の機能と一緒にこれらの新機能を使用すると、すべてのログデータをキャプチャし、最も重要と考えられるログを動的に保持する費用対効果の高い方法を利用できるようになります。すでに Datadog 製品をご利用いただいている場合には、Datadog のドキュメントで Logging without Limits™ の詳細をご確認ください。また、 14 日間の無料トライアルにサインアップして、 今すぐにログ、メトリクス、トレースの監視を開始できます。
