Datadog Live Tokyo 2024 Reprise パネルディスカッション開催レポート

オブザーバビリティの取り組みについてと、活用によって得られた効果は？

オブザーバビリティがテーマのパネルディスカッションということで、まず初めに「オブザーバビリティの取り組みについてと、活用によって得られた効果は？」というトピックでお三方にお話を伺いました。

横山様曰く、マネーフォワードではインフラ基盤を Kubernetes に移行する過程でオブザーバビリティにも取り組み始め、従来インフラエンジニアが見ていたインフラメトリクスや、サービスやアプリケーションのテレメトリーシグナルを開発チームも活用できるよう整備を進められたとのことでした。

プロダクトの数が増える一方インフラエンジニアの数が限られている状況で、障害の原因調査などのボトルネックに対し、オブザーバビリティへの取り組みによって開発チームが主体的に障害調査に取り組むことができ、トラブルシュートの迅速化にも繋がったといいます。

また、本イベントがnewmoに入社してちょうど一ヶ月であった岩見様には、前職でのオブザーバビリティの取り組みと合わせて語っていただきました。前職のサービスや、newmoのライドシェアのようにリアルタイムな顧客接点のあるサービス特性上、障害が起きた際にすぐに顧客へ周知・広報をする必要があります。

障害が起きた際の影響範囲や対応をエンジニア以外でもすぐに理解できるようにする改善活動として、アラートメッセージやエラーログに「どの顧客に影響があるか」や、「次に対応すべきことは何か」といったランブック（対応手順書）を含めて書くような取り組みを行い、ビジネス・営業サイドにもオブザーバビリティの活用を推進されているとのことでした。

エス・エム・エスの加我様からは、まだリリース前のプロダクトに対して、開発フェーズからオブザーバビリティの整備を行なわれている取り組みについてのお話がありました。

オブザーバビリティは運用フェーズで何かトラブルが起きた際に機運が高まることが多いですが、加我様は前職においてもオブザーバビリティ活用を積極的に行なわれていたため、現職ではリリース前や開発フェーズから取り組みを行われているようです。その際には、ツール導入だけがオブザーバビリティ整備ではないため、開発チーム内でオブザーバビリティとは何か？を意識合わせするための勉強会や、Cloud Native Computing Foundation（CNCF）のオブザーバビリティ・ホワイトペーパーの読み合わせ、開発フェーズから運用時にどのようなメトリクスが必要になるかを考えて計装していく意識もチーム内で浸透させられるような働き掛けを行なわれているとのことでした。

各社さまざまな取り組みをされており、本ブログ記事では一部の紹介ではありますが、チームの垣根を超えたオブザーバビリティ活用や、開発フェーズからオブザーバビリティを考えるといった意識は、これからオブザーバビリティに取り組む方、現在すでに取り組まれている方々にとっても参考になる事例のお話を頂きました。

オブザーバビリティに取り組む上で苦労したことや、注意したほうが良いことは？

このように、オブザーバビリティ導入や活用は平坦な道のりのように聞こえるかもしれませんが、実際その道のりには険しいこともたくさんあります。続いては誰もが気になる苦労話、「オブザーバビリティに取り組む上で苦労したことや、注意したほうが良いことは？」をトピックにお話を伺いしました。

このトピックでは「オブザーバビリティの有用性を、社内で積極的に発信していく」ことの重要性を各社語られていたことが印象的でした。

岩見様の場合、オブザーバビリティ専任SREではなく、アプリケーション開発メンバーとしてオブザーバビリティ推進をしている立場であり苦労があるとのことです。工数管理者からすると「オブザーバビリティの整備」という得体の知れない作業に対し、より直接的にユーザーの価値に繋がるサービス開発に注力して欲しいと考えることもあり、「オブザーバビリティの整備」という取り組みが後々に効いてくることを継続的に伝えるコストや難しさが語られました。

オブザーバビリティがすでに整備されている環境にいた人であれば、「もっとこうしたい」という課題感を抱けますが、それを知らないメンバーにとっては特に喫緊の課題もなければ「現状維持で良いのでは？」という空気になることもある等の、現場ならではの苦労があるようです。

加我様からは、特にオブザーバビリティではよく話題になりがちな「コスト」についての苦労話がありました。有事に備えてさまざまなテレメトリーシグナルをさまざまな断面で収集しておきたい、それがオブザーバビリティで肝心な考えではあるが、そのトレードオフとしてのコストの辛さが赤裸々に語られました。

パブリッククラウドが持つオブザーバビリティツールの場合は、オブザーバビリティコストがインフラコストに包含されることで曖昧になります。一方でオブザーバビリティツールの場合は、オブザーバビリティコストがインフラコストとは別に費用がかかっていることが直接的に見えるため、強い説明責任が問われるそうです。この話には、他の二社のメンバーも強く共感をしていました。

マネーフォワードでは開発チームにオブザーバビリティ活用を委譲した結果として、各チームが各々使いたいDatadogの機能を使い、多くのデータを取り込み始め、活用されているとのことです。一方で横山様からは、中央集権的なコストマネジメントの強化や、追加のコストをかけてオブザーバビリティ取り組みを強化した結果生じた新しい苦労話を共有していただきました。

このような背景から、オブザーバビリティの有用性や取り組みを社内にも発信することがオブザーバビリティを推進する上で重要とのことです。例えば、何ができるようになったかを全社チャンネルで定期的に発信したり、エンジニアに限らずさまざまなメンバーが参加している会議などで取り組みを発信していくなど… それにより重要性を現場メンバーだけではなく全体で共有していくことが、オブザーバビリティ活用を進めていく上で大切な要素になってくるとのお話がありました。

オブザーバビリティには組織での取り組みの側面があります。一見難しく見える取り組みですが、今回登壇いただいたお三方のような、オブザーバビリティ/Datadogチャンピオンのような方が社内にいることが、このような取り組みの下支えになっていることが伺えました。

今はまだだが、これからやっていきたいDatadogやオブザーバビリティの活用は？

最後のトピックとして、パネルディスカッションのタイトルにもある、これからのオブザーバビリティやDatadog活用の展望についても迫り、ここでは特に「インシデントレスポンスの高度化」と「さらなるチーム間コラボレーション」について活発に議論がありました。

岩見様からはインシデントまわりのサービス活用として、Datadogのインシデントマネジメントやオンコール機能に注力していきたいとのお話がありました。アプリケーションパフォーマンスモニタリング（APM）のようなツールは開発時から触るためエンジニアも使い慣れているが、トラブル時に活用する機能はトラブルが起きたとき触ることが多いため、よく理解していない状況でトラブルが起きてしまうと適切にツールを活用できません。したがって事前に機能の理解と、それら機能を使うための体制を整えていくことが、Datadog を最大限活用しながら障害対応をより強化していくことが今後取り組むべき展望とのことです。

マネーフォワード社では障害訓練の取り組みを始められており、それを今後拡充させたいとのお話が横山様からありました。

カオスエンジニアリングの手法も使いながら、障害時に対応フローが整備されていることや、対応時にオブザーバビリティツールをうまく活用できているかを確認し、さらに活用できるようなイネーブルメントを行っていくことが今後の展望とのことです。

加我様からは「オブザーバビリティツールは、エンジニアチームだけのものではない」という力強いメッセージとともに、今後カスタマーサポートチームが活用できるように展開をしていくお話がありました。現状は問い合わせが来た際にカスタマーサポートチームからエンジニアチームに調査依頼があるが、ダッシュボードなどを活用することで顧客情報から適切なデータをカスタマーサポートチームが自主的に収集し、質問対応をトリアージできるような文化作りが今後のご展望とのことでした。

このような、すでにオブザーバビリティに積極的に取り組んでいる企業・エンジニアの展望が、皆様のオブザーバビリティ取り組みのヒントになれば幸いです。

ライブQ&A

最後に、Datadog “Live” Tokyoということで、本セッションでは会場からライブ質問を集めてリアルタイム回答をするという時間を設けました。 50前後の多くの質問をいただき、「加我さんの髪色は Datadog カラーなのか？」といったキャッチーな質問から「オブザーバビリティ人材、内部で育てたほうが良いか、外部から連れてきたほうが良いか？」といったややハードな質問まで幅広くディスカッションしました。

本ブログ記事では紙面の都合上、特に印象に残った「コミュニティ関わりのモチベーションや意義は？」といった質問を取り上げます。こちらは、登壇者の方々が日常からコミュニティ発信を行なっていることもあり、ディスカッションが大変盛り上がりました。

お三方が口を揃えておっしゃっていた点としては、社外に同じような取り組みをしているコミュニティの仲間を作ることができるということです。今回のパネルディスカッションも、コミュニティでの出会いがきっかけで実現しました。上記のような苦労した点においても、社外の先人との議論は有意義になるケースは、筆者も実際に多く経験があります。また他社の事例をインプットすることで、社内にも展開するきっかけ作りができるといったこともおっしゃっており、お三方の常日頃から情報をキャッチアップして、社内改善に繋げようとする意識も伺うことができました。

筆者自身もオブザーバビリティという答えのない取り組みに対して、さまざまな事例をインプットするには何をするべきかを考える上でも大きな糧になるのだと感じました。

Datadogにはオープンコミュニティであるユーザーグループや、今回のような主催の公式イベントなど、ユーザー同士で交流できる機会が多くあります。是非ともこのような場や、このような場での繋がり、Datadog社員含めて活用していただき、オブザーバビリティやDatadogの取り組みを加速していただければ幸いです。