ボストン コンサルティング グループによると、人工知能 (AI) テクノロジーへの IT 支出が急増しているにもかかわらず、人工知能 (AI) から価値を生み出すことに成功している企業はわずか 5% です。残りの 95% は、その投資をコスト削減や収益増加に変えるのに苦労しています。これはコンサルタントやアナリストからよく見られる種類の統計ですが、実際には何を意味するのでしょうか?
多くの企業が AI プロジェクトに着手する際に直面している問題の 1 つは、システムが稼働開始後にどのように動作するか、期待どおりの結果が得られているかどうかを理解することです。これにより、複雑さ、レガシー システム、プロジェクト計画に関するよくある疑問が生じます。しかし、可観測性についての疑問や、組織が今日依存しているツールが AI の時代に十分であるかどうかという疑問も生じます。
可観測性の目的は、組織がシステムのパフォーマンスを可視化できるようにすることです。メトリクス、ログ、トレースを収集することで、チームはパフォーマンスを監視し、問題を診断し、サービスが稼働後にどのように動作するかを理解できるようになります。ただし、他のものと同様、基盤となるデータ インフラストラクチャの複雑さや変動の影響も受けます。
Datadog の EMEA 分野 CTO である Pejman Tabassomi 氏によれば、組織は多くの場合、複数のシステムや環境にわたる運用データを相互に関連付けることに苦労しており、エンドツーエンドのサービスがどのように動作するか、またはパフォーマンスがビジネスの成果にどのように結びついているかを理解する能力が制限されています。同氏によれば、これは AI プロジェクトでより顕著になり、システムがより多くのデータ ソース、サービス、モデルにまたがるため、動作の追跡と説明が難しくなります。
Domino Data Lab のフィールドチーフデータサイエンティストである Jarrod Vawdrey 氏は、これをさらに進めています。 「従来の可観測性ツールは、システムは稼働しているかという単純な質問に答えるために構築されています。AI システムが意思決定を行っているとき、または顧客と対話しているとき、『稼動している』ということだけでは、多くのことはわかりません。」
そしてそこに問題が潜んでいます。システムは技術的には正常であっても、誤った結果を生成したり、従来の監視ツールでは検出が困難な方法で動作したりすることがあります。組織は、システムは稼働しているものの、意図したとおりに動作していないことを確認できる場合があります。
鶏と卵
それでは、企業は何を達成したいと考えているのでしょうか?マッキンゼーによると、ビジネスリーダーは現在、「短期的な回復力から持続的な生産性と長期的な影響へ」移行しつつあるが、86％が組織は日常業務にAIを導入する準備ができていないと述べている。何故ですか？これは視認性の問題ですか？初期費用とか関係あるのかな？それとも何か他のものでしょうか？
ヴァージン アトランティック航空はすでにこの問題に実際に取り組んでいます。航空会社は顧客をサポートするために AI コンシェルジュを導入しましたが、システムの監視にはインフラストラクチャのパフォーマンスの監視だけではありません。エンジニアはシステムの動作を評価し、応答の精度、トーン、適切性を評価し、そのデータを開発にフィードバックして、継続的なフィードバック ループの一部として各顧客の「ターン」を効果的にレビューしています。課題はパフォーマンスだけでなく、セキュリティなどの分野にも及びます。
「インジェクション攻撃やシステムの脆弱性の悪用など、おそらくより伝統的な攻撃ベクトルから、ユーザーが言語を通じてモデルを操作しようとする、より人間的で説得力のあるタイプの攻撃に移行しています」とヴァージン アトランティック航空の応用 AI エンジニアリング担当シニア ディレクターのマーク オニール氏は述べています。
そのためには、単に可用性やパフォーマンスをチェックするのではなく、運用環境でシステムを継続的に評価する、テストと監視に対する異なるアプローチが必要です。この課題は概念的なだけではなく、規模も大きくなります。 AI システムが生成するデータの量が増加するにつれて、従来の監視アプローチは追いつくのに苦労しています。
Cribl のフィールド CTO である Jeff Champagne 氏は、この変化を、人間の対話をはるかに超える速度で動作するエージェント システムによって引き起こされる、メトリクス、ログ、トレースの「テレメトリ 津波」であると説明します。同氏によると、焦点はインフラストラクチャの健全性から、システムが適切なデータを使用し、正確な結果を生成し、安全に動作しているかどうかの「論理的整合性」に移りつつあるという。
多くの場合、問題の根本原因はモデル自体ではなく、モデルが依存するデータ パイプラインやダウンストリーム システムにあるため、スタック全体を可視化しないと問題を診断することが困難になります。これは可観測性プラットフォームにとって、実際に何が測定されているのか、現在のアプローチが AI システムの規模と複雑さに追いつくことができるのかという疑問を引き起こします。
Domino Data Lab の Vawdrey 氏が述べたように、従来の可観測性ツールは、システムが機能しているかどうかをテストするために構築されていました。 AI の文脈では、それだけではもはや十分ではないと彼は主張します。
アナリストらは、これは単にツールの問題ではなく、ビジネスシステム自体がどのように変化しているかを反映していると述べている。 Gartner は、マルチエージェント システムとネイティブ AI 開発プラットフォームがエンタープライズ IT を形成する主要なトレンドであると特定しています。エンタープライズ IT では、アプリケーションはもはや静的ではなく、分散環境で動作するインタラクティブなコンポーネントで構成されています。
このモデルでは、システムは継続的に進化し、インフラストラクチャ、データ、モデルの複数の層にわたって意思決定とアクションを行っています。そのため、企業 IT の複雑さと運用リスクの両方が増大し、何か問題が発生した場合に明確な原因と結果を確立することが困難になる、と Gartner は主張しています。
インテリジェントな可観測性が出現
それはすでに、可観測性自体の進化に影響を与えています。 IBM によると、AI システムと歩調を合わせるためにプラットフォームはますます賢くなっており、テレメトリの分析、異常の検出、対応の自動化に機械学習を使用する組織が増えています。事実上、AIを観察するためにAIを使用するケースになりつつあります。
「これらの AI システムを健全に保つために必要なインテリジェンスとスピードも並行して成長しており、より革新的で強力なタイプのインテリジェンスの実装が必要になっています」と IBM の AIOps 担当シニア テクニカル スタッフ メンバーである Arthur de Magalhaes 氏は述べています。
同時に Forrester は、実稼働環境での障害に対応するのではなく、リアルタイムのテレメトリを使用して設計、テスト、展開に情報を提供し、可観測性をソフトウェア開発ライフサイクルの「構造に織り込む」必要があると主張しています。
これらの変化は、組織が実際に対処している懸念をすでに増大させています。タバッソミ氏によると、CIOはシステムがどのように使用されているかを理解し、人間のユーザー、自動化されたエージェント、外部サービスを区別し、異常な行動パターンを特定することにますます重点を置いているという。
それはパフォーマンス以外にも影響を及ぼします。 AI システムは環境間の相互作用の数を拡大するため、潜在的な攻撃対象領域と予期しないリソース消費のリスクも増加します。
「可観測性とは、システムがどのように機能するかだけでなく、何がリスクにさらされているかを理解することです」とタバッソミ氏は言います。
この文脈では、可観測性はインフラストラクチャを監視するためだけでなく、ますます複雑化するシステムにおけるエクスポージャ、コスト、および運用への影響を管理するためにも使用されます。これは、組織が断片化のフラストレーションに対処できるようにするために、より広範囲に及ぶテクノロジーの進化です。
Tabassomi 氏は、多くの CIO が、システム レベルだけでなく、チームやワークフロー全体でテクノロジー環境の統合を強化することを求めていると述べています。データ、インフラストラクチャ、および責任はさまざまな機能に分散されることが多く、サービスがどのように実行されているか、または問題がどこで発生しているかについて一貫した全体像を作成することが困難になります。環境が拡大するにつれて、その不整合が非効率性、応答時間の低下、運用コストの増加につながる可能性があります。この組み合わせに AI を組み込むと、さらに頭の痛い問題が増えるだけです。
おそらくこれが、可観測性が単なる可視性を超えたものでなければならないという期待が高まっている理由です。 AI システムがより自律的になるにつれて、チームはシステムの動作を説明するダッシュボードにはあまり関心がなくなり、それに応じてどのようなアクションを実行するかに重点を置くようになります。
そのため、可観測性プラットフォームには新たな要求が課せられており、根本原因を特定し、問題に優先順位を付け、場合によっては自動応答をトリガーすることがますます期待されています。その意味で、可観測性は単にシステムのパフォーマンスを報告するだけでなく、意思決定のサポートに近づきます。
これは、可観測性とは何なのかを再考することにつながります。確かに、可観測性がなくなるわけではありませんが、少し伸びてきています。システムがどのように動作するかを理解するためにデータを収集するという中心的な考え方は、今でも機能しています。しかし、AI の文脈では、行動はもはやパフォーマンスだけによって定義されるわけではありません。これには、結果、決定、インタラクション、およびそれらがユーザーと会社に与える影響が含まれます。
組織が対応する兆候はすでに見られます。 Gartner は、分散データ アーキテクチャを実装している企業の 70% が、2025 年の 50% から 2027 年までにデータ可観測性ツールを導入し、ますます複雑化するデータ環境の可視性を向上させると予測しています。
同じ調査では、特に AI イニシアチブがより多くのデータ品質、ガバナンス、リアルタイムの洞察を必要とするため、これらの環境では従来の事後対応的な監視アプローチではもはや十分ではなくなっていることも指摘しています。
組織が必要としているのは、従来のテレメトリと行動、コンテキスト、結果に関する洞察を組み合わせた、より完全なビューです。課題は、予測不可能で自律的で解釈が難しいシステムに可観測性をどのように適応させるかです。もちろん、テクノロジーには問題を解決してから新しい問題を生み出すという習性があります。可観測性はそのサイクルの一部であり、判断がさらに困難になっているシステムに追いつくことを試みます。
Champagne 氏は Cribl で次のように述べています。「この時代における真の可観測性には、モデルだけでなくスタック全体の可視性が必要です。」
