← All posts

すべてのアラートが発火できることを証明しようとしたら、大半は発火できませんでした

Authagonal·July 31, 2026

監視には、ほかにはない危険な性質があります。障害のときにしか実行されないコードだということです。システムのほかの部分は、ユーザーの目の前で常に動いており、エラーを出せば気づきます。アラートが動くのはデータベースが満杯になった日で、それより前には動きません。もし壊れていれば、それに頼っていたまさにその瞬間に、誰も見ていなかったことが確実になる形で、壊れていたと知ることになります。沈黙するアラートは、アラートがないことより悪いものです。アラートがないなら、ないと自覚していますが、沈黙するアラートは、あると信じ込んでいるからです。

そこで私たちは、書いたのだから動くはずだとアラートを信じるのをやめ、それを証明するハーネスを作りました。デプロイするすべてのアラートルールについて、ハーネスはそのルールを発火させるはずの本物のシグナルを流し、そのうえで本当に重要なことを行います。通知がキャプチャ用のリレーに実際に届くまで待つのです。リレーは、本来なら鳴るはずのスマートフォンの代わりをする小さなサービスです。監視ツール自身の UI 上で発火しただけでは合格になりません。合格になるのは配信です。シグナルからメッセージを手にするまでの全経路が通らなければ、失敗です。

最初の本番実行では、大半のルールが失敗しました。緑色のダッシュボードの陰に隠れていたものを紹介します。

看板のアラートが死んでいた

私たちが持つ最も重要なルールは、エラー率が上がったときに発火するものです。HTTP 500 が多すぎたら、誰かを呼び出す。ハーネスはこのルールに対して 450 件の本物のサーバーエラーを発生させ、そのうち少なくとも 90 パーセントが本当に 500 を返したことを確認してから、待ちました。何も届きませんでした。最も信頼したいはずの唯一のアラートが、一度も発火したことがなく、本物のインシデントでも発火しなかったはずなのです。

原因は名前でした。私たちのメトリクスは OpenTelemetry から出力されており、名前は http.server.request.duration のようにドット区切りです。チュートリアルを読んでからクエリを書くまでのどこかで、私たちは監視バックエンドがドットをアンダースコアに正規化してくれるものと思い込み(多くの Prometheus 系ツールはそうします)、アンダースコア形式に対してアラートのクエリを書いていました。バックエンドは正規化しません。送られてきたとおり、ドット区切りの名前をそのまま保持します。そのためアラートは存在しないメトリクスをクエリし、何にもマッチせず、エラー率を永遠にゼロと計算して、落ち着いた緑色のまま座っていました。その間、本物のメトリクスは本当のドット区切りの名前で、500 エラーを 1 件残らず記録していたのです。このクエリは、エラーになる形で間違っていたのではありません。黙って空集合を返す形で間違っており、それを算術がまったくもっともらしいゼロに変えていました。

すべてのログアラートを道連れにしたもの

ここまでは悪い話でした。次はもっと悪い話で、ハーネスがこれを捕まえられたのは、ルールが正しく見えることではなく、配信を要求していたからにほかなりません。

私たちのアラートには、ログベースのものがひとまとまりあります。ログ中の行にマッチしたら発火する、というものです。そのすべてが、空のデータに対して評価されていました。そして理由はアラートルールとはまったく関係なく、保持期間の設定でした。

私たちはログの保持期間を、バックエンドの設定 API を通じて調整しています。この API は新しいバージョンに移行してリクエストの形が変わっていたのに、私たちは古い形のまま送り続けていました。古いボディは拒否されませんでした。受け取る側のデコーダーは、知らないフィールドを黙って無視します。そのため、いまや未知になった私たちのフィールドを存在しないものとして読み、見つからなかった保持期間にはデフォルト値を使いました。そのデフォルト値がゼロだったのです。呼び出しは元気よく 200 を返しました。そして保持期間ゼロ日とは、即時期限切れを意味します。新しく書き込まれたログデータには、即座に期限切れになるよう刻印が押されていました。そのため、ログアラートがクエリするストアは、実質的に常に空でした。その間ずっと、取り込みはまったく正常に見えていました。ログは届いていたからです。ただ、届いた瞬間に期限切れになっていただけです。

2 つのシステムは、それぞれ正当化できることをしていました。設定 API は、一部理解できないリクエストを失敗させるのではなく受け入れました。これはよくある選択で、多くの場合は妥当です。私たちのデプロイは、バージョンアップによって古くなったボディを送っていました。どちらも何も報告しませんでした。結果として、ログパイプラインで最も重大な数値である「ログがどれだけ生きるか」がひっそりとゼロに設定され、目に見える症状は、すべてのログアラートが永久に、健全そうに沈黙していることだけでした。ルールが正しく見えるかをテストしていたら、ルールは完璧に見えたでしょう。これを表面化できたのは、実際にログに記録されたイベントが配信された呼び出しにつながるかを確かめるテストだけでした。空にされていたストアから実際にデータを読み戻すのは、そのテストだけだったからです。

永遠に発火し続けるアラートは、一度も発火しないのと同じ

3 つ目の失敗は逆方向のもので、これが一番わかりにくいものです。いくつかの監査アラートが、ずっと発火し続けていました。沈黙するアラートの正反対に聞こえますが、効果はまったく同じです。その理由を理解するのは、寄り道する価値があります。

これらのアラートが発火すると、監視バックエンドは評価についてのログ行、いわば足跡を書き出し、その行にはアラート自身のフィルター式がテキストとして含まれていました。その足跡もまた、ほかのものと同じようにログとして取り込まれました。そのため、次にルールが評価されたとき、マッチする行が見つかります。前回の自分自身の足跡です。ルールは自己持続するようになっていました。評価のたびに、永遠に、自分の影にマッチしていたのです。

常に発火しているアラートは、発火していない状態から発火している状態へと遷移することがありません。そして通知を送るのは、その遷移です。そのためアラートの層は、すでに真で、真であり続ける条件を見て、設計どおりにそれ以上の通知を抑制しました。すでに知らされていることについて、毎分呼び出されずに済むようにするためです。その結果、本物のイベント、つまり呼び出す価値のある本物の監査操作が起きても、それはすでにオンのまま固まったルールに入ってくるだけで、何も通知されませんでした。永久にオンに固定されたアラートは、永久にオフに固定されたアラートと同じくらい無言です。修正は、これらのルールの対象を自社のサービスが出力したログ行に限定し、バックエンドが自分自身について語るおしゃべりにマッチしないようにすることでした。ただし 1 つだけ、本物のシグナルが実際に自社のサービスの外から来るものについては、意図的に例外としています。

Pod の最初の一息を平常とみなしたルール

最後のものは、レート計算についての小さくも鋭い教訓です。メトリクスの変化率をもとにしたアラートは、系列のまさに最初のサンプルからはレートを計算できません。比較する前の値がないからです。そのため、新しい Pod が最初のエラーの塊を出したとき、その塊はスパイクではなくベースラインになり、それを捕まえるはずのルールには出発点しか見えませんでした。私たちはハーネス側で、こうしたシグナルを 2 回に分けて流すことで修正しました。系列を確立するための小さな波と、その後の本番の波です。これは本番トラフィックが自然に行っていることの説明としても妥当で、合成テストはそれを意図的に模倣しなければなりません。

どの失敗も、実際に動かさなければ見つからない継ぎ目に隠れていた

これらはどれも、目で確認しても見えませんでした。クエリは正しく読めました。ルールはデプロイされていました。ダッシュボードは緑でした。取り込みは正常でした。どの失敗も、それぞれ単体では問題のない 2 つのものの継ぎ目にありました。メトリクス名と正規化についての思い込み、リクエストボディとバージョンアップ、アラートとそれ自身の発火が生むログ、レート関数と始まったばかりの系列。継ぎ目は読んでもわかりません。実際に動かす必要があります。

ですから、監視は本来の姿のとおりに扱ってください。つまりコードであり、とりわけ本番で実行されるのが緊急事態のときだけのコードです。緊急事態にしか実行されないコードは、それ以外の日にこそテストを実行する必要があります。警告になってくれる穏やかな最初の失敗はないからです。本物のシグナルをエンドツーエンドで流し、途中でルールが健全に見えるかどうかではなく、チェーンの最後にある成果物、つまり配信された通知に対してアサーションを行ってください。それに満たないものはすべて、アラートを書いたことのテストにすぎません。それはもともと知っていたことです。本当に知りたかったのは、それが発火するかどうか、ただそれだけです。

自分たちのアイデンティティプロバイダーが、最初からこうやって自分自身を見張っていてほしいなら、Authagonal は自らのアラートをまさにこのハーネスで運用しています。何かが壊れたその日に、発火すべき呼び出しがきちんと発火します。