「許可」と答え続けたのに、私たちを落としたアドミッション Webhook
私たちは認証サービスを運用しているので、「今起動したコンテナは、本当に私たちがビルドしたコンテナなのか」という問いは机上の空論ではありません。私たちの答えは署名でした。CI ですべてのイメージに署名し、デプロイ前に検証し、さらに第 2 の層として、手打ちの kubectl でさえ未署名のものを動かせないよう、クラスター内に Webhook を置く。これが入ったのは火曜日の午後でした。その晩には、dev クラスターの認証用 Deployment に 2,242 個の ReplicaSet が溜まり、約 3 秒ごとに新しいものが作られ、Available=False を報告し、何も配信していませんでした。
真っ先に浮かぶ仮説は、新しい Webhook が私たちのイメージを拒否していた、というものです。違いました。ログはすべてのリクエストについて allowed: true と言っていました。Webhook は、許可している当の Deployment が崩壊していく間も、一晩中、送ったものをすべて許可していたのです。
追加しようとしていた層
パイプラインはすでに署名と検証をしていました。すべてのイメージはビルド時に GitHub Actions の OIDC アイデンティティに紐づいたキーレス署名を受け、デプロイジョブは何かがクラスターに届く前にそのアイデンティティに対する検証を実行します。このゲートはフェイルクローズで、これが本当の統制です。
クラスター側の層は多層防御です。sigstore の policy-controller をアドミッション Webhook として動かし、2 つのポリシーを持たせます。1 つは、自分たちのレジストリパスに一致するイメージは、私たちのワークフローのアイデンティティによるキーレス署名を持っていなければならない、というもの。もう 1 つは、それ以外をすべて通すキャッチオールです。「どのポリシーにも一致しない」は拒否を意味するので、キャッチオールがないと、クラスターは Vault エージェントも、CSI ドライバーも、自分たちがビルドしていないあらゆるサイドカーも失います。インストールして、名前空間にラベルを付けて、終わり。ラベルがスイッチです。ラベルがなければ強制もありません。
1 回目の障害は退屈なものだった
failurePolicy: Fail と、チャートのデフォルトである 10 秒のタイムアウトで有効にしたところ、dev はほぼ即座に落ちました。アドミッション Webhook が環境を落とすときに誰もが想像するとおりの落ち方です。コールド状態のコントローラーは、見たことのない署名を検証するために Fulcio と Rekor にアクセスする必要があります。コールドだと、その処理は 10 秒では終わりません。フェイルクローズに期限切れが重なると Pod の作成が拒否され、つまりロールアウトは Pod を配置できず、つまりサービスにはレプリカがなくなります。
この障害モードはよく知られていて、修正もドキュメントどおりのものです。Webhook のタイムアウトを 30 秒に上げ、failurePolicy: Ignore を設定します。Ignore はあきらめのように聞こえますし、単層の設計ならそのとおりでしょう。私たちの設計では、パイプラインのゲートがフェイルクローズの主たる統制で、クラスター側の層は、そもそもパイプラインを通らなかったものを捕まえるために存在します。クラスターを絶対に落とさない Webhook のほうが、最後の 1 パーセントを捕まえる Webhook よりも私たちにとって価値があります。最後の 1 パーセントは、すでに上流で捕まえているからです。
これを 17:40 にリリースしました。1 回目の障害は完全に直りました。同時に 2 回目の障害を生み出しました。読む価値があるのはここからです。
検証するだけでなく、書き換える
アドミッション Webhook といえば、誰もが用心棒を思い浮かべます。オブジェクトを検査して、イエスかノーを返す存在です。policy-controller はそれだけではありません。mutating(書き換えを行う)Webhook で、書き換える対象は、たった今検証したものです。タグでイメージを参照する Pod 仕様を許可するとき、その参照を、自分が解決して確認したダイジェストを含む形に書き換えます。myregistry.io/authagonal-auth:abc123 が入ってきて、myregistry.io/authagonal-auth:abc123@sha256:... が出ていきます。
これは本当に良いアイデアです。タグは変更可能なポインターなので、タグを検証した後で kubelet に改めて解決させると、両者が食い違い得る隙間が残ります。アドミッション時にダイジェストを固定すれば、その隙間は閉じます。実行されるオブジェクトは、検証されたオブジェクトそのものになります。
では、これを Deployment の仕組みと並べてみましょう。Deployment コントローラーは Pod テンプレートをハッシュ化し、そのハッシュで Pod を所有する ReplicaSet を識別します。ハッシュ化するのは、あなたが宣言したテンプレートです。Webhook は、自分が許可する ReplicaSet 上のテンプレートを書き換えます。なので、Deployment のテンプレートが :abc123 なら、その子 ReplicaSet は :abc123@sha256:... になり、両者はもう一致しません。
コントローラーはリコンサイルし、テンプレートをハッシュ化し、そのハッシュを持つ ReplicaSet を探し、テンプレートの異なるものを見つけます。Kubernetes において、これが意味することはただ 1 つ。ハッシュ衝突、つまり異なる 2 つのテンプレートが同じハッシュになったということです。コントローラーは、衝突を本来あるべき方法で処理します。collisionCount をインクリメントしてハッシュをずらし、新しい ReplicaSet を作ります。3 秒後に再びリコンサイルすると、新しい ReplicaSet もまた書き換えられています。このループは収束しません。解消しようとしている不一致を、試みるたびに Webhook が作り直しているからです。
2,242 個の ReplicaSet とは、無限ループを朝ではなく晩に見つけたときの姿です。
壊れたのが 1 つの Deployment だけだった理由
その名前空間では 4 つのワークロードが動いています。暴走したのは 1 つ。3 つはまったく問題ありませんでした。この点のせいで、私たちは見当違いの場所を探し続けました。システム全体の設定ミスなら、選り好みはしないはずだからです。
理由は failurePolicy: Ignore です。Webhook が遅いかコールドでリクエストがタイムアウトすると、Ignore はオブジェクトを書き換えずに許可することを意味します。ある apply がダイジェスト入りで戻ってくるか、入ったときの素のタグのまま戻ってくるかは、Webhook が時間内に応答したかどうかで決まっていました。健全だった 3 つの Deployment は Webhook が温まっているときに apply されたので、テンプレートにはすでにダイジェストが入っていて、Webhook の書き換えは既存の内容と一致する何もしない操作でした。暴走した 1 つは Webhook がコールドのときに apply されたので、テンプレートに素のタグが残り、その後すべての子 ReplicaSet が足元で書き換えられたのです。
つまり引き金は apply ごとに勝敗が決まる競合で、4 つのどれもが、どのデプロイでも負け得ました。Ignore がバグを生んだわけではありません。決定的なバグを断続的なバグに変え、3 つの健全なワークロードの陰に隠したのです。
修正は不動点にすること
本能的には、Webhook に書き換えをやめさせたくなります。もっと良い本能は、書き換えるものを何も与えないことです。私たちが送る Pod テンプレートが、Webhook の出力とすでに完全に同じなら、書き換えは何も変えず、ハッシュは安定し、ループは始まりようがありません。
そこで、デプロイジョブは apply の前に自分でダイジェストを解決するようになりました。イメージごとに、タグが今何を指しているかをレジストリに問い合わせ、完全に固定された参照をオーバーレイに書き込みます。
digest=$(az acr repository show --name "$acr" \
--image "authagonal-${img}:${tag}" --query digest -o tsv)
kustomize edit set image "${ref}=${ref}:${tag}@${digest}"
出荷されるのは :tag@sha256:...、タグとダイジェストの両方です。タグは人間が読むために残し、実際に解決されるのはダイジェストです。Webhook はそれを検証し、書き換えるものが何もないことを確認し、オブジェクトを変更せずに返します。それ以来、collisionCount は横ばいのままです。
この話の最後には小さな罠があります。ダイジェストを書き込むのは CI なので、ノート PC から手でオーバーレイを apply すると、代わりにベースマニフェストのプレースホルダータグが送られ、ポリシーは今や「must be an image digest」と言って正しくそれを拒否します。クラスターは本当のことを言っています。今あなたが打ち込んだものは、一度も検証されていないのです。
mutating Webhook はチェックポイントではなく、2 人目の書き手
mutating アドミッション Webhook はチェックポイントではありません。あなたが求めたものと実在するものをすでに比較している制御ループの内側にいる、書き手です。同じフィールドについて異なる意見を持つ 2 人の書き手は、ポリシーの問題ではなく分散システムの問題です。それを安全にする唯一のものは冪等性です。あなたが宣言する状態は、その書き換えの不動点でなければなりません。つまり、書き換えを適用しても同じものが出てくる必要があります。
この捉え直しは sigstore 以外にも当てはまります。サイドカーを注入するものであれ、デフォルトのリソース制限を追加するものであれ、イメージ参照を正規化するものであれ、アドミッション時に仕様を書き換えるものはすべて同じ立場にあり、同じ問いが当てはまります。自分のマニフェストをこれに通したら、自分のマニフェストがそのまま戻ってくるか。戻ってこないなら、何かがその違いに気づき続けることになります。それは辛抱強く、しかもあなたよりずっと速く動きます。
そしてもっと小さな教訓、あの晩に私たちが実際に捨て去らなければならなかったものがあります。allowed: true は、Webhook が問題ではないという意味ではありません。私たちは 1 時間、あのログをアリバイとして扱っていました。Webhook はずっと本当のことを言っていました。私たちが間違った問いを投げていたのです。Webhook を、ノーと言うものとしてしか考えたことがなかったからです。
サプライチェーンについての議論が最初から済んでいる ID プロバイダーを望むなら、Authagonal はホスト型の認証サービスで、イメージは CI で署名され、デプロイ前に検証され、アドミッションの時点でダイジェストによって固定されています。この一文が書けるのは、それを手に入れるためにすでに一晩を失ったからです。