サービスディスカバリーが自分の失敗を握りつぶし、自分自身をオフにしていました
私たちの 3 レプリカのクラスターは、何度も自分自身と意見を食い違わせていました。バックグラウンドジョブが 2 回、3 回と重複して実行されていました。答えはログにはなく、私たち自身のコードにありました。ピアディスカバリーの処理には catch ブロックがあり、その中のコメントにはおおよそ「マルチキャストが失敗したので、ディスカバリーを無効化」と書かれていました。私たちのサービスディスカバリーは自分自身の失敗を握りつぶして、黙って自分をオフにしていたのです。しかも本番環境では、初日からずっとまさにそうしていました。
これは、ラックに収まったサーバー上では正しいクラスタリングプロトコルが、マネージドプラットフォームに載せた瞬間に間違った道具になる理由と、修正が「直す」ことではなく「削除する」ことだった理由の話です。
そもそもクラスターは何のためにあるのか
認証サーバーは、可用性のために複数のレプリカで動かします。レプリカの大部分は互いに独立しており、どれでもトークンを検証したりパスワードを確認したりできます。しかし一部のジョブは、レプリカごとに 1 回ではなく、1 回だけ実行しなければなりません。期限切れのレコードを削除するデータ保持のスイープ。顧客の Webhook を発火させる処理。外部に働きかけて副作用を起こすもの全般。こうしたジョブのためには、クラスターが合意しなければならないことが 2 つあります。メンバーが誰なのか、そしてそのうちどれが、シングルトンの仕事を実行するリーダーなのかです。
私たちの最初の答えは、古典的なものでした。ゴシップです。各ノードがピアとおしゃべりをし、メンバーシップは誰に到達できるかから自然に浮かび上がる性質となり、グループは合意した集合からリーダーを選出します。美しい設計です。ただしこれは、ノード同士がお互いを見つけられることを前提にしています。そして古いコードがお互いを見つける方法はマルチキャストでした。ローカルのネットワークセグメントで叫んで、誰が答えるかを見るのです。
黙って壊れた理由
マネージド Kubernetes はマルチキャストを通しません。自分で構築したのではないクラウドネットワークも、ほぼすべて同じです。叫び声は送り出されても、毎回何も返ってきませんでした。そのためディスカバリーは「失敗」し、catch ブロックが実行され、各ノードは自分がこの世界で独りきりだと結論づけました。
レプリカが 1 つなら無害です。3 つなら、構造的にスプリットブレインになります。3 つのノードがそれぞれ自分が唯一のメンバーだと確信し、それぞれ自分をリーダーに選出し、それぞれシングルトンの仕事を実行します。データ保持のスイープは 3 つすべてで実行されました。Webhook の処理は、すべての顧客の Webhook を 3 回ずつ発火させました。どれもエラーを投げませんでした。孤独な各ノードの視点からは、すべてが正常だったからです。バグはクラッシュではありませんでした。3 つのプログラムが、それぞれ誤って認識した世界の中で、完璧に正しく振る舞っていたのです。
修正は、ピアを探すのをやめることだった
すべてを数行に収束させた発想の転換はこうです。私たちは、プラットフォームがすでに強い整合性で保存してくれている事実を、おしゃべりなプロトコルで再構築しようとしていました。私たちが動かしているクラウドには、強い整合性を持つストアがあります。全員が合意できる場所がすでに 1 つあるなら、リーダー選出にピア間のコンセンサスは必要ありません。
そこでリーダーシップは Blob のリースになりました。Blob が 1 つ、リースが 1 つ。リースを持っている者がリーダーです。リースにはタイムアウトがあるので、リーダーが死ねば更新が止まり、リースは解放されて次に取りに来た者のものになります。ピアディスカバリーも、クォーラムの計算も、マルチキャストもなく、それを無効にしようと待ち構える catch ブロックもありません。調整とイベントは、ノード間のバスとして機能する小さなテーブルに乗せています。
思いがけず気に入った性質があります。Storage Explorer を開けば、クラスターの頭の中が見えるのです。いま誰がリースを持っているか。バスに何が積まれているか。メンバーシップは、プロトコルの挙動から推測するものではなくなり、読める 1 行になりました。破壊的なジョブを誰が実行するかを決めるものが目で見える値であれば、デバッグは考古学ではなくなります。
気の利いたものを意図的に削除した話
ついでに、競合のない複製データ型、つまりノードごとのカウンターを調整なしでグローバルなカウントにマージする CRDT の上に作った分散レートリミッターも削除しました。本当にエレガントなものでした。しかし同時に、すでに別の場所へ移した問題を解いていました。グローバルなレート制限は、リクエストが到着するエッジに置くべきものです。説明に 1 段落を要するデータ構造を使ってクラスター内で再構築するものではありません。だから外しました。
動いているコードを削除するのは損失のように感じられますが、それは保守しなくて済むようになるものを数えるまでの話です。私たちはゴシップ層、マルチキャストの前提、自分自身を無効化する catch ブロック、そして CRDT を削除し、そのすべてをリース 1 つとテーブル 1 つに置き換えました。コードの行数は減り、それと一緒に、システムが取りうる状態の数も減りました。
教訓を抜き出すと
ゴシップとマルチキャストによるメンバーシップは、ベアメタルや自分で管理するフラットなネットワークの上では正しい道具です。それらが依存する仕組みそのものをネットワークが通さないプラットフォームの上では、間違った道具です。そしてその失敗の仕方は派手なクラッシュではなく、動いているように見える静かなフォールバックです。分散システムのパターンをマネージドインフラに移植する前に、それがネットワークについて何を前提にしているかを問い、プラットフォームがすでに無料で何を提供してくれているかを問ってください。私たちのプラットフォームでは、すでに強い整合性を持つストアが動いていました。そのストアのリースは、私たちが抱え込んでいたプロトコルよりも単純で、より正しいリーダー選出であり、しかも目で見て確かめられるものでした。
認証基盤を運用しているなら、鍵を保持し、破壊的なジョブを誰が実行するかを決める部分は、自分が持っているものの中で最も退屈で、最も中を覗きやすいものであるべきです。私たちは自分たちのものを退屈にしました。それはアップグレードでした。
そして、クラスタリングプロトコルなどそもそも運用したくないなら、それこそが私たちの売りです。Authagonal はこの部分を退屈なまま保っているので、あなたが自分のスプリットブレインをデバッグする必要はありません。