ハイフンひとつ、テナントふたつ、署名鍵はひとつ
私たちのテナントのうち 2 つが、実は同じテナントでした。名前も、サインアップも、課金レコードも別々です。それなのにデータベースとトークン署名鍵を共有していて、当事者 3 者、つまり 2 つのテナントと私たちの誰ひとりとして、そのことに気づいていませんでした。これは、それらを 1 つにしてしまった 1 行の関数の話であり、それが起きている間、システムのどの層もなぜ完璧に正しく見えていたのかという話であり、そしてリリース前の監査がなぜ、あなたが買える中で最も安い保険なのかという話です。
マルチテナントの認証には、絶対に間違えてはならない仕事がちょうど 1 つあります。テナント同士を分離しておくことです。Acme のユーザー、Acme のセッション、そして何よりも Acme の署名鍵は、他の誰からも決して到達できてはなりません。署名鍵は至宝です。Acme の鍵で署名できる者は、Acme 自身の認証サーバーが本物として受け入れるトークンを、任意のユーザー、任意のロールで、パスワードなしに発行できます。だから私たちが作成するテナントごとのリソース、つまりすべてのストレージテーブルとすべての鍵は、テナントのスラッグで名前空間が区切られています。この名前空間の区切りが正しければ、テナントは互いに隔絶した島になります。ほんのわずかでも間違えれば、それらは人知れず同じ場所になってしまいます。
1 行のバグ
テナントのスラッグを、そのストレージや鍵の名前に使うプレフィックスに変換する関数がこれです。ドキュメントコメントを読んでください。バグを、まるで機能であるかのように説明しています。
/// Derive the table name prefix from a tenant slug by stripping hyphens.
/// E.g. "acme-corp" → "acmecorp".
public static string GetTablePrefix(string tenantSlug)
{
return tenantSlug.Replace("-", "");
}
Replace("-", "")。ハイフンを取り除いています。意図は単なる後片付けでした。スラッグは Azure Table の名前や Vault の鍵名に流れ込み、それらには独自の文字ルールがあるので、サニタイズしていたのです。問題は、文字を取り除くのは情報が欠落する変換であり、識別子に対する情報欠落のある変換は単射ではない、という点です。acme-corp と acmecorp は、どちらも acmecorp になります。ac-me-corp も acme--corp も同様です。異なるスラッグが、1 つの名前空間になるのです。
そしてその名前空間が、下流のすべてを決めます。ユーザーテーブルは {prefix}-Users です。そしてテナントごとの署名鍵は、そのまま引用するとこうなっています。
private string GetKeyName() => $"signing-{ShardRouter.GetTablePrefix(_tenantContext.Slug)}";
つまり acme-corp と acmecorp は、単にユーザー一覧を共有しているだけではありません。Vault 内の同じ signing-acmecorp 鍵でトークンに署名しているのです。一方のために発行されたトークンは、バイト単位でまったく同じまま、もう一方にとっても正しく署名されたトークンになります。既存のテナントと同じプレフィックスに潰れるスラッグを登録できれば、そのテナントの認証サーバーが完全に信頼するトークンを、自分自身に発行できてしまいます。テナント間のアカウント乗っ取りであり、そのエクスプロイトは「ハイフン付きでサインアップする」だけです。
なぜ何にも引っかからなかったのか
不気味なのは、どの層もまったく普通に見えていたことです。サインアップはスラッグを検証し、未使用の新しい文字列だと判断しました。プロビジョニングは完全なスラッグ acme-corp をキーにしてテナントレコードを作成しましたが、これはコントロールプレーン上では acmecorp とは本当に別物です。トークン検証はスラッグから鍵を導出し、問題なく検証を通しました。どのコンポーネントも、自分に渡された入力に対しては正しく仕事をしていたのです。
システムの中で、2 つのスラッグのプレフィックスを比較するものはどこにもありませんでした。「1 つのスラッグはちょうど 1 つの名前空間に対応する」という不変条件を、どの単一のコンポーネントも担っていなかったからです。衝突は、コントロールプレーンがキーにするスラッグと、ストレージや Vault がキーにするプレフィックスとの間の隙間に潜んでいました。その隙間には誰も立っていませんでした。これこそが最も危険な種類のバグの特徴です。誰かが書き忘れたチェックではなく、誰も自分がしていると気づいていなかった前提なのです。
おまけでついてきた 2 つ目の衝突
同じ情報欠落のある変換には、2 つ目の犠牲者がいました。私たちの内部システムテナントは接尾辞で命名されています。{slug}-admin にはテナントのポータルチームが、{slug}-sandbox にはテスト環境が入っています。これらを同じハイフン除去関数に通すと、acme-admin は acmeadmin になります。つまり acmeadmin というスラッグを登録した顧客は、Acme の管理用テナントのプレフィックスに潰れることになります。顧客と共有されるどころか、顧客よりも強い権限を持つはずの、まさにその場所にです。
1 つの除去関数のせいで、2 つの異なる分離境界が危険にさらされていました。テナントとテナントの間、そしてテナントとそのテナント自身のコントロールプレーンの間です。1 行のコードが無関係な 2 つの境界を脅かしているなら、それは表面的なバグではなく根本原因のバグだというサインです。修正は、どちらかの症状ではなく、変換そのものに入れなければなりません。
修正:構造的に単射にする
本能的には、プレフィックス関数をもっと賢くしたくなります。ハイフンをエスケープする、スラッグをハッシュ化する、base32 でエンコードする。しかしそのどれもが、依然として単射であることを、将来のあらゆる変更に対して、なぜそれが重要なのかを知らないかもしれない誰かが、永遠に証明し続けなければならない変換です。より安く、はるかに長持ちする修正は、変換の自由度そのものを取り除くことです。入力を制約して、変換が恒等写像になるようにするのです。
// Lowercase alphanumeric ONLY, no hyphens. Forbidding hyphens makes prefix == slug,
// so distinct slugs can never share a data store or signing key.
if (!slug.All(c => (c >= 'a' && c <= 'z') || (c >= '0' && c <= '9')))
return false;
スラッグは今や英小文字と数字だけで、それ以外は使えません。取り除くハイフンがないので GetTablePrefix にはやることがなく、prefix == slug が構造的に成り立ち、異なる 2 つのスラッグが名前空間を共有することは二度とありません。さらに予約名と、admin または sandbox で終わるスラッグも拒否しているので、システムテナントとの衝突も同じ 1 行で塞がれます。妥当性チェックは、スラッグが初めて名前空間になる狭い地点です。だからこそ、1 対 1 の保証を置くべき場所はまさにそこなのです。
そのうえで、同じルールをもう一度、プロビジョニングの関所でも確認しています。スラッグが入ってくる扉は 2 つあります。セルフサービスのサインアップと、管理者主導のプロビジョニングです。2 つの扉のうち 1 つでしか守られていないセキュリティ不変条件は、どちらでも守られていないのと同じです。
なぜこれを公開するのか
私たちはこれを、自社製品のリリース前セキュリティ監査で見つけました。有料顧客がまだ 1 社もいない時点で、それが見つけてよい唯一のタイミングです。本番環境で統合されてしまったテナントは 1 つもありません。それでも、身の引き締まるバグです。チェックの欠落でも、弱いアルゴリズムでもないからです。文字列をサニタイズするという、まったく妥当なことをするヘルパーが、「妥当」と「単射」が別の言葉だった場所に置かれていた、というだけなのです。
教訓は修正よりも長く残りました。ユーザーが制御する入力を、テーブル、鍵、名前空間、パスといったセキュリティ境界の名前に変換する関数は、必ず単射でなければなりません。そしてそれは、その対応関係が作られる最も狭い地点で強制すべきであり、下流のすべての層を生き延びてくれることを期待するものではありません。小文字化、トリム、除去、畳み込みといった正規化のステップこそ、2 つのアイデンティティが人知れず 1 つになる場所です。
これは、製品全体が拠って立つのと同じ原則です。セキュリティは、上のプランに進んで手に入れるものではなく、最低ラインです。私たちが提供するあらゆる分離の保証、あらゆる署名鍵、そして SSO と SAML、SCIM、MFA、監査ログのエクスポートといったあらゆるセキュリティ機能は、すべてのプランで有効です。そうでなければ、こういうものは監査ではなく深夜 2 時に見つかることになるからです。含まれる機能を見る。