ユニットテストが緑でも、本番に出せるとは限らない
私たちは認証を売っています。だから最も怖い問いはシンプルです。顧客が自分のアプリを私たちにつなぎ、すべてを有効にしたとき、本物の環境で、エンドツーエンドで、本当に動くのか。「ユニットテストが通るか」ではありません。まっさらなテナントがサインアップし、SSO、SCIM、MFA、カスタムクレーム、ブランディングを設定し、本物のアプリケーションをそこに向け、本物のブラウザを通して、トークンに正しいクレームが入った状態で本物のユーザーがログインできるか。私たちはこの問いに、自分たちが信頼できる唯一の方法で答えています。顧客になるエンドツーエンドテスト 1 本です。
これは 1 回の Playwright 実行で、意図的に直列かつステートフルにしてあり、テナントの誕生から削除までの一生をたどります。1 つのテナントがサインアップし、徹底的に設定され、本物のコンシューマーアプリに本物のログインを提供し、バックアップとリストアを経て、自分自身を削除します。その連鎖のどこか 1 つでも壊れれば実行は赤になり、私たちはリリースしません。
ハッピーパスの一部ではなく、すべてを設定する
テストの中盤は意図的に徹底しています。ログインして終わりにはしません。実際に導入する人が触れるすべての画面を回り、本当に動かします。リダイレクト URI とトークン設定を持つカスタム OIDC クライアント、ユーザークレームを出力するカスタムスコープ、ロールとロールの割り当て、カスタム属性を持つエンドユーザー、実際のメンバーを持つグループとグループからロールへのマッピング、SAML と OIDC のエンタープライズ接続、SCIM プロビジョニングトークン、カスタムドメイン、アウトバウンドのプロビジョニングアプリ、招待してロールを変更したチームメイト、本物のチェックアウトを通した課金、フィルターと CSV エクスポートを使った監査ログ、サンドボックス環境、そしてセキュリティ、Webhook、メールの設定(それぞれ切り替えてから、安全な状態に戻します)。これらはすべて同じ実行の中で作成され、検証され、意味がある場合は削除されます。
チェックボックスを埋めることが目的ではありません。顧客が 1 つの機能だけを単独で使うことはありません。使うのは組み合わせであり、ひっそりと壊れるのは組み合わせのところです。カスタムクレームは、発行されたトークンに現れて初めて意味を持ちます。グループからロールへのマッピングは、トークンが発行されるまさにその瞬間にロールが付いて初めて意味を持ちます。それを確かめる方法は、全体を組み上げてから実際に使ってみることしかありません。
認証情報のダンス
認証プロダクトのエンドツーエンドテストを本当に厄介にしているのはここです。テストの開始時点では、認証情報が存在しません。クライアントシークレットや SCIM トークンをハードコードすることはできません。テナントが実行中に新しく発行することこそが肝心だからです。
だからテストは、実際に導入する人がやることをそのまま、ただし速くやります。ポータルで OIDC クライアントを作成し、クライアント ID とシークレットを読み取ります。Portal API の認証情報をワンクリックで発行し、取得します。SCIM トークンを生成します。そして発行したばかりのそれぞれのシークレットを待機しているサンプルのコンシューマーアプリケーションに渡し、アプリの設定を新しい値で書き換え、ロールアウトし、そこで初めて実際のログインを駆動します。あるステップで生まれた認証情報が次のステップでテスト対象のアプリに注入され、ブラウザはそれに対して本物の OIDC リダイレクトを完了させます。インテグレーションは形になっていくにつれて動く標的になり、テストはそれに向けて自分自身の照準を合わせ直し続けます。
そのコンシューマーはモックではなく、本物のデプロイです。テストがログインを検証するとき、本物のアプリケーションが本当にテナントの issuer にリダイレクトし、本当にコードを受け取り、本当にそれを交換しています。テストは得られたトークンをデコードし、カスタムクレームとマッピングされたロールが本当に入っていることを確認します。そのうえで、さらに難しい境界を攻めます。有効化ゲートの奥にあるカスタムブランドのログインページと、ポリシーが拒否するログインをブロックしなければならない強制 Webhook です。後者のテストが緑なら、拒否の経路が動いているということです。それこそが、最も確信を持ちたい結果です。
多要素認証も本物で
パスワードログインだけでは、ほとんど何も証明できません。この実行では TOTP の認証アプリと、仮想認証器を通した WebAuthn の認証情報を登録してから実際に使います。第二要素はスタブにせず、本物のユーザーと同じやり方で動かします。
誰もが飛ばす後半:取り戻すこと
ほとんどのエンドツーエンドテストは「動いた」で止まります。私たちのテストは、深夜 2 時にしか考えないような部分まで進み続けます。バックアップを取り、テナントのデータを足元から削除し、そのバックアップからリストアし、設定とユーザーが無傷で戻ってきたことを検証します。そしてテナント全体をセルフサービスできれいに削除します。実行後には何も残りません。デプロビジョニングが本当にデプロビジョニングしていることも、これでわかります。
これが私たちの信頼するテストである理由
緑のユニットテストがずらりと並んでいれば、関数が正しいことはわかります。このテストがわかるのは、顧客がやって来て、本当に必要なセキュリティ機能を使い、本当に欲しいインテグレーションを組めること、そして私たちが顧客のデータを失っても返せることです。それが「コードは正しい」と「本番に出せる」の違いです。
この実行で動かしているすべての機能(SSO と SAML、SCIM、MFA、カスタムクレームとスコープ、ブランディング、強制 Webhook、監査ログのエクスポート)は、エンタープライズ向けのアップセルの奥に閉じ込められることなく、すべてのプランに含まれています。含まれる機能を見る。