画像を CDN に移したのに、オリジンが配信し続けていた
私たちのドキュメントはスクリーンショットだらけです。ポータルの全機能を、ライトとダーク、2 種類の幅、10 のロケールで撮影しているので、画像は合計で 100 MB を優に超えます。それがすべてアプリ自身の静的バンドルに入っていて、オリジンから配信されていました。二度と変わらない 100 MB の画像を置く場所としては間違っています。そこで Cloudflare R2 に移し、環境ごとに 1 つずつ CDN を前段に置きました。本番は cdn.authagonal.io、dev サイトには対応する CDN ホストです。
アプリは、自分が配信されているホスト名を見て、実行時に正しい CDN ホストを選びます。ページが authagonal.io 上にあれば、画像は cdn.authagonal.io から来ます。シンプルで、ビルド時の設定は不要、画像の参照は 1 つでどちらの環境でも正しく解決されます。リリースして、ブラウザがすべての画像を CDN からきれいに取得するのを確認し、それからオリジンのトラフィックを見ました。オリジンはまだ画像を配信していました。初回ロード時に、1 枚残らず、以前とまったく同じように。
クローラーが見るページは、ブラウザが組み立てるページではない
理由を説明するには、私たちのマーケティングページが実際には何なのかを説明する必要があります。中身はシングルページアプリですが、シングルページアプリは JavaScript が動くまでは空の殻です。空の殻は検索エンジンにとっても、意味のある最初の表示が出るまでの時間にとっても良くありません。そこでビルド時にプリレンダリングをしています。サイトを起動し、各ページをヘッドレスブラウザで開き、完全にレンダリングさせて、できあがった HTML を保存します。最初に配信するのはこのプリレンダリング済み HTML です。中身はすでに入っているので、クローラーは本物のページを見て、ユーザーはすぐにテキストと画像を目にし、その後 JavaScript が引き継ぎます。
この説明の中に問題が隠れています。プリレンダリングはサイトを 127.0.0.1、つまりビルドマシン上のループバックアドレスで動かします。なので、アプリが「CDN を選びたいので、自分はどのホスト名の上にいるのか」と尋ねると、プリレンダリング中の答えは「ローカルの IP アドレス」です。これは authagonal.io にも dev ホストにも一致しません。賢いはずの実行時のホスト判定は、黙って残された唯一の選択肢、オリジン相対パスに落ちます。そしてそのオリジンパスが、プリレンダリング済み HTML に焼き込まれます。
結果として、すべての訪問者がオリジンの画像 URL が焼き込まれた HTML を受け取り、ブラウザは当然のことをしました。初回描画時に、オリジンからそれらを取得したのです。少し後に JavaScript がページを再レンダリングし、今度は本物のホスト名を得てホスト判定をやり直し、画像を CDN に差し替えました。画像 1 枚につき 2 回の取得が発生し、最初の 1 回はまさに負荷を減らしたかったサーバーに当たっていました。しかもオリジンのログを見ていない限りまったく見えません。ページの見た目も動作も完璧だったからです。
11 分間、事態を悪化させた修正
最初の修正は、つい手を出したくなるものでした。間違った URL がプリレンダリング済み HTML に焼き込まれるのが問題なら、プリレンダリング中は URL を一切出さなければいい。スナップショットでは画像のソースを空にしておき、JavaScript が動いて本物のホスト名がわかった時点で正しい CDN URL を埋めさせる。間違った URL がなければ、オリジンへの取得も起きません。
これはリリースされ、間違っていて、約 11 分後に差し替えられました。プリレンダリング済み HTML の画像ソースを空にすると、プリレンダリングする理由そのものが台無しになります。静的ページを読むクローラーには画像が見えなくなり、ブラウザは JavaScript が動くまで何も表示できません。それこそ、プリレンダリング済み HTML を作ってまで避けようとしている遅い経路です。私たちは、JavaScript より前に存在する唯一のバージョンのページから画像を取り除くことで、二重取得をなくしたわけです。トラフィックの問題を検索と初回描画の問題と引き換えにするのは、より悪い取引です。
この 11 分間の教訓はこうです。プリレンダリング済み HTML は、本物の、機能する画像参照を持っていなければなりません。バグは URL が存在することではありませんでした。間違った URL が存在することでした。空にしても、ある欠陥を別の欠陥と取り替えるだけです。本当に必要だったのは、プリレンダリング時に正しい URL がわかることでしたが、それはわかりません。プリレンダリング時点では、どの環境がそのページを配信するのか誰も知らないからです。
ぎりぎり最後の瞬間に決める
正しい URL はリクエストのホストに依存し、リクエストのホストはリクエストが来るまでわかりません。プリレンダリングはビルド時に一度だけ行われ、両方の環境で配信される 1 つのファイルを生み出します。なので、URL の環境固有の部分はビルド時には決められません。リクエストごとに決めるしかなく、スタックの中ですべてのリクエストとそのホストを見ているのは、エッジの Web サーバーだけです。
そこで、プリレンダリングはもう URL も空文字も書きません。CDN ホストの代わりに、プレースホルダー、つまり https://cdn.authagonal.io という文字どおりのセンチネル文字列を書きます。ビルドから出ていくプリレンダリング済み HTML には https://cdn.authagonal.io/screenshots/whatever.webp と書かれています。これはオリジン URL でも空のソースでもありません。穴の空いた URL です。
nginx が、出ていく途中でその穴を埋めます。リクエストのホストを正しい CDN ベースに対応付けます。非本番ホストはそれ専用の dev CDN に、authagonal.io は https://cdn.authagonal.io に、それ以外は空にして、安全なローカルのフォールバックとして URL がオリジン相対に戻るようにします。そして 1 つのディレクティブが、HTML がクライアントに流れていく間にセンチネルをその値に書き換えます。
map $host $asset_cdn_base {
default "";
"~*example\.dev$" "https://cdn.example.dev";
"~*authagonal\.io$" "https://cdn.authagonal.io";
}
sub_filter 'https://cdn.authagonal.io' $asset_cdn_base;
これで静的 HTML は、問い合わせてきたホストに合った本物の CDN URL をすでに持った状態でオリジンを出ていきます。ブラウザは初回描画時に CDN から直接取得します。取り消すべき間違った最初の取得はありません。間違った URL がないからで、空の URL も一度もありません。クローラーには本物の画像リンクを持つ完全なページが見えます。1 つのファイルで両方の環境に対応でき、どちらにも別のビルドは要りません。
レスポンスのどの部分が書き換えられるかには、ちょっとした妙味があります。書き換えの対象は HTML だけで、これは nginx のデフォルトです。これが重要なのは、同じセンチネル文字列が JavaScript バンドルにも、ホスト判定コードのフォールバック分岐として現れるからです。クライアント上ではその分岐はデッドコードです。ブラウザには本物のホスト名があり、センチネルを出すことはないので、nginx にはバンドルに触れてほしくありません。書き換えを HTML のみというデフォルトのままにしておけば、それがタダで手に入ります。ついでにわかったのですが、デフォルトをわざわざ明示的に書くと、書かないよりも悪くなります。冗長な宣言があると nginx が重複の警告を出すからです。
起動時にファイルを一度書き換えればいいのでは
当然出てくる反論は、取り得る値が 2 つしかないのに、リクエストごとにずいぶん手間をかけている、というものです。コンテナの起動時に HTML を一度書き換えて正しいホストを焼き込み、フィルターなしで静的ファイルを配信すればいいのでは、と。
それは、コンテナが自分自身に書き込めないからです。静的サイトは nginx 上で非 root ユーザーとして動き、ルートファイルシステムは読み取り専用、Linux ケーパビリティはすべて削除されていて、書き込めるのは nginx 自身の一時ファイル用の小さなスクラッチディレクトリ 1 つだけです。これは意図的なハードニングです。信頼できないトラフィックを受ける Web サーバーは、自分が配信するファイルを変更できるべきではありません。そうすれば、足がかりを得た攻撃者も書き換えられるものを何も見つけられません。起動時に HTML を書き換えるには、私たちがわざと取り上げた書き込み権限そのものが必要です。読み取り専用ファイルシステムは回避すべき障害ではなく、私たちが望んでいる性質であり、起動時の書き換えをきれいに除外します。リクエストごとの書き換えはファイルに一切触れません。だからこそ、変更できるものを何も持たないサーバーと両立するのです。
また、ビルド時に CDN ホストを焼き込んで、環境ごとに 1 つずつ、異なる 2 つの画像バンドルを作ることもしたくありませんでした。それでは、取り除いたばかりの環境固有のビルドが復活してしまいます。ホスト判定の狙いは、両方の環境に 1 つの成果物、でした。センチネルはその約束を守ります。1 回のビルド、1 つのファイル、そして環境はエッジでぎりぎり最後の瞬間に解決されます。
プリレンダリングは環境の値を凍結する。だからエッジで解決する
プリレンダリングはある瞬間を凍結します。アプリが環境を見て決めることはすべて、プリレンダリング時にビルドの環境に対して決まります。それはループバックアドレスで、誰の本物のホストでもありません。なので、実行時には正しい値も、スナップショットされた瞬間に間違った値になります。しかも静かに失敗します。プリレンダリング済みのページは、間違った場所を指したまま、ちゃんと表示されるからです。
一般的な解決策は、プリレンダリング中に環境固有の値をそもそも解決しないことです。プレースホルダーを出し、静的な成果物の中でそのまま運び、実際に環境が見えるレイヤーで解決します。リクエストごとの値なら、それはエッジです。HTML ファイル内の文字列に遅延バインディングを適用するということです。答えを知らないすべての段階では穴を開けたままにし、答えを知っている唯一の段階で埋めるのです。
ID プロバイダー自身のドキュメントやアセットが最初からエッジで正しく配信されていてほしいなら、それも Authagonal がすでに議論し尽くした数多くの小さなことの 1 つです。その議論の時間は、あなた自身のプロダクトに使ってください。