HTTPヘッダを雰囲気で読んでしまっている。実際にどんなヘッダが使われていて、どのように使われているか調べてみるため、twitterのHTTPヘッダをMDN Web docsと照らし合わせながら1つずつ見てみた。セキュリティ的に公開してはいけなさそうな部分はXXXXとしている。

ヘッダ全体

$ curl -I -XGET https://twitter.com/
HTTP/2 200
cache-control: no-cache, no-store, must-revalidate, pre-check=0, post-check=0
content-security-policy: connect-src 'self' blob: https://*.giphy.com https://*.pscp.tv https://*.video.pscp.tv 省略 ; default-src 'self'; form-action 'self' https://twitter.com 省略; font-src 'self' https://*.twimg.com; frame-src 'self' https://twitter.com 省略 ; img-src 'self' blob: data: https://*.cdn.twitter.com 省略; manifest-src 'self'; media-src 'self' blob: 省略; object-src 'none'; script-src 'self' 'unsafe-inline' https://*.twimg.com 省略 'nonce-MThhNzMwYjItNmI2ZS00YmNiLTgyNjctYzNhNDJmNjhmNTE0'; style-src 'self' 'unsafe-inline' https://*.twimg.com; worker-src 'self' blob:; report-uri https://twitter.com/i/csp_report?a=O5RXE%3D%3D%3D&ro=false
content-type: text/html; charset=utf-8
cross-origin-opener-policy: same-origin
date: Tue, 03 Nov 2020 13:37:45 GMT
expiry: Tue, 31 Mar 1981 05:00:00 GMT
last-modified: Tue, 03 Nov 2020 13:37:45 GMT
pragma: no-cache
server: tsa_m
set-cookie: personalization_id="XXXX"; Max-Age=63072000; Expires=Thu, 03 Nov 2022 13:37:45 GMT; Path=/; Domain=.twitter.com; Secure; SameSite=None
set-cookie: guest_id=XXXX; Max-Age=63072000; Expires=Thu, 03 Nov 2022 13:37:45 GMT; Path=/; Domain=.twitter.com; Secure; SameSite=None
strict-transport-security: max-age=631138519
x-connection-hash: XXX
x-content-type-options: nosniff
x-frame-options: DENY
x-powered-by: Express
x-response-time: 155
x-xss-protection: 0

Cache-Control

cache-control: no-cache, no-store, must-revalidate, pre-check=0, post-check=0

no-storeはキャッシュをしないことを意味する。twitterのような常に情報が流動的なサイトはno-storeにする。

良い例:

Cache-Control: no-store

no-store以外にもいろいろと付いているが、キャッシュをしない場合はこれだけで十分だとMDN Web docsには書かれていた。

pre-check=0, post-check=0はIEのキャッシュ制御用らしい。*1

Content-Security-Policy

見やすく適宜改行した。

content-security-policy: 
  connect-src 'self' blob: https://*.giphy.com https://*.pscp.tv 省略 ; 
  default-src 'self'; 
  form-action 'self' https://twitter.com 省略; 
  font-src 'self' https://*.twimg.com; 
  frame-src 'self' https://twitter.com 省略 ; 
  img-src 'self' blob: data: https://*.cdn.twitter.com 省略; 
  manifest-src 'self'; 
  media-src 'self' blob: 省略; 
  object-src 'none'; 
  script-src 'self' 'unsafe-inline' https://*.twimg.com 省略 'nonce-MThhNzMwYjItNmI2ZS00YmNiLTgyNjctYzNhNDJmNjhmNTE0'; 
  style-src 'self' 'unsafe-inline' https://*.twimg.com; 
  worker-src 'self' blob:; 
  report-uri https://twitter.com/i/csp_report?a=O5RXE%3D%3D%3D&ro=false

特定のサイトのリソースしか読み込ませないためのヘッダ。リソースの種類ごとに細かく指定できる。report-uriはCSP(Content-Security-Policy)違反をしたときにブラウザが報告するURLが示されるが、非推奨でreport-toへと段階的に変更していくようだ。

Content-Type

content-type: text/html; charset=utf-8

おなじみコンテンツタイプヘッダ。charsetについて調べてみた。

仕組みを理解しており、可能であるなら、どのようなコンテンツであれHTTPヘッダーでエンコーディングを指定しましょう。しかし必ず同時に文書内での指定も行うべきです。

HTMLで文字エンコーディングを指定する

指定しないとどうなるかは実装次第のようで、必ず指定したほうがよいようだ。また、<meta>タグにもcharsetが指定できるが、優先度はContent-Typeのcharsetのほうが高い。

Cross-Origin-Opener-Policy

cross-origin-opener-policy: same-origin

twitterから別のサイトを開いたときに、別のサイトがwindow.openerからtwitterのプロパティを読み込めてしまうのはセキュリティ上よろしくないため、それを許可しないという意味。詳しくは以下のサイトを参照。

asnokaze.hatenablog.com

Date

date: Tue, 03 Nov 2020 13:37:45 GMT

日付。禁止ヘッダーと言われ、ユーザーエージェントが自動挿入するヘッダで、アプリケーション側で特定の日付を指定したりはできない。

expiry???

expiry: Tue, 31 Mar 1981 05:00:00 GMT

有効期限を示すExpiresならあるが、expiryは謎。twitterが独自に利用しているヘッダ？expiresのtypoだとしても、Cache-Controlでno-storeが指定されているため、コンテンツがキャッシュされることはない。

Last-Modified

last-modified: Tue, 03 Nov 2020 13:37:45 GMT

オリジンがそのファイルを最後に更新したとする日時が入る。If-Modified-Sinceなどで利用される。

Pragma

pragma: no-cache

現在HTTP/1.0との広報互換性のために利用されるヘッダで、ここではCache-Control: no-storeと同じことを表している。おそらく未だHTTP/1.1対応すらしていないブラウザが一定数あるのだろう。

Server

server: tsa_m

レスポンスを返したサーバで動くソフトウェアを表している。詳細に書くと攻撃に利用される可能性があるため、あまり詳細に記述しないほうがよい。tsa_mが何のソフトウェアを表しているかはよくわからなかった。

Set-Cookie

見やすいように適宜改行した。

set-cookie: 
  personalization_id="XXXX"; 
  Max-Age=63072000; 
  Expires=Thu, 03 Nov 2022 13:37:45 GMT; 
  Path=/; 
  Domain=.twitter.com; 
  Secure; 
  SameSite=None

Cookieをセットしている。

personalization_idだけがCookie本体で、それ以外はCookieに関する制御をしている。
DomainとPathでtwitter.comとそのサブドメインの場合のみCookieを送信できるようにしている。
- 殆どの場合Path=/。
- /が少し分かりづらいが、/*という意味。
SecureによってHTTPSでないとCookieを送信できない。
SameSite=Noneはオリジンをまたいでクッキーを送信して良いこと表している。
- Noneを指定する場合、Secureが必須。
- CSRF攻撃の予防のためにSameSiteがあるわけだが、Noneでも大丈夫なのだろうか。

Strict-Transport-Security

strict-transport-security: max-age=631138519

HTTPではなくHTTPSを利用するように促すヘッダ。リダイレクトとは違い、ブラウザが改めてHTTPSとして接続し直す。

利用例はMDN Web docsで示されている例がわかりやすい。HTTPでリクエストが来たとき、HTTPSのリダイレクトが記述されたHTTPレスポンスを返すのは、暗号化されていないため悪意のあるサイトへリダイレクトするよう書き換えられる可能性がある（中間者攻撃）。だからHTTPではなく新しくHTTPSで接続し直してとだけ返信するStrict-Transport-Securityが有用。