現代のスクレーパーがカスタム指紋でTLSをバイパスする方法

ウェブスクレイピングを経験した人なら誰でも、ここ数年で各種 CAPTCHA だけでなく、ますます「賢く」なるアンチスクレイピング技術が開発者にとって最大の頭痛の種になっていることを知っています。

特に TLS フィンガープリンティング、HTTP/2 フィンガープリンティング、ブラウザフィンガープリンティングといった最新技術の登場により、ヘッダーを追加したり User-Agent を変更したりするだけで誤魔化せる時代ではなくなりました。

なぜウェブサイトは TLS や HTTP/2 のフィンガープリントだけで、あなたが「スクレイパー」なのか「本物のブラウザ」なのかを判別できるのでしょうか？ 以下で編集者が詳しく説明します。

1. なぜウェブサイトは TLS フィンガープリンティング を使うのか？

理由は簡単で、従来の User-Agent / Cookie / IP 制限などではもはや効果がなくなっているからです。

本物のブラウザが HTTPS 接続を確立すると、TLS ハンドシェイクが行われます。このハンドシェイクには非常に細かい情報が含まれています。

• 対応している暗号スイート
• 拡張フィールドの順序
• サポートしているプロトコルバージョン
• SNI、ALPN、そしてそれらの組み合わせ

これらの組み合わせはブラウザ・OS・バージョンごとに異なります。

サーバーから見えるのは次のようなものです：

「この TLS ClientHello は Chrome でも Firefox でも Safari でもない。スクリプトで生成されたクライアントの可能性が高い。」

これが TLS フィンガープリンティングの基本的な仕組みです。

2. HTTP/2 フィンガープリンティング：アンチスクレイピングの新たな主役

TLS フィンガープリンティングが第一のフィルターだとすると、HTTP/2 フィンガープリンティングは第二のフィルターです。

HTTP/2 には次のような特徴があります：

• フレームタイプの順序
• PRIORITY や SETTINGS の設定
• WINDOW_UPDATE の挙動

これらは本物のブラウザでは非常に一貫していますが、多くのネットワークライブラリ（Python/Go のデフォルト実装など）では大きく異なります。

そのため、スクレイパーを「人間らしく」見せるには、HTTP/2 層のフィンガープリントも合わせる必要があります。

3. ブラウザフィンガープリンティング：見た目から行動まで丸見え

TLS / H2 といったネットワーク層以外にも、ブラウザ自体が多くのフィンガープリントを露出しています。

これが ToDetect のフィンガープリンティングツールが非常に専門的である理由であり、単一の検出に依存せず多次元で評価しているのです。

4. カスタムフィンガープリントライブラリ：現代スクレイパーの「化粧」

現代のスクレイピングフレームワークでは、「フィンガープリントテンプレート化」アプローチがよく採用されます。つまり、各ブラウザ・OS・バージョンの TLS / HTTP/2 / JS 環境のフィンガープリントを事前に記録し、フィンガープリントライブラリを作るということです。

このライブラリには次のようなものが含まれることがあります：

• Windows / macOS / Ubuntu 上の Chrome 120 の TLS フィンガープリント
• 異なる Chrome バージョンの HTTP/2 SETTINGS
• OS ごとのデフォルトフォントセット
• 一般的なブラウザの WebGL メッセージ
• JavaScript 環境の典型的なオブジェクト構造

リクエストを送信する際、スクレイパーはテンプレートを選び、本物のブラウザのように振る舞うのです。

これは「化粧」のようなもので、適当に塗るのではなく、本物の人間の顔を模倣するのです。

5. なぜ「フィンガープリントライブラリ」で成功率が上がるのか？

本物のブラウザの挙動は安定しており、一貫性があり、予測可能だからです。

スクレイパーが本物のブラウザの挙動パターンを「学習」すれば、検出が難しくなるのは当然です。例えば：

• Chrome の暗号スイートの順序は固定パターンに従う
• Chrome の HTTP/2 SETTINGS は常に同じ
• ブラウザ拡張フィールドはランダムに変化しない
• JavaScript のオブジェクト構造や関数数には標準がある

結論：フィンガープリント技術は適切に使うべき

TLS フィンガープリンティング、HTTP/2 フィンガープリンティング、ブラウザフィンガープリンティングは、本質的にはインターネットセキュリティ技術です。これらの技術は法的に、サイト利用規約に従って使用されるべきであり、許可のないデータ取得やアクセス回避のために使用してはなりません。

自社サイトのアンチスクレイピング性能テスト、リスク制御の改善、セキュリティ研究など、合法的で認可された状況では、フィンガープリント模倣技術は非常に価値があります。