อย่าเพิ่งติดตามการเข้าชม: ความแตกต่างที่แท้จริงระหว่างเบราว์เซอร์และตัวแทนผู้ใช้บอท

เมื่อพูดถึง User-Agent หลายคนน่าจะคุ้นเคยกันอยู่แล้ว หลายคนรู้ว่ามัน “สำคัญ” แต่ถ้าถามจริง ๆ ว่า: ความแตกต่างที่ชัดเจนระหว่าง UA ของเบราว์เซอร์กับ UA ของครอว์เลอร์คืออะไร?

พูดตามตรง คนจำนวนไม่น้อยยังไม่รู้วิธีแยกแยะอย่างแท้จริง และความแตกต่างระหว่าง UA ของเบราว์เซอร์กับ UA ของครอว์เลอร์นั้น ไม่ได้มีแค่เรื่อง “เป็นบอทหรือไม่” เท่านั้น

วันนี้ ผมจะขออาศัยประสบการณ์ส่วนตัวจากการทำเว็บไซต์ การวิเคราะห์ล็อก และการตรวจสอบทราฟฟิกที่ผิดปกติ มาเล่าถึงความแตกต่างหลัก ๆ ระหว่าง UA ของเบราว์เซอร์และ UA ของครอว์เลอร์

I. ก่อนอื่น มาทำความเข้าใจกันก่อน: User-Agent คืออะไร ?

พูดง่าย ๆ User-Agent (UA) คือข้อความ “แนะนำตัวเอง” สั้น ๆ ที่เบราว์เซอร์หรือโปรแกรมส่งไปพร้อมกับคำขอ (request) ไปยังเซิร์ฟเวอร์

จากการ解析 User-Agent เซิร์ฟเวอร์มักจะสามารถทราบได้ว่า:

• คำขอนั้นมาจากเบราว์เซอร์หรือไม่

• ใช้ระบบปฏิบัติการใด (Windows / macOS / Android / iOS)

• ประเภทและเวอร์ชันของเบราว์เซอร์

• เป็นครอว์เลอร์ของเสิร์ชเอนจินหรือโปรแกรมอัตโนมัติหรือไม่

ดังนั้น UA เองไม่ได้ลึกลับ แต่เป็นด่านแรกในการระบุตัวตนของผู้เข้าใช้งาน

II. ลักษณะทั่วไปของ UA เบราว์เซอร์

1. โครงสร้างซับซ้อน มีข้อมูลครบถ้วน

ตัวอย่างเช่น UA ของเบราว์เซอร์ Chrome ที่พบบ่อย มักประกอบด้วย:

• ข้อมูลระบบปฏิบัติการ

• รายละเอียดเอนจินเรนเดอร์ (AppleWebKit, KHTML)

• ชื่อและเวอร์ชันของเบราว์เซอร์

• ตัวระบุความเข้ากันได้ (Mozilla)

เพื่อรองรับเว็บไซต์รุ่นเก่า UA ของเบราว์เซอร์จริงจึงมักยาวและดูยุ่งเหยิง ซึ่งถือเป็นเรื่องปกติ

2. การอัปเดตเวอร์ชันสม่ำเสมอและสมเหตุสมผล

เบราว์เซอร์จริง:

• Chrome และ Edge มีรอบการอัปเดตเวอร์ชันที่ค่อนข้างคงที่

• ไม่แสดงชุดเวอร์ชันที่ผิดปกติอย่างชัดเจน

หากคุณพบ UA ในล็อกที่ Chrome เวอร์ชันเก่ามาก แต่ระบบปฏิบัติการใหม่มาก นั่นเป็นสัญญาณที่ควรตรวจสอบเพิ่มเติม

3. ทำงานร่วมกับการตรวจสอบ Fingerprint ของเบราว์เซอร์

ปัจจุบัน การดูแค่ UA อย่างเดียวไม่เพียงพอแล้ว เบราว์เซอร์จริงมักรองรับสิ่งต่อไปนี้ด้วย:

• Canvas Fingerprint

• WebGL Fingerprint

• รายการฟอนต์

• ความละเอียดหน้าจอ และอื่น ๆ

นี่จึงเป็นเหตุผลที่ระบบป้องกันความเสี่ยงหลายแห่งเลือกใช้การตรวจสอบ Fingerprint ร่วมกับ UA แทนการพึ่ง UA เพียงอย่างเดียว

III. ลักษณะทั่วไปของ UA ครอว์เลอร์ที่สังเกตได้ทันที

1. แสดงตัวตนอย่างชัดเจน (ครอว์เลอร์ที่ถูกต้อง)

ครอว์เลอร์อย่างเป็นทางการของเสิร์ชเอนจินมักจะ “ซื่อตรง” เช่น Googlebot, Bingbot และ Baiduspider

UA เหล่านี้จะระบุชัดเจนว่าตนคือใคร มีเอกสารอ้างอิงอย่างเป็นทางการ และสามารถตรวจสอบ IP ย้อนกลับได้

ในการทำ SEO ครอว์เลอร์เหล่านี้ถือเป็น “กลุ่มเป้าหมายสำคัญ” ที่ควรดูแล

2. UA สั้นเกินไปหรือดูเหมือนถูกประกอบขึ้น (ครอว์เลอร์สีเทาหรืออันตราย)

ปัญหาที่พบบ่อยของครอว์เลอร์ที่ไม่ถูกต้อง ได้แก่:

• UA มีเพียง “Mozilla/5.0”

• เวอร์ชันเบราว์เซอร์ไม่สอดคล้องกับระบบปฏิบัติการ

• คัดลอก UA ของเบราว์เซอร์มาใช้ แต่ขาดรายละเอียดสำคัญ

ครอว์เลอร์ที่ปลอมตัวเป็นเบราว์เซอร์ลักษณะนี้พบได้บ่อยมากในล็อกการเข้าถึง

3. UA คงที่ แต่พฤติกรรมการเข้าถึงผิดปกติ

ผู้ใช้จริง:

• UA ค่อนข้างคงที่ แต่เส้นทางการเข้าชมไม่แน่นอน

• มีเวลาการเข้าชม การเปลี่ยนหน้า และการกลับมาใช้งาน

ครอว์เลอร์:

• UA ไม่เปลี่ยนแปลง

• ดึงข้อมูลถี่มากในช่วงเวลาสั้น ๆ

• รูปแบบการเข้าถึงสม่ำเสมออย่างมาก

เมื่อผสานการ解析 User-Agent กับการวิเคราะห์พฤติกรรม ก็สามารถระบุได้ค่อนข้างแม่นยำ

IV. ทำไม การวิเคราะห์ User-Agent จึงไม่เพียงพออีกต่อไป?

ในช่วงไม่กี่ปีที่ผ่านมา ครอว์เลอร์จำนวนมากได้เรียนรู้วิธี “ลอกการบ้าน” ด้วยการคัดลอก UA ของ Chrome มาใช้โดยตรง

พวกมันจำลองระบบและเวอร์ชันยอดนิยม ดังนั้นแนวทางที่ใช้กันมากในปัจจุบันคือ:

• UA + Fingerprint ของเบราว์เซอร์

• UA + พฤติกรรม JavaScript

• UA + ชื่อเสียงของ IP

เมื่อตรวจสอบทราฟฟิกที่ผิดปกติ การใช้เครื่องมือค้นหา Fingerprint ของ ToDetect จะช่วยให้ดูข้อมูลในระดับ Fingerprint ได้ เช่น:

• เป็นสภาพแวดล้อมเบราว์เซอร์จริงหรือไม่

• Fingerprint ซ้ำกันในระดับสูงหรือไม่

• UA สอดคล้องกับ Fingerprint หรือไม่

ขั้นตอนนี้มีประโยชน์อย่างมากในการระบุครอว์เลอร์ขั้นสูง

V. ตารางเปรียบเทียบ UA เบราว์เซอร์กับ UA ครอว์เลอร์ (ประเด็นสำคัญ)

เพื่อให้เห็นภาพชัดเจน ตารางด้านล่างจะแสดงความแตกต่างอย่างตรงไปตรงมา:

หากคุณใช้เครื่องมือค้นหา Fingerprint ของ ToDetect ร่วมด้วย การตัดสินใจจะยิ่งแม่นยำมากขึ้น

สรุปท้ายบท

UA ของเบราว์เซอร์เปรียบเสมือน “คนจริงที่ซับซ้อน” ในขณะที่ UA ของครอว์เลอร์มักให้ความรู้สึก “จงใจหรือเป็นแบบแผนเดียว”

ในสภาพแวดล้อมปัจจุบัน การดูแค่ UA ไม่เพียงพออีกต่อไป จำเป็นต้องผสานการตรวจสอบ Fingerprint พฤติกรรมการเข้าถึง และแม้แต่เครื่องมืออย่าง ToDetect เพื่อให้ได้ข้อสรุปที่น่าเชื่อถือ

หากคุณต้องวิเคราะห์ล็อกหรือสืบหาทราฟฟิกผิดปกติเป็นประจำ ให้มอง UA เป็นเพียง “ตัวกรองขั้นแรก” ไม่ใช่ข้อสรุปสุดท้าย