Đừng chỉ theo dõi lượt truy cập: Sự khác biệt thực sự giữa trình duyệt và bot user-agents

Khi nhắc đến User-Agent, hầu hết mọi người có lẽ đều đã quen thuộc. Nhiều người biết rằng nó “quan trọng”, nhưng nếu thực sự hỏi: đâu là những khác biệt rõ ràng giữa UA của trình duyệt và UA của crawler?

Thành thật mà nói, khá nhiều người không thực sự biết cách phân biệt. Và sự khác biệt giữa UA trình duyệt và UA crawler còn lớn hơn rất nhiều so với việc chỉ “có phải là bot hay không”.

Hôm nay, dựa trên kinh nghiệm cá nhân trong việc xây dựng website, phân tích log và xử lý lưu lượng truy cập bất thường, tôi muốn chia sẻ về những khác biệt cốt lõi giữa UA trình duyệt và UA crawler.

I. Trước tiên, hãy làm rõ: User-Agent là gì ?

Nói một cách đơn giản, User-Agent (UA) là một đoạn “giới thiệu bản thân” ngắn mà trình duyệt hoặc chương trình gửi kèm theo khi gửi yêu cầu đến máy chủ.

Thông qua việc phân tích User-Agent, máy chủ thường có thể xác định:

• Yêu cầu có đến từ trình duyệt hay không

• Hệ điều hành đang sử dụng (Windows / macOS / Android / iOS)

• Loại và phiên bản trình duyệt

• Có phải là crawler của công cụ tìm kiếm hay chương trình tự động hay không

Vì vậy, bản thân UA không hề bí ẩn, nhưng nó là tuyến phòng thủ đầu tiên khi nhận diện người truy cập.

II. Đặc điểm điển hình của UA trình duyệt

1. Cấu trúc phức tạp, thông tin phong phú

Ví dụ, một UA phổ biến của trình duyệt Chrome thường bao gồm:

• Thông tin hệ điều hành

• Chi tiết về engine render (AppleWebKit, KHTML)

• Tên và phiên bản trình duyệt

• Các định danh tương thích (Mozilla)

Để duy trì khả năng tương thích với các website cũ, UA của trình duyệt thật thường dài và “lộn xộn” — điều này hoàn toàn bình thường.

2. Cập nhật phiên bản thường xuyên và hợp lý

Trình duyệt thật:

• Chrome và Edge có chu kỳ cập nhật phiên bản ổn định

• Không xuất hiện các tổ hợp phiên bản явно phi lý

Nếu bạn thấy trong log một UA mà Chrome rất cũ nhưng hệ điều hành lại rất mới, thì đáng để kiểm tra kỹ hơn.

3. Hoạt động kết hợp với fingerprint trình duyệt

Ngày nay, chỉ nhìn vào UA thôi là chưa đủ. Trình duyệt thật thường còn hỗ trợ:

• Canvas fingerprint

• WebGL fingerprint

• Danh sách font

• Độ phân giải màn hình, v.v.

Đó là lý do nhiều hệ thống kiểm soát rủi ro kết hợp fingerprint trình duyệt thay vì chỉ dựa vào chuỗi UA.

III. Những đặc điểm phổ biến của UA crawler có thể nhận ra ngay

1. Tuyên bố rõ ràng danh tính (crawler hợp pháp)

Các crawler chính thức của công cụ tìm kiếm thường rất “thẳng thắn”, như Googlebot, Bingbot hay Baiduspider.

Những UA này nêu rõ họ là ai, có tài liệu chính thức và IP có thể xác minh ngược.

Trong công việc SEO, đây thực sự là “đối tượng quan trọng” cần phục vụ.

2. UA quá đơn giản hoặc ghép vá rõ ràng (crawler xám hoặc độc hại)

Các vấn đề thường gặp ở crawler không hợp pháp bao gồm:

• UA chỉ chứa “Mozilla/5.0”

• Phiên bản trình duyệt không khớp với hệ điều hành

• Sao chép UA trình duyệt nhưng thiếu các chi tiết quan trọng

Những crawler giả dạng trình duyệt như vậy rất phổ biến trong log truy cập.

3. UA cố định nhưng hành vi truy cập bất thường

Người dùng thật:

• UA tương đối ổn định, nhưng đường dẫn truy cập ngẫu nhiên

• Có thời gian ở lại, chuyển trang và quay lại

Crawler:

• UA không thay đổi

• Thu thập dữ liệu với tần suất cao trong thời gian ngắn

• Mẫu truy cập cực kỳ đều đặn

Kết hợp phân tích User-Agent với phân tích hành vi, bạn thường có thể nhận diện chúng với độ tin cậy cao.

IV. Vì sao phân tích User-Agent không còn đủ nữa?

Trong những năm gần đây, nhiều crawler đã học cách “chép bài” bằng cách sao chép trực tiếp UA của trình duyệt Chrome.

Chúng mô phỏng các hệ thống và số phiên bản phổ biến, vì vậy ngày nay cách tiếp cận thường dùng là:

• UA + fingerprint trình duyệt

• UA + hành vi JavaScript

• UA + uy tín IP

Khi điều tra lưu lượng truy cập bất thường, sử dụng công cụ tra cứu fingerprint của ToDetect cho phép bạn kiểm tra dữ liệu ở cấp độ fingerprint, chẳng hạn:

• Có phải môi trường trình duyệt thật hay không

• Fingerprint có bị lặp lại ở mức độ cao hay không

• UA có khớp với fingerprint hay không

Bước này cực kỳ hữu ích để nhận diện các crawler nâng cao.

V. Bảng so sánh UA trình duyệt và UA crawler (điểm chính)

Để trực quan hơn, bảng dưới đây trình bày rõ ràng sự khác biệt:

Nếu bạn kết hợp thêm công cụ tra cứu fingerprint của ToDetect để phân tích dữ liệu ở cấp độ fingerprint, độ chính xác trong phán đoán sẽ còn cao hơn.

Kết luận

UA trình duyệt giống như một “con người phức tạp và chân thực”, trong khi UA crawler thường mang cảm giác “có chủ đích hoặc đơn điệu”.

Trong môi trường hiện nay, chỉ nhìn vào UA là không còn đủ. Bạn cần kết hợp fingerprint trình duyệt, hành vi truy cập và thậm chí cả các công cụ như ToDetect để đưa ra đánh giá đáng tin cậy.

Nếu bạn thường xuyên phân tích log hoặc điều tra lưu lượng truy cập bất thường, hãy coi UA như một “bộ lọc bước đầu”, chứ không phải kết luận cuối cùng.