рдЬрд╛рдВрдЪ рдкрд░рд┐рдгрд╛рдо: рд╕рд╛рдорд╛рдиреНрдп
Webdriver
CDP
User-Agent
Navigator
рд░реЛрдмреЛрдЯ рдЦрддрд░рд╛ рд╕реБрд░рдХреНрд╖рд╛
рдлрд┐рдВрдЧрд░рдкреНрд░рд┐рдВрдЯ рдкрд╣рдЪрд╛рди рдФрд░ рд░реЛрдмреЛрдЯ рдбрд┐рдЯреЗрдХреНрд╢рди рдХрд╛ рд╕рдВрдпреЛрдЬрди рдСрдирд▓рд╛рдЗрди рдзреЛрдЦрд╛рдзрдбрд╝реА рдХреЛ рдкреНрд░рднрд╛рд╡реА рдврдВрдЧ рд╕реЗ рд░реЛрдХ рд╕рдХрддрд╛ рд╣реИ, рд╕рдВрдпреБрдХреНрдд рдЙрдкрдпреЛрдЧ рд╕рд░реНрд╡реЛрддреНрддрдо рдкрд░рд┐рдгрд╛рдо рджреЗрддрд╛ рд╣реИ
Chrome DevTools Protocol рдбрд┐рдЯреЗрдХреНрд╢рди
рдЬрд╛рдВрдЪреЗрдВ рдХрд┐ рдХреНрдпрд╛ рдбреЗрд╡рд▓рдкрд░ рдЯреВрд▓ рдпрд╛ рдкреНрд░реЛрдЯреЛрдХреЙрд▓ рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдХреЛ рдирд┐рдпрдВрддреНрд░рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ
Navigator
рдЬрд╛рдВрдЪреЗрдВ рдХрд┐ Navigator рдЧреБрдгреЛрдВ рдореЗрдВ рдХреЛрдИ рдмрджрд▓рд╛рд╡ рд╣реБрдЖ рд╣реИ рдпрд╛ рдирд╣реАрдВ, рддрд╛рдХрд┐ рдкреНрд▓рдЧрдЗрди рдпрд╛ рд░реЛрдмреЛрдЯ рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдХреЛ рдирдХрд▓реА рди рдХрд░ рд╕рдХреЗрдВ
рдпрд╣ рдбрд┐рдЯреЗрдХреНрд╢рди рддрдВрддреНрд░ рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдпрд╛ рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдореЗрдВ рдСрдЯреЛрдореЗрд╢рди рдЧрддрд┐рд╡рд┐рдзрд┐ рдХреА рдкрд╣рдЪрд╛рди рдХрд░ рд╕рдХрддрд╛ рд╣реИред рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдлрд┐рдВрдЧрд░рдкреНрд░рд┐рдВрдЯ, JavaScript рдирд┐рд╖реНрдкрд╛рджрди рдХреНрд╖рдорддрд╛, WebRTC рд╕реНрдерд┐рддрд┐, Canvas рд░реЗрдВрдбрд░рд┐рдВрдЧ, Navigator рдСрдмреНрдЬреЗрдХреНрдЯ, рдкреНрд▓рдЧрдЗрди рдЬрд╛рдирдХрд╛рд░реА рдЖрджрд┐ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдХреЗ, рд╕рд┐рд╕реНрдЯрдо рдпрд╣ рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░ рд╕рдХрддрд╛ рд╣реИ рдХрд┐ рд╡рд░реНрддрдорд╛рди рд╡рд┐рдЬрд╝рд┐рдЯ рдСрдЯреЛрдореЗрд╢рди рдЯреВрд▓ рджреНрд╡рд╛рд░рд╛ рдирд┐рдпрдВрддреНрд░рд┐рдд рд╣реИ рдпрд╛ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рджреНрд╡рд╛рд░рд╛ред рд╡рд░реНрддрдорд╛рди рдореЗрдВ, Cloudflare Turnstile, Google reCAPTCHA, hCaptcha рдЬреИрд╕реЗ рдореБрдЦреНрдп рдорд╛рдирд╡-рдкрд░реАрдХреНрд╖рдг рд╕рд┐рд╕реНрдЯрдо рдЗрд╕реА рддрд░рд╣ рдХреА рдкрд╣рдЪрд╛рди рддрдВрддреНрд░ рдХреЛ рдПрдХреАрдХреГрдд рдХрд░рддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдХреЛ рдЕрддрд┐рд░рд┐рдХреНрдд рдХрд╛рд░реНрд░рд╡рд╛рдИ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдирд╣реАрдВ рд╣реЛрддреА рдФрд░ рд╡рд┐рдЬрд╝рд┐рдЯрд░ рдХрд╛ рдЧреБрдкреНрдд рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдЬрд╛рдВрдЪ рдкрд░рд┐рдгрд╛рдо рд╢реНрд░реЗрдгреА рд╡рд┐рд╡рд░рдг
1. рд╕рд╛рдорд╛рдиреНрдп рд░реЛрдмреЛрдЯ (Good Bots)
рдпреЗ рдЖрдорддреМрд░ рдкрд░ рдкреНрд░рдорд╛рдгрд┐рдд, рдкреНрд░рддрд┐рд╖реНрдард┐рдд рдСрдЯреЛрдореЗрд╢рди рдХреНрд▓рд╛рдЗрдВрдЯ рд╣реЛрддреЗ рд╣реИрдВ, рдЬреИрд╕реЗ: рд╕рд░реНрдЪ рдЗрдВрдЬрди рдХреНрд░реЙрд▓рд░: Googlebot, Bingbot, Baiduspider рдЖрджрд┐, рд╡реЗрдм рдкреЗрдЬ рдХреНрд░реЙрд▓рд┐рдВрдЧ рдФрд░ рдЗрдВрдбреЗрдХреНрд╕рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП; рдореЙрдирд┐рдЯрд░рд┐рдВрдЧ рдЯреВрд▓: рдЬреИрд╕реЗ Pingdom, UptimeRobot, рд╕рд╛рдЗрдЯ рдЙрдкрд▓рдмреНрдзрддрд╛ рдФрд░ рдкреНрд░рджрд░реНрд╢рди рдореЙрдирд┐рдЯрд░рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП; рдЕрдиреБрдкрд╛рд▓рди рдбреЗрдЯрд╛ рдХреНрд░реЙрд▓рд┐рдВрдЧ рд╕реЗрд╡рд╛: robots.txt рдкреНрд░реЛрдЯреЛрдХреЙрд▓ рдХрд╛ рдкрд╛рд▓рди рдХрд░рддреА рд╣реИ рдФрд░ User-Agent рдореЗрдВ рдкрд╣рдЪрд╛рди рд╕реНрдкрд╖реНрдЯ рдХрд░рддреА рд╣реИред рдпреЗ рд░реЛрдмреЛрдЯ рдСрдЯреЛрдореЗрдЯреЗрдб рд╣реИрдВ, рд▓реЗрдХрд┐рди рд╡реЗрдмрд╕рд╛рдЗрдЯ рдХреЗ рд▓рд┐рдП рдорд┐рддреНрд░рд╡рдд рд╣реИрдВ, рд╡реНрдпрд╡рд╣рд╛рд░ рдФрд░ рдЖрд╡реГрддреНрддрд┐ рдирд┐рдпрдВрддреНрд░рд┐рдд рд╣реИред
2. рджреБрд░реНрднрд╛рд╡рдирд╛рдкреВрд░реНрдг рд░реЛрдмреЛрдЯ (Malicious Bots)
рдпреЗ рд░реЛрдмреЛрдЯ рдЖрдорддреМрд░ рдкрд░ рдХрд╛рд▓реЗ рдмрд╛рдЬрд╛рд░, рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдбреЗрд╡рд▓рдкрд░ рдпрд╛ рд╣рдорд▓рд╛рд╡рд░ рджреНрд╡рд╛рд░рд╛ рдирд┐рдпрдВрддреНрд░рд┐рдд рд╣реЛрддреЗ рд╣реИрдВ, рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдХреЗ рд░реВрдк рдореЗрдВ рдирдХрд▓реА рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВ, рд╕рд╛рдорд╛рдиреНрдп рд╡рд┐рд╢реЗрд╖рддрд╛рдПрдВ: Selenium, Puppeteer, Playwright рдЬреИрд╕реЗ рдСрдЯреЛрдореЗрд╢рди рдЯреВрд▓ рдХрд╛ рдЙрдкрдпреЛрдЧ; рдорд╛рдЙрд╕ рдХреНрд▓рд┐рдХ, рдХреАрдмреЛрд░реНрдб рдЗрдирдкреБрдЯ, рдлреЙрд░реНрдо рд╕рдмрдорд┐рдЯ рдЖрджрд┐ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╡реНрдпрд╡рд╣рд╛рд░ рдХреА рдирдХрд▓; рд▓реЙрдЧрд┐рди, рдХреИрдкреНрдЪрд╛ рдЖрджрд┐ рд╕реБрд░рдХреНрд╖рд╛ рддрдВрддреНрд░ рдХреЛ рдмрд╛рдпрдкрд╛рд╕ рдХрд░рдирд╛; рдЦрд╛рддрд╛ рдЕрдзрд┐рдЧреНрд░рд╣рдг, рдХреНрд░реЗрдбреЗрдВрд╢рд┐рдпрд▓ рд╕реНрдЯрдлрд┐рдВрдЧ, рдХрдВрдЯреЗрдВрдЯ рдХреНрд░реЙрд▓рд┐рдВрдЧ, рдкреНрд░рд╛рдЗрд╕ рд╕реНрдХреНрд░реИрдкрд┐рдВрдЧ, рд╡рд┐рдЬреНрдЮрд╛рдкрди рдзреЛрдЦрд╛рдзрдбрд╝реА, DDoS рдЖрджрд┐ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ; рднрд▓реЗ рд╣реА User-Agent рдирдХрд▓реА рд╣реЛ, рдЗрдирдХрд╛ рд╡реНрдпрд╡рд╣рд╛рд░, TLS рдлрд┐рдВрдЧрд░рдкреНрд░рд┐рдВрдЯ, JavaScript рдЧреБрдг рдСрдЯреЛрдореЗрд╢рди рдХреА рдкрд╣рдЪрд╛рди рдЙрдЬрд╛рдЧрд░ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред
3. рдХреЛрдИ рд░реЛрдмреЛрдЯ рдирд╣реАрдВ рдорд┐рд▓рд╛ (Human / Unknown)
рдЗрд╕ рд╢реНрд░реЗрдгреА рдХреЗ рд╡рд┐рдЬрд╝рд┐рдЯрд░ 'рдЧреИрд░-рд░реЛрдмреЛрдЯ' рд╡реНрдпрд╡рд╣рд╛рд░ рджрд┐рдЦрд╛рддреЗ рд╣реИрдВ: рд╕рд╛рдорд╛рдиреНрдп рдмреНрд░рд╛рдЙрдЬрд╝рд░ (Chrome, Safari, Firefox, Edge рдЖрджрд┐) рдХрд╛ рдЙрдкрдпреЛрдЧ; JavaScript рдареАрдХ рд╕реЗ рдЪрд▓рддрд╛ рд╣реИ, Cookie рдФрд░ Storage рд╕рдорд░реНрдерд┐рдд рд╣реИрдВ; рдмреНрд░рд╛рдЙрдЬрд╝рд┐рдВрдЧ рд╡реНрдпрд╡рд╣рд╛рд░ рдкреНрд░рд╛рдХреГрддрд┐рдХ рд╣реИ, рдЗрдВрдЯрд░реИрдХреНрд╢рди рд╡рд┐рд╡рд┐рдз рдФрд░ рдЕрдВрддрд░рд╛рд▓ рдЙрдЪрд┐рдд рд╣реИред рдпреЗ рдЖрдорддреМрд░ рдкрд░ рд╕рд╛рдорд╛рдиреНрдп рд╡рд┐рдЬрд╝рд┐рдЯрд░ рд╣реЛрддреЗ рд╣реИрдВ, рд╕рд┐рд╕реНрдЯрдо рдХреЛ рдХреЛрдИ рдЕрд╕рд╛рдорд╛рдиреНрдп рдСрдЯреЛрдореЗрд╢рди рд╡рд┐рд╢реЗрд╖рддрд╛ рдирд╣реАрдВ рдорд┐рд▓рддреА, рдЗрд╕рд▓рд┐рдП 'рдХреЛрдИ рд░реЛрдмреЛрдЯ рдирд╣реАрдВ рдорд┐рд▓рд╛' рд╢реНрд░реЗрдгреА рдореЗрдВ рд░рдЦрд╛ рдЬрд╛рддрд╛ рд╣реИред