『壹』 如何判斷訪問的用戶是正常用戶，還是爬蟲
網站會通過以下幾個方面來識別對方是爬蟲還是真實用戶，讓我們一起來看看吧。
一、單一IP非常規的訪問頻次
我們經常會遇到這樣一種情況，提示「刷新頻率過快，請歇一會」，這都是網站為了緩解壓力才對「用戶」作出的限制。而爬蟲相對於真實用戶來說訪問的頻次更快，如果單一IP訪問頻次非常高，那麼將會被判為「爬蟲」，進而受到限制。
二、單一IP非常規的數據流量
當單一IP的數據流量非常大時，也會引起網站的注意。說到數據流量有些朋友就會有疑問了，下載站的數據流量大也是很正常的。這里說的數據流量不只是單一的下載數據流量，而是大量的並發請求。高並發請求很容易對伺服器造成高負荷，所以受到限制也是很正常的。為了避免這個因這個原因被封可以用個ip池量大的http比如ipidea每日覆蓋全球的ip資源。
三、headers頭部校驗
除了上面比較明顯的爬蟲行為，網站還會校驗headers。headers頭部的參數很多，其實也容易偽裝，但有些初學者往往會忽略。比較常見的是User-Agent、Referer這兩個參數，不同的瀏覽器有不同的User-Agent，訪問來源也各不相同，如果不注意的話，很容易被識別。
四、鏈接
我們知道，爬蟲爬取頁面時，會識別頁面中所有的URL地址去爬取，特別是一些沒有明確目標的爬蟲。有的網站會將一些鏈接放在CSS里或者JS里，這些鏈接正常用戶是不會去訪問的，它們就相當於陷進，作用是釣出爬蟲，一不小心就容易中招。
以上是比較常見的識別爬蟲的手段，要想不被目標網站這么快識別，就要有效的規避這幾點，做好爬蟲策略，當然反爬手段遠遠不止這些，這就需要好好研究了。