㈠ 如何應對網站反爬蟲策略如何高效地爬大量數據
一、構建合理的HTTP請求頭
HTTP的請求頭是在你每次向網路伺服器發送請求時，傳遞的一組屬性和配置信息。由於瀏覽器和Python爬蟲發送的請求頭不同，有可能被反爬蟲檢測出來。
二、設置cookie的學問
Cookie是一把雙刃劍，有它不行，沒它更不行。網站會通過cookie跟蹤你的訪問過程，如果發現你有爬蟲行為會立刻中斷你的訪問，比如你特別快的填寫表單，或者短時間內瀏覽大量頁面。而正確地處理cookie，又可以避免很多採集問題，建議在採集網站過程中，檢查一下這些網站生成的cookie，然後想想哪一個是爬蟲需要處理的。
三、正常的時間訪問路徑
合理控制採集速度，是Python爬蟲不應該破壞的規則，盡量為每個頁面訪問時間增加一點兒間隔，可以有效幫助你避免反爬蟲。
四、使用http
對於分布式爬蟲和已經遭遇反爬蟲的人來說，使用http將成為你的首選。Ipidea分布地區廣，可滿足分布式爬蟲使用需要。支持api提取，對Python爬蟲來說再適合不過。
㈡ 如何用最簡單的Python爬蟲採集整個網站
採集網站數據並不難，但是需要爬蟲有足夠的深度。我們創建一個爬蟲，遞歸地遍歷每個網站，只收集那些網站頁面上的數據。一般的比較費時間的網站採集方法從頂級頁面開始（一般是網站主頁），然後搜索頁面上的所有鏈接，形成列表，再去採集到的這些鏈接頁面，繼續採集每個頁面的鏈接形成新的列表，重復執行。
㈢ 怎麼爬取網頁上的表格數據，導入到office的Excel或者Word文檔中呢
關於怎麼爬取網上的信息，有時候我們經常在網頁上看到很多表格數據，有些不能直接復制粘貼到文檔或者Excel表格中，有些能復制但是格式會發生很多錯亂，要是信息量大的話，修改格式都是一項大工程了。
舉個例子，之前有同學在網上看到一個表格數據：
要是我們直接復制很難把表格格式也復制進去，尤其對於一些每天都在變化的數據，也不能同步更新數據。
所以我們可以把網頁的數據用Excel表格， 導入網頁的鏈接實現表格數據爬取，同步自動更新表格數據
首先我們需要復製表格數據所在網頁的鏈接
然後打開Excel表格。
注意：Excel表格需要2016以上的版本才可以。
然後把我們剛才復制好的數據所在網頁鏈接粘貼進去，按確定
稍等片刻，就會自動獲取網頁所有表格數據，我們找到我們需要獲取的數據表格，然後點擊載入進Excel表格中。
載入到Excel表格中後，我們可以對外部數據進行編輯等其他參數調整
因為是直接獲取外部的鏈接數據，所以要是外部數據變化，我們也可以設置自定數據更新。
在表格屬性設計中找到刷新選項的查看鏈接屬性，然後可以自定義設置一些自動更新時間。
如下動態圖演示：
同時我們可以直接復制進Word文檔中，選擇性粘貼保留原格式，那麼也可以跟Excel和網頁數據實現同步更新了