㈠ 如何應對網站反爬蟲策略如何高效地爬大量數據
一般有一下幾種
一些常用的方法
IP代理
對於IP代理,各個語言的Native Request API都提供的IP代理響應的API, 需要解決的主要就是IP源的問題了.
網路上有廉價的代理IP(1元4000個左右), 我做過簡單的測試, 100個IP中, 平均可用的在40-60左右, 訪問延遲均在200以上.
網路有高質量的代理IP出售, 前提是你有渠道.
因為使用IP代理後, 延遲加大, 失敗率提高, 所以可以將爬蟲框架中將請求設計為非同步, 將請求任務加入請求隊列(RabbitMQ,Kafka,Redis), 調用成功後再進行回調處理, 失敗則重新加入隊列. 每次請求都從IP池中取IP, 如果請求失敗則從IP池中刪除該失效的IP.
Cookies
有一些網站是基於cookies做反爬蟲, 這個基本上就是如 @朱添一 所說的, 維護一套Cookies池
注意研究下目標網站的cookies過期事件, 可以模擬瀏覽器, 定時生成cookies
限速訪問
像開多線程,循環無休眠的的暴力爬取數據, 那真是分分鍾被封IP的事, 限速訪問實現起來也挺簡單(用任務隊列實現), 效率問題也不用擔心, 一般結合IP代理已經可以很快地實現爬去目標內容.
一些坑
大批量爬取目標網站的內容後, 難免碰到紅線觸發對方的反爬蟲機制. 所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲後, 請求返回的HttpCode為403的失敗頁面, 有些網站還會返回輸入驗證碼(如豆瓣), 所以檢測到403調用失敗, 就發送報警, 可以結合一些監控框架, 如Metrics等, 設置短時間內, 告警到達一定閥值後, 給你發郵件,簡訊等.
當然, 單純的檢測403錯誤並不能解決所有情況. 有一些網站比較奇葩, 反爬蟲後返回的頁面仍然是200的(如去哪兒), 這時候往往爬蟲任務會進入解析階段, 解析失敗是必然的. 應對這些辦法, 也只能在解析失敗的時候, 發送報警, 當告警短時間到達一定閥值, 再觸發通知事件.
當然這個解決部分並不完美, 因為有時候, 因為網站結構改變, 而導致解析失敗, 同樣回觸發告警. 而你並不能很簡單地區分, 告警是由於哪個原因引起的.
㈡ 如何提取網站中的視頻
用這個軟體吧，flashmov
很好用的，我一直用這個
下載地址：
http://www.xslz.com/Soft/UploadSoft/200803/20080308210901435.rar
㈢ 如何用python爬取視頻網站的數據
1.模擬客戶端數據採集，分析http返回結果，清洗需要的數據，入庫。
2.根據已有數據進行計算，實現增長率之類的數據計算。
3.實時性很難做，你當然可以不停的采數據回來，做個偽實時系統，但需要考慮這些網站是否做了客戶端訪問次數的限制，你需要考慮在採集器達到訪問次數上限之前所採集的數據能否滿足你的要求，否則就要被封IP了。
㈣ 怎麼用java代碼爬取網頁中視頻的源地址，不
第一種方式：1、用HttpClient模擬請求html 獲取html源碼；2、用jsoup方法抓取解析網頁數據
第二種方式：1、用HttpClient模擬請求html 獲取html源碼；2、用正則抓取解析網頁數據
有很多種方式能夠獲取html源碼，源碼獲取到了數據解析就很容易了。你可以網路一下有很多
㈤ 誰能告訴我怎麼才能把視頻從網站上面扒下來啊~~~
如果你用的瀏覽器非大眾的，需要手動設置，在「下載」菜單下選擇「選項」，彈出配置窗口中選擇「常規」-「捕獲以下瀏覽器的下載行為」-「添加瀏覽器」-「確定」。
㈥ [求助] python 如何爬取 網頁上調用JS函數打開的視頻鏈接
selenium + phantomjs 模擬點擊按鈕，或者另寫代碼實現js函數openVideo()；
順著第一步再去解析新頁面，看看能否找到視頻的原始地址；
假設視頻的原始地址第二步找到了，在通過視頻的原始地址下載視頻就OK啦。
㈦ 怎麼提取網頁上的視頻，求指教…
你把視頻播放完成後，下載IE廢客這個工具，一般主流網站是FLV格式
你設置後主機點擊提取找到你想要的視頻。保存即可!游戲網站一般是mp4格式
㈧ 如何提取網站里的視頻
1.右鍵滑鼠-審查元素.點擊「Network」然後刷新頁面.這時候下面的圖片、視頻就會按照從小到大排列。
2.這時候就可以看見要找到的視頻文件出來了，右鍵點擊，然後選擇「Open link in new tab」。
3.這時候會在新的頁面播放視頻，在視頻頁面中右鍵點擊，在彈出的選項框中選擇「視頻另存為」。就會彈出下載任務了。
㈨ 怎麼扒網頁上的視頻
1、打開手機，找到手機裡面常用的瀏覽器，這里以XX瀏覽器為例
(9)怎麼爬取反爬取網站上的視頻擴展閱讀：
1、視頻格式主要有rm，rmvb，mpeg1－4 mov mtv dat wmv avi 3gp amv dmv flv，這類格式可是影像陣營中的一個大家族，也是我們平時所見到的最普遍的一種視頻格式。
2、衍生出來的格式尤其多，包括以mpg、mpe、mpa、m15、m1v、mp2等等為後綴名的視頻文件都是出自這一家族。
3、MPEG格式包括MPEG視頻、MPEG音頻和MPEG系統（視頻、音頻同步）三個部分，M（MPEG－3）音頻文件就是MPEG音頻的一個典型應用；視頻方面則包括MPEG－1、MPEG－2和MPEG4。
㈩ 如何爬取別人網站的視頻資源放到自己的網站
通過視頻的URL，使用KeepVid能從YouTube獲取到視頻文件，而且提供多種格式的視頻文件形式下載。
目前支持的視頻網站有(其中就有我朝的tudou)：
youtube.com（youtu.be）
megavideo.com
dailymotion.com
twitvid.com
tudou.com
videoweed.es
stagevu.com
vbox7.com
zshare.net
v.9you.com
altervideo.net
clip.vn
divxstage.eu
Java applet做的，研究研究對你應該有幫助。
KeepVidDownloader.java