㈠ 如何爬取別人網站的視頻資源放到自己的網站
通過視頻的URL，使用KeepVid能從YouTube獲取到視頻文件，而且提供多種格式的視頻文件形式下載。
目前支持的視頻網站有(其中就有我朝的tudou)：
youtube.com（youtu.be）
megavideo.com
dailymotion.com
twitvid.com
tudou.com
videoweed.es
stagevu.com
vbox7.com
zshare.net
v.9you.com
altervideo.net
clip.vn
divxstage.eu
Java applet做的，研究研究對你應該有幫助。
KeepVidDownloader.java
㈡ 如何批量抓取網站文件（所有文件名都在Excel表格里）
樓上131681320的方法不錯, 但要將文件每個都打開一次, 如果文件多, 不好操作.
看我的:
利用你的EXCEL的字元連接功能生成一個新行, 裡面的每一行寫成
<img src="https://gss0.bdstatic.com/70cFsjip0QIZ8tyhnq/img/logo-.gif">
<img src="https://gss0.bdstatic.com/70cFsjip0QIZ8tyhnq/img/logo-.gif">
<img src="https://gss0.bdstatic.com/70cFsjip0QIZ8tyhnq/img/logo-.gif">
的形式, 然後復制這些行到寫字板並另存為一個 .HTM 文件.
斷開網路, 打開這個文件之後, 你所有的圖片將會被嘗試依次打開.
但因為沒有網路, 所以此時沒有圖片內容顯示出來.
高招來了!
右鍵點頁面的空白處, 選擇"用迅雷下載全部鏈接".
啊哈, 連上網路, 點確定, 搞定.
如果對EXCEL生成HTM文件有困難, 可以HI我.
㈢ 如何抓取網站的js文件
太簡單了，先清空網頁緩存文件夾，windows XP默認：
C:\Documents and Settings\Administrator\Local Settings\Temporary Internet Files
然後，用IE瀏覽器打開你要的網站，再回去看看，什麼HTML JS CSS flash 圖片都在裡面了，你所有的東西出來自己慢慢研究吧。
㈣ 如何通過wireshark抓取某個指定網站的數據包
運行wireshark軟體，選擇無線網路連接，點擊start，進入捕包界面，在filter（過濾器）的方框中，輸入http。 點擊右側的apply（應用），就能捕獲指定的網站數據包。
㈤ 請問怎麼通過python爬蟲獲取網頁中的pdf文件
首先把鏈接URL爬取出來，然後get流下載pdf文件，再用pdf模塊來讀取它。
㈥ 各位python達人，怎樣寫一個爬取網站目錄的
如果你要的數據量很小的話，python2自帶的urllib2寫爬蟲就可以，如果你要的數據量比較大，就需要專門的爬蟲框架scrapy了。
一個爬蟲，你首先要分析你要爬取的網頁的頁面結構，也就是你需要知道在DOM樹種你要的元素在哪，然後用能操作DOM的包，比如beautifulsoup或者xpath等，解析DOM，獲取你想要的值，然後保存起來
㈦ 搜索引擎如何對網站進行爬行和抓取
當搜索引擎蜘蛛准備爬行某個網頁的時候，會對伺服器發出訪問申請，申請通過後，搜索引擎會先去爬行網站的robots.txt文件，針對robots.txt文件中所禁止搜索引擎抓取的局部，搜索引擎將不會去抓取。接著伺服器就會給搜索引擎返回當前頁面的html代碼，現在有很多的站長工具中都會有模仿蜘蛛抓取網頁代碼的功能，大家有興趣可以去查詢，這里值得注意的就是頁面代碼中漢字所佔的比例，因為搜索引擎在預處置階段會把漢字局部篩選進去分析網頁的內容和關鍵詞，漢字所佔比例越多說明網頁返回的有效信息越多，越有利於搜索引擎對頁面的分析。這也就是為什麼大家在編寫網站代碼的時候，會對CSS和Javascript代碼進行外部調用，對圖片要添加alt屬性，對鏈接要添加titl屬性的緣故，都是為了降低頁面代碼所佔的比例，提高文字所佔比例，當然相關性也是一方面。
搜索引擎爬行網頁都是沿著鏈接進行爬行的爬行網頁的時候並不是一個蜘蛛在爬行，一般都是由多個蜘蛛進行爬行，爬行的方式有兩種，一種是深度爬行，一種是廣度爬行，兩種方式都可以爬遍一個網站的所有鏈接，通常都是兩種方式並行的但實際上由於資源的限制，搜索引擎並不會爬遍一個網站的所有鏈接。
既然搜索引擎不可能爬遍整個網站的所有鏈接，那麼作為seo人員來說，接下來的工作就是要吸引蜘蛛盡可能多的去爬行網站鏈接，為蜘蛛的爬行發明輕松便當的環境，尤其是針對一些重要的鏈接，那麼對於一個網站來說如何去吸引蜘蛛呢？影響蜘蛛爬行的因素有哪些呢？
1.網站的權重
一個權重高的網站，蜘蛛往往會爬行的很深，關於如何提高網站的權重。
2.頁面是否經常更新
這是一個老生常談的問題了雖然網站的更新和維護工作異常的辛苦，但是沒辦法，人家搜索引擎就喜歡新鮮的血液，如果網站的更新比較勤快的話，搜索引擎自然來的也勤快，來的多了新鏈接被抓取的幾率當然也就大了
3.高質量導入鏈接
一個頁面的導入鏈接相當於頁面的入口，原理很簡單，導入鏈接多了搜索引擎進入你網頁的渠道也就多了如果是一條高質量的導入鏈接，那麼搜索引擎對網頁鏈接爬行的深度也會增加。
4.與首頁距離越近的鏈接，被爬行的幾率越大
一個網站的首頁是權重最高的那麼距離它越近的頁面，被賦予的權重也會越高，被蜘蛛爬行的幾率當然越大，這是網站seo優化中常用到一個就近原理，可以應用到很多方面，比如網站的主導航中第一個欄目比最後一個欄目的權重高，距離錨文本越近的文字是搜索引擎重點照顧的地方等等。
當搜索引擎對頁面進行抓取之後，會將頁面中的鏈接解析出來，通過與地址庫中的鏈接進行匹配對比分析，將沒有進行爬行的新鏈接放入到待訪問地址庫，然後派出蜘蛛對新鏈接進行爬行。
搜索引擎對網頁進行爬行和抓取的時候，並不是進行簡單的爬行和抓取工作，而是同時並發有大量的其他操作，其中很重的一項工作就是對網頁內容進行檢測，通過截取網頁上的內容與資料庫中的信息做對比，如果是一些權重比較低的網站出現大量轉載或者偽原創，可能蜘蛛爬行到一半就會離開，這也就是為什麼通過網站日誌看到有蜘蛛來，但是頁面沒被收錄的原因。所以說，即使是進行偽原創，也是需要一定的技巧的除非你網站權重特別高。
㈧ python怎麼爬取網站數據
很簡單，三步，用爬蟲框架scrapy
1. 定義item類
2. 開發spider類
3. 開發pipeline
如果有不會的，可以看一看《瘋狂python講義》
㈨ 百度等蜘蛛爬蟲是如何發現而且抓取網站目錄等文件
爬蟲是跟著鏈接抓取的 所以網站內部結構要合理精剪 減少爬蟲抓取的路徑
可以把a目錄去掉 有利於爬蟲抓取
最重要的是網站內容要好 權重高 質量好 爬蟲自然來的頻率也高 那收錄也會好
㈩ 如何批量抓取網頁目錄下的所有文件
1、首先，如圖所示，我們找到目標文件夾，我們需要把文件夾內的所有文件的文件名批量復制。
