㈠ 如何爬取别人网站的视频资源放到自己的网站
通过视频的URL，使用KeepVid能从YouTube获取到视频文件，而且提供多种格式的视频文件形式下载。
目前支持的视频网站有(其中就有我朝的tudou)：
youtube.com（youtu.be）
megavideo.com
dailymotion.com
twitvid.com
tudou.com
videoweed.es
stagevu.com
vbox7.com
zshare.net
v.9you.com
altervideo.net
clip.vn
divxstage.eu
Java applet做的，研究研究对你应该有帮助。
KeepVidDownloader.java
㈡ 如何批量抓取网站文件（所有文件名都在Excel表格里）
楼上131681320的方法不错, 但要将文件每个都打开一次, 如果文件多, 不好操作.
看我的:
利用你的EXCEL的字符连接功能生成一个新行, 里面的每一行写成
<img src="https://gss0.bdstatic.com/70cFsjip0QIZ8tyhnq/img/logo-.gif">
<img src="https://gss0.bdstatic.com/70cFsjip0QIZ8tyhnq/img/logo-.gif">
<img src="https://gss0.bdstatic.com/70cFsjip0QIZ8tyhnq/img/logo-.gif">
的形式, 然后复制这些行到写字板并另存为一个 .HTM 文件.
断开网络, 打开这个文件之后, 你所有的图片将会被尝试依次打开.
但因为没有网络, 所以此时没有图片内容显示出来.
高招来了!
右键点页面的空白处, 选择"用迅雷下载全部链接".
啊哈, 连上网络, 点确定, 搞定.
如果对EXCEL生成HTM文件有困难, 可以HI我.
㈢ 如何抓取网站的js文件
太简单了，先清空网页缓存文件夹，windows XP默认：
C:\Documents and Settings\Administrator\Local Settings\Temporary Internet Files
然后，用IE浏览器打开你要的网站，再回去看看，什么HTML JS CSS flash 图片都在里面了，你所有的东西出来自己慢慢研究吧。
㈣ 如何通过wireshark抓取某个指定网站的数据包
运行wireshark软件，选择无线网络连接，点击start，进入捕包界面，在filter（过滤器）的方框中，输入http。 点击右侧的apply（应用），就能捕获指定的网站数据包。
㈤ 请问怎么通过python爬虫获取网页中的pdf文件
首先把链接URL爬取出来，然后get流下载pdf文件，再用pdf模块来读取它。
㈥ 各位python达人，怎样写一个爬取网站目录的
如果你要的数据量很小的话，python2自带的urllib2写爬虫就可以，如果你要的数据量比较大，就需要专门的爬虫框架scrapy了。
一个爬虫，你首先要分析你要爬取的网页的页面结构，也就是你需要知道在DOM树种你要的元素在哪，然后用能操作DOM的包，比如beautifulsoup或者xpath等，解析DOM，获取你想要的值，然后保存起来
㈦ 搜索引擎如何对网站进行爬行和抓取
当搜索引擎蜘蛛准备爬行某个网页的时候，会对服务器发出访问申请，申请通过后，搜索引擎会先去爬行网站的robots.txt文件，针对robots.txt文件中所禁止搜索引擎抓取的局部，搜索引擎将不会去抓取。接着服务器就会给搜索引擎返回当前页面的html代码，现在有很多的站长工具中都会有模仿蜘蛛抓取网页代码的功能，大家有兴趣可以去查询，这里值得注意的就是页面代码中汉字所占的比例，因为搜索引擎在预处置阶段会把汉字局部筛选进去分析网页的内容和关键词，汉字所占比例越多说明网页返回的有效信息越多，越有利于搜索引擎对页面的分析。这也就是为什么大家在编写网站代码的时候，会对CSS和Javascript代码进行外部调用，对图片要添加alt属性，对链接要添加titl属性的缘故，都是为了降低页面代码所占的比例，提高文字所占比例，当然相关性也是一方面。
搜索引擎爬行网页都是沿着链接进行爬行的爬行网页的时候并不是一个蜘蛛在爬行，一般都是由多个蜘蛛进行爬行，爬行的方式有两种，一种是深度爬行，一种是广度爬行，两种方式都可以爬遍一个网站的所有链接，通常都是两种方式并行的但实际上由于资源的限制，搜索引擎并不会爬遍一个网站的所有链接。
既然搜索引擎不可能爬遍整个网站的所有链接，那么作为seo人员来说，接下来的工作就是要吸引蜘蛛尽可能多的去爬行网站链接，为蜘蛛的爬行发明轻松便当的环境，尤其是针对一些重要的链接，那么对于一个网站来说如何去吸引蜘蛛呢？影响蜘蛛爬行的因素有哪些呢？
1.网站的权重
一个权重高的网站，蜘蛛往往会爬行的很深，关于如何提高网站的权重。
2.页面是否经常更新
这是一个老生常谈的问题了虽然网站的更新和维护工作异常的辛苦，但是没办法，人家搜索引擎就喜欢新鲜的血液，如果网站的更新比较勤快的话，搜索引擎自然来的也勤快，来的多了新链接被抓取的几率当然也就大了
3.高质量导入链接
一个页面的导入链接相当于页面的入口，原理很简单，导入链接多了搜索引擎进入你网页的渠道也就多了如果是一条高质量的导入链接，那么搜索引擎对网页链接爬行的深度也会增加。
4.与首页距离越近的链接，被爬行的几率越大
一个网站的首页是权重最高的那么距离它越近的页面，被赋予的权重也会越高，被蜘蛛爬行的几率当然越大，这是网站seo优化中常用到一个就近原理，可以应用到很多方面，比如网站的主导航中第一个栏目比最后一个栏目的权重高，距离锚文本越近的文字是搜索引擎重点照顾的地方等等。
当搜索引擎对页面进行抓取之后，会将页面中的链接解析出来，通过与地址库中的链接进行匹配对比分析，将没有进行爬行的新链接放入到待访问地址库，然后派出蜘蛛对新链接进行爬行。
搜索引擎对网页进行爬行和抓取的时候，并不是进行简单的爬行和抓取工作，而是同时并发有大量的其他操作，其中很重的一项工作就是对网页内容进行检测，通过截取网页上的内容与数据库中的信息做对比，如果是一些权重比较低的网站出现大量转载或者伪原创，可能蜘蛛爬行到一半就会离开，这也就是为什么通过网站日志看到有蜘蛛来，但是页面没被收录的原因。所以说，即使是进行伪原创，也是需要一定的技巧的除非你网站权重特别高。
㈧ python怎么爬取网站数据
很简单，三步，用爬虫框架scrapy
1. 定义item类
2. 开发spider类
3. 开发pipeline
如果有不会的，可以看一看《疯狂python讲义》
㈨ 百度等蜘蛛爬虫是如何发现而且抓取网站目录等文件
爬虫是跟着链接抓取的 所以网站内部结构要合理精剪 减少爬虫抓取的路径
可以把a目录去掉 有利于爬虫抓取
最重要的是网站内容要好 权重高 质量好 爬虫自然来的频率也高 那收录也会好
㈩ 如何批量抓取网页目录下的所有文件
1、首先，如图所示，我们找到目标文件夹，我们需要把文件夹内的所有文件的文件名批量复制。
