㈠ 如何应对网站反爬虫策略如何高效地爬大量数据
一、构建合理的HTTP请求头
HTTP的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。由于浏览器和Python爬虫发送的请求头不同，有可能被反爬虫检测出来。
二、设置cookie的学问
Cookie是一把双刃剑，有它不行，没它更不行。网站会通过cookie跟踪你的访问过程，如果发现你有爬虫行为会立刻中断你的访问，比如你特别快的填写表单，或者短时间内浏览大量页面。而正确地处理cookie，又可以避免很多采集问题，建议在采集网站过程中，检查一下这些网站生成的cookie，然后想想哪一个是爬虫需要处理的。
三、正常的时间访问路径
合理控制采集速度，是Python爬虫不应该破坏的规则，尽量为每个页面访问时间增加一点儿间隔，可以有效帮助你避免反爬虫。
四、使用http
对于分布式爬虫和已经遭遇反爬虫的人来说，使用http将成为你的首选。Ipidea分布地区广，可满足分布式爬虫使用需要。支持api提取，对Python爬虫来说再适合不过。
㈡ 如何用最简单的Python爬虫采集整个网站
采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。
㈢ 怎么爬取网页上的表格数据，导入到office的Excel或者Word文档中呢
关于怎么爬取网上的信息，有时候我们经常在网页上看到很多表格数据，有些不能直接复制粘贴到文档或者Excel表格中，有些能复制但是格式会发生很多错乱，要是信息量大的话，修改格式都是一项大工程了。
举个例子，之前有同学在网上看到一个表格数据：
要是我们直接复制很难把表格格式也复制进去，尤其对于一些每天都在变化的数据，也不能同步更新数据。
所以我们可以把网页的数据用Excel表格， 导入网页的链接实现表格数据爬取，同步自动更新表格数据
首先我们需要复制表格数据所在网页的链接
然后打开Excel表格。
注意：Excel表格需要2016以上的版本才可以。
然后把我们刚才复制好的数据所在网页链接粘贴进去，按确定
稍等片刻，就会自动获取网页所有表格数据，我们找到我们需要获取的数据表格，然后点击加载进Excel表格中。
加载到Excel表格中后，我们可以对外部数据进行编辑等其他参数调整
因为是直接获取外部的链接数据，所以要是外部数据变化，我们也可以设置自定数据更新。
在表格属性设计中找到刷新选项的查看链接属性，然后可以自定义设置一些自动更新时间。
如下动态图演示：
同时我们可以直接复制进Word文档中，选择性粘贴保留原格式，那么也可以跟Excel和网页数据实现同步更新了