① 请问大家，我在搜索引擎上搜索网址显示的网站名称123我实际的是333这种怎修改。爬虫已经录入了吗
这个你是修改不了的，这个是网络定期抓取的，显示他数据库里面的快照信息。看你是新网站还是看网站，新网站就比较慢了，可能等几个月才能修改过来。网络经常爬取的老网站更改的比较快。另外这次改好以后就不要总改标题了，对排名不好。
② 怎么让爬虫和用户访问网站时，给他们出不同页面
这玩意儿不好防，除非你收费。
③ 为什么我的网站设置了robots.txt协议，搜索引擎还是能够抓取的到
网络上的也未必全是对的，多参考一下相关的资料，或许就能够找到原因了 查看原帖>>
④ 如何应付重度反爬虫的网站
可以试试前嗅的ForeSpider采集系统。像很多重度反爬虫的网站都能采，比如企业信息公示系统、自然基金会网站、58同城的电话号码什么的。
ForeSpider数据采集系统具备全面的采集范围、精准的数据精度、绝佳的抓取性能、简易的可视化操作、智能的自动化采集，使企业能够以很少的人工成本，快速获取互联网中结构化或非结构化的数据。
软件几乎可以采集互联网上所有公开的数据，通过可视化的操作流程，从建表、过滤、采集到入库一步到位。软件首创了面向对象的爬虫脚本语言系统，如果有通过可视化采集不到的内容，都可以通过简单几行代码，实现强大的脚本采集。软件同时支持正则表达式操作，可以通过可视化、正则、脚本任意方式，实现对数据的清洗、规范。
台式机单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机集群环境的采集能力可达8亿-16亿，日采集能力超过4000万。并行情况下可支撑百亿以上规模数据链接，堪与网络等搜索引擎系统媲美。
一．软件可以采集的范围：
1.登录和cookie
支持自动登录，自动获取cookie信息。
2.验证码
接入第三方打码平台，最多3秒自动返回大码结果。
3.搜索栏检索
支持各种搜索栏检索关键词，可批量导入数十万关键词。
4.各种协议
支持http、https、各类APP的协议等。
5.JavaScript和Ajax动态生成的内容
支持所有JavaScript生成的动态内容。
6.IP代理
支持IP代理，不用担心封锁IP。
7.post请求和OAuth认证
支持post请求和OAuth认证的网页。
8.搜索引擎全网数据挖掘
可以通过一个模板，采集搜索引擎，挖掘所需数据。
二．软件不能采集的范围：
1.非公开数据
网络爬虫技术是一种批量数据下载技术，不是黑客技术，只能采集前端浏览器上能显示的数据内容，对于网站的服务器后端数据，如用户数据等，是不能采集的。
对于需要账号登录才能查看的内容，如果您有账号可以登录，是可以采集该账号下可见数据的；对于其他账号下的内容，也同样不能够采集。
2.需要手机扫码的数据
对于需要扫码后才能显示的数据，无法实现批量采集。
3.对于账号有权限限制的数据
有些网站限制一个登陆账号一天只能查看x条数据，如果用户没有多余的账号，是无法突破这样的限制的。
⑤ 可以用爬虫来获取一些网站的内容，那么一些网站会做反爬虫程序么难做么会对搜索引擎造成什么影响
正规情况下可以用robots协议阻止搜索引擎爬取网站
但并不是所有的搜索引擎都遵循robots协议(某些知名搜索引擎也不遵守，该协议不是强制遵循的)
一般反爬虫的程序最简单的方法就是通过UserAgent识别爬虫，但并不是所有爬虫都有明确的UserAgent，还有些不知名的搜索引擎不设置自己独有的UserAgent，同时UserAgent也可以被任意的伪造，所以并不能保证完全过滤一些爬虫。
为了更进一步识别爬虫，只能通过限制某个IP的访问，如果IP在变化也很难阻止其爬行，仅能根据一些访问行为进行分析是否为爬虫自动抓取，如果是爬虫，则可以用一个403返回码阻止网页的显示。这样搜索引擎抓到的页面都是403错误页面，具体内容无法抓取。
如果有人专门想要抓取你的网站内容，它可以专门定制一种策略来想办法模拟人工访问，很难做到彻底阻止。
⑥ 怎么对付“反爬虫检测的网站”
你用一个能爬到反爬虫网站的软件不就得了，我知道有一个叫ForeSpider的就可以通过写他们自己的爬虫脚本语言，就可以采集到所有复杂的网站，包括反爬虫的网站。
⑦ 360从什么时候开始违反robots协议的
2012年9月左右
中广网北京9月7日消息（记者庄胜春）据中国之声《央广新闻》报道，近日，有报道称360违反Robots协议抓取网站信息，并通过浏览器收集隐私数据。这种行为被指不顾行业规则底线，引起业内人士的热议。
有报道说，由于360搜索并不遵守搜索引擎通用的Robots协议，也就是爬虫协议，导致很多网站出于安全和隐私的考虑，不允许搜索引擎抓取的一些内网信息也泄漏在了360搜索上，这些隐私甚至可能包括银行帐号、密码、内部邮件等一些信息。而原本这个爬虫协议是指，网站通过Robots网站告诉引擎哪些页面是可以抓取的，哪些页面是不能抓取的。这个协议也是行业通行的规则，主要依靠搜索引擎来自觉遵守。
部分网友根据这样的线索进行了求证，发现该情况确实存在。有网友表示，公司原本需要动态口令访问的内部网站现在也被360搜索抓取了，这到底是怎么回事？业内人士专家分析，这可能是公司内部有人用360浏览器导致的。
其实从360和网络的这场“3B大战”开始，就有很多网络的合作机构要求内部员工卸载360浏览器，近日一些网友也在微博发出这样的号召，因为隐私问题成为大家比较大的担忧。
以往因为有Robots协议的存在，在网络或者谷歌中进行搜索的时候不会反馈诸如内网信息等敏感信息，所以360这样一个打破行规的举措引发热议。有专家认为，今天360可以一手举着“反垄断”的旗号违反Robots协议，另外也可以一手举着“用户体验”的旗号，通过浏览器来上传用户的隐私。这种局面如果不能得到制止的话，未来互联网企业竞争可能会陷入混乱，用户的网络安全可能也会受到非常大的影响。有业内人士建议，这个问题的彻底解决不仅要依靠法律制度的完善，也需要政府主管部门的有力监管。
⑧ 如何应对网站反爬虫策略如何高效地爬大量数据
一般有一下几种
一些常用的方法
IP代理
对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了.
网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上.
网络有高质量的代理IP出售, 前提是你有渠道.
因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(RabbitMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列. 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP.
Cookies
有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套Cookies池
注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies
限速访问
像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容.
一些坑
大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制. 所以适当的告警提示爬虫失效是很有必有的.
一般被反爬虫后, 请求返回的HttpCode为403的失败页面, 有些网站还会返回输入验证码(如豆瓣), 所以检测到403调用失败, 就发送报警, 可以结合一些监控框架, 如Metrics等, 设置短时间内, 告警到达一定阀值后, 给你发邮件,短信等.
当然, 单纯的检测403错误并不能解决所有情况. 有一些网站比较奇葩, 反爬虫后返回的页面仍然是200的(如去哪儿), 这时候往往爬虫任务会进入解析阶段, 解析失败是必然的. 应对这些办法, 也只能在解析失败的时候, 发送报警, 当告警短时间到达一定阀值, 再触发通知事件.
当然这个解决部分并不完美, 因为有时候, 因为网站结构改变, 而导致解析失败, 同样回触发告警. 而你并不能很简单地区分, 告警是由于哪个原因引起的.
⑨ 网站的robots协议是禁止搜索引擎收录网站，那搜索网站名称还可以搜到网站么
如果 robots禁止了 搜索引擎收录，理论上是不会出现在搜索结果里面的，除非你的网站非常有名气。网络会破例加入到搜索结果，比如淘宝就是禁止抓取了，仍然显示在搜索结果。
⑩ 分别查找出以下网站的Robots协议，写出每个网站的Robots协议地址并每
域名/robots.txt就是网站的Robots协议，可以查询想要查询的网站的Robots协议