① 請問大家，我在搜索引擎上搜索網址顯示的網站名稱123我實際的是333這種怎修改。爬蟲已經錄入了嗎
這個你是修改不了的，這個是網路定期抓取的，顯示他資料庫裡面的快照信息。看你是新網站還是看網站，新網站就比較慢了，可能等幾個月才能修改過來。網路經常爬取的老網站更改的比較快。另外這次改好以後就不要總改標題了，對排名不好。
② 怎麼讓爬蟲和用戶訪問網站時，給他們出不同頁面
這玩意兒不好防，除非你收費。
③ 為什麼我的網站設置了robots.txt協議，搜索引擎還是能夠抓取的到
網路上的也未必全是對的，多參考一下相關的資料，或許就能夠找到原因了 查看原帖>>
④ 如何應付重度反爬蟲的網站
可以試試前嗅的ForeSpider採集系統。像很多重度反爬蟲的網站都能采，比如企業信息公示系統、自然基金會網站、58同城的電話號碼什麼的。
ForeSpider數據採集系統具備全面的採集范圍、精準的數據精度、絕佳的抓取性能、簡易的可視化操作、智能的自動化採集，使企業能夠以很少的人工成本，快速獲取互聯網中結構化或非結構化的數據。
軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。軟體首創了面向對象的爬蟲腳本語言系統，如果有通過可視化採集不到的內容，都可以通過簡單幾行代碼，實現強大的腳本採集。軟體同時支持正則表達式操作，可以通過可視化、正則、腳本任意方式，實現對數據的清洗、規范。
台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
一．軟體可以採集的范圍：
1.登錄和cookie
支持自動登錄，自動獲取cookie信息。
2.驗證碼
接入第三方打碼平台，最多3秒自動返回大碼結果。
3.搜索欄檢索
支持各種搜索欄檢索關鍵詞，可批量導入數十萬關鍵詞。
4.各種協議
支持http、https、各類APP的協議等。
5.JavaScript和Ajax動態生成的內容
支持所有JavaScript生成的動態內容。
6.IP代理
支持IP代理，不用擔心封鎖IP。
7.post請求和OAuth認證
支持post請求和OAuth認證的網頁。
8.搜索引擎全網數據挖掘
可以通過一個模板，採集搜索引擎，挖掘所需數據。
二．軟體不能採集的范圍：
1.非公開數據
網路爬蟲技術是一種批量數據下載技術，不是黑客技術，只能採集前端瀏覽器上能顯示的數據內容，對於網站的伺服器後端數據，如用戶數據等，是不能採集的。
對於需要賬號登錄才能查看的內容，如果您有賬號可以登錄，是可以採集該賬號下可見數據的；對於其他賬號下的內容，也同樣不能夠採集。
2.需要手機掃碼的數據
對於需要掃碼後才能顯示的數據，無法實現批量採集。
3.對於賬號有許可權限制的數據
有些網站限制一個登陸賬號一天只能查看x條數據，如果用戶沒有多餘的賬號，是無法突破這樣的限制的。
⑤ 可以用爬蟲來獲取一些網站的內容，那麼一些網站會做反爬蟲程序么難做么會對搜索引擎造成什麼影響
正規情況下可以用robots協議阻止搜索引擎爬取網站
但並不是所有的搜索引擎都遵循robots協議(某些知名搜索引擎也不遵守，該協議不是強制遵循的)
一般反爬蟲的程序最簡單的方法就是通過UserAgent識別爬蟲，但並不是所有爬蟲都有明確的UserAgent，還有些不知名的搜索引擎不設置自己獨有的UserAgent，同時UserAgent也可以被任意的偽造，所以並不能保證完全過濾一些爬蟲。
為了更進一步識別爬蟲，只能通過限制某個IP的訪問，如果IP在變化也很難阻止其爬行，僅能根據一些訪問行為進行分析是否為爬蟲自動抓取，如果是爬蟲，則可以用一個403返回碼阻止網頁的顯示。這樣搜索引擎抓到的頁面都是403錯誤頁面，具體內容無法抓取。
如果有人專門想要抓取你的網站內容，它可以專門定製一種策略來想辦法模擬人工訪問，很難做到徹底阻止。
⑥ 怎麼對付「反爬蟲檢測的網站」
你用一個能爬到反爬蟲網站的軟體不就得了，我知道有一個叫ForeSpider的就可以通過寫他們自己的爬蟲腳本語言，就可以採集到所有復雜的網站，包括反爬蟲的網站。
⑦ 360從什麼時候開始違反robots協議的
2012年9月左右
中廣網北京9月7日消息（記者庄勝春）據中國之聲《央廣新聞》報道，近日，有報道稱360違反Robots協議抓取網站信息，並通過瀏覽器收集隱私數據。這種行為被指不顧行業規則底線，引起業內人士的熱議。
有報道說，由於360搜索並不遵守搜索引擎通用的Robots協議，也就是爬蟲協議，導致很多網站出於安全和隱私的考慮，不允許搜索引擎抓取的一些內網信息也泄漏在了360搜索上，這些隱私甚至可能包括銀行帳號、密碼、內部郵件等一些信息。而原本這個爬蟲協議是指，網站通過Robots網站告訴引擎哪些頁面是可以抓取的，哪些頁面是不能抓取的。這個協議也是行業通行的規則，主要依靠搜索引擎來自覺遵守。
部分網友根據這樣的線索進行了求證，發現該情況確實存在。有網友表示，公司原本需要動態口令訪問的內部網站現在也被360搜索抓取了，這到底是怎麼回事？業內人士專家分析，這可能是公司內部有人用360瀏覽器導致的。
其實從360和網路的這場「3B大戰」開始，就有很多網路的合作機構要求內部員工卸載360瀏覽器，近日一些網友也在微博發出這樣的號召，因為隱私問題成為大家比較大的擔憂。
以往因為有Robots協議的存在，在網路或者谷歌中進行搜索的時候不會反饋諸如內網信息等敏感信息，所以360這樣一個打破行規的舉措引發熱議。有專家認為，今天360可以一手舉著「反壟斷」的旗號違反Robots協議，另外也可以一手舉著「用戶體驗」的旗號，通過瀏覽器來上傳用戶的隱私。這種局面如果不能得到制止的話，未來互聯網企業競爭可能會陷入混亂，用戶的網路安全可能也會受到非常大的影響。有業內人士建議，這個問題的徹底解決不僅要依靠法律制度的完善，也需要政府主管部門的有力監管。
⑧ 如何應對網站反爬蟲策略如何高效地爬大量數據
一般有一下幾種
一些常用的方法
IP代理
對於IP代理,各個語言的Native Request API都提供的IP代理響應的API, 需要解決的主要就是IP源的問題了.
網路上有廉價的代理IP(1元4000個左右), 我做過簡單的測試, 100個IP中, 平均可用的在40-60左右, 訪問延遲均在200以上.
網路有高質量的代理IP出售, 前提是你有渠道.
因為使用IP代理後, 延遲加大, 失敗率提高, 所以可以將爬蟲框架中將請求設計為非同步, 將請求任務加入請求隊列(RabbitMQ,Kafka,Redis), 調用成功後再進行回調處理, 失敗則重新加入隊列. 每次請求都從IP池中取IP, 如果請求失敗則從IP池中刪除該失效的IP.
Cookies
有一些網站是基於cookies做反爬蟲, 這個基本上就是如 @朱添一 所說的, 維護一套Cookies池
注意研究下目標網站的cookies過期事件, 可以模擬瀏覽器, 定時生成cookies
限速訪問
像開多線程,循環無休眠的的暴力爬取數據, 那真是分分鍾被封IP的事, 限速訪問實現起來也挺簡單(用任務隊列實現), 效率問題也不用擔心, 一般結合IP代理已經可以很快地實現爬去目標內容.
一些坑
大批量爬取目標網站的內容後, 難免碰到紅線觸發對方的反爬蟲機制. 所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲後, 請求返回的HttpCode為403的失敗頁面, 有些網站還會返回輸入驗證碼(如豆瓣), 所以檢測到403調用失敗, 就發送報警, 可以結合一些監控框架, 如Metrics等, 設置短時間內, 告警到達一定閥值後, 給你發郵件,簡訊等.
當然, 單純的檢測403錯誤並不能解決所有情況. 有一些網站比較奇葩, 反爬蟲後返回的頁面仍然是200的(如去哪兒), 這時候往往爬蟲任務會進入解析階段, 解析失敗是必然的. 應對這些辦法, 也只能在解析失敗的時候, 發送報警, 當告警短時間到達一定閥值, 再觸發通知事件.
當然這個解決部分並不完美, 因為有時候, 因為網站結構改變, 而導致解析失敗, 同樣回觸發告警. 而你並不能很簡單地區分, 告警是由於哪個原因引起的.
⑨ 網站的robots協議是禁止搜索引擎收錄網站，那搜索網站名稱還可以搜到網站么
如果 robots禁止了 搜索引擎收錄，理論上是不會出現在搜索結果裡面的，除非你的網站非常有名氣。網路會破例加入到搜索結果，比如淘寶就是禁止抓取了，仍然顯示在搜索結果。
⑩ 分別查找出以下網站的Robots協議，寫出每個網站的Robots協議地址並每
域名/robots.txt就是網站的Robots協議，可以查詢想要查詢的網站的Robots協議