1. 怎麼讓百度蜘蛛不去爬行網站內的鏈接
首先說，別說讓網路蜘蛛每個時間段都來，就算是讓他每天都來都很難，如果你能持續做到後者，那證明你做得很不錯了。樓主的站應該是新站吧，通常做得還可以的新站，上線初期網路會有一段時間比較關注，網路蜘蛛來的比較勤快，但是過一段時間之後，頻率就會明顯降低，這是很正常的現象，而至於排名的波動，也是很正常的，偶爾獲得較高的排名並不能代表網站的真實排名。用心做站，堅持原創更新，做好外鏈，排名會上去的
2. 可以阻止百度蜘蛛爬取網站其中一個內頁嗎
很簡單，你可以在你的網站根目錄做一個robots.txt的文件，然後禁止蜘蛛爬行你那個內頁，具體的用法你可以搜網路查一下，很簡單的。
3. 怎麼才能讓蜘蛛不抓取整個網站
Robots.txt 是存放在站點根目錄下的一個純文本文件。雖然它的設置很簡單，但是作用卻很強大。它可以指定搜索引擎蜘蛛只抓取指定的內容，或者是禁止搜索引擎蜘蛛抓取網站的部分或全部內容。
使用方法:
Robots.txt 文件應該放在網站根目錄下，並且該文件是可以通過互聯網進行訪問的。
例如：如果您的網站地址是 http://www..com/那麼，該文件必須能夠通過 http://www..com/robots.txt 打開並看到裡面的內容。
格式：
User-agent:
用於描述搜索引擎蜘蛛的名字，在" Robots.txt "文件中，如果有多條User-agent記錄說明有多個搜索引擎蜘蛛會受到該協議的限制，對該文件來說，至少要有一條User-agent記錄。如果該項的值設為*，則該協議對任何搜索引擎蜘蛛均有效，在" Robots.txt "文件中，"User-agent:*"這樣的記錄只能有一條。
Disallow:
用於描述不希望被訪問到的一個URL，這個URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會被Robot訪問到。
舉例：
例一："Disallow:/help"是指/help.html 和/help/index.html都不允許搜索引擎蜘蛛抓取。
例二："Disallow:/help/"是指允許搜索引擎蜘蛛抓取/help.html，而不能抓取/help/index.html。
例三：Disallow記錄為空說明該網站的所有頁面都允許被搜索引擎抓取，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"是一個空文件，則對於所有的搜索引擎蜘蛛，該網站都是開放的可以被抓取的。
#:Robots.txt 協議中的注釋符。
綜合例子 ：
例一：通過"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目錄，以及 "/tmp/"目錄和 /foo.html 文件，設置方法如下：
User-agent: *
Disallow: /bin/cgi/
Disallow: /tmp/
Disallow: /foo.html
例二：通過"/robots.txt"只允許某個搜索引擎抓取，而禁止其他的搜索引擎抓取。如：只允許名為"slurp"的搜索引擎蜘蛛抓取，而拒絕其他的搜索引擎蜘蛛抓取 "/cgi/" 目錄下的內容，設置方法如下：
User-agent: *
Disallow: /cgi/
User-agent: slurp
Disallow:
例三：禁止任何搜索引擎抓取我的網站，設置方法如下：
User-agent: *
Disallow: /
例四：只禁止某個搜索引擎抓取我的網站如：只禁止名為「slurp」的搜索引擎蜘蛛抓取，設置方法如下：
User-agent: slurp
Disallow: /
4. 如何阻止百度baidu爬蟲和谷歌蜘蛛抓取網站內容
如果不希望網路或 Google抓取網站內容，就需要在伺服器的根目錄中放入一個 robots.txt 文件，其內容如下：
User-Agent: *
Disallow: /
這是大部份網路漫遊器都會遵守的標准協議，加入這些協議後，它們將不會再漫遊您的網路伺服器或目錄。
Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是「網路爬蟲排除標准」（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
實例分析：淘寶網的 Robots.txt文件
User-agent: Baispider
Disallow: /
User-agent: spider
Disallow: /
很顯然淘寶不允許網路的機器人訪問其網站下其所有的目錄。
5. 如何禁止蜘蛛抓取動態頁面
User-agent: *
其中有些命令是禁止抓取一些不必要的內容，以免防止蜘蛛抓取過度分散，網站權重也不會過於分散，這樣有利於網路收錄，更有利於讓部分內容更得以搜索引擎的重視：
User-agent: *
Disallow: /wp-
Allow: /wp-content/uploads/
Disallow: /feed
Disallow: /*/*/feed
Disallow: /trackback
Disallow: /*/*/trackback
Disallow: /index.php/
Disallow: /*.php$
Disallow: /*.css$
Disallow: /date/
6. 如何屏蔽網站蜘蛛的訪問
我的網站建好後什麼結構與內容都沒有確定好之前，我怎麼去屏蔽搜索引擎蜘蛛不來訪問我的網站，不收錄我的網站，這樣才不會給我的網站造成損失，其實這樣的問題再網路也有很多種回答，可能是由於答案太多太亂的緣故，有很多的人都找不到比較權威的回答，前面我們在文章里講到一些新手SEO推廣建站需注意的問題裡面沒有講到關於屏蔽蜘蛛的這一項，現在為大家介紹一下，總體的給大家歸納一下吧！在這里給大家介紹兩種方法，如下：一、創建robots.txt文件，並將文件放置在網站根目錄。 文件的內容如下： 1、禁止所有搜索引擎訪問網站的任何部分 User-agent: * Disallow: / 大家知道為什麼要創建一個robots.txt的文件嗎，也許有很多的都知道建立這個文件就可以屏蔽蜘蛛的訪問，不讓搜索引擎抓取到自己的網站。在這里我想告訴你的是，不管任何的搜索引擎他來到了你的網站。首先訪問的就是你的robots.txt日誌文件，當你在robots.txt里設置許可權不讓搜索引擎訪問，那麼蜘蛛也會遵守互聯網的協議進行返回，這就是為什麼我們要建立robots.txt文析的原因。 二、在模版的header.php的文件時添加一段代碼，因為蜘蛛來到你的網站是由上到下訪問的，所以剛開始訪問到的肯定是從header<頂部>開始抓取。所以如果我們在頂部里設置好屏蔽蜘蛛的訪問代碼後，蜘蛛也會跟第一條一樣遵守協議返回。屏蔽蜘蛛訪問代碼如下：<meta name=」Robots」 content=」noindex,nofollow」> 通過以上兩種方法的話，我們基本上可以屏蔽搜索引擎蜘蛛訪問到我們的網站，這樣我們就可以去安心的做好網站的結構與內容之後再開放蜘蛛的訪問。
7. 百度蜘蛛總是爬行網站的圖片怎麼辦
網路的所有爬行都盡量不要屏蔽，一定不要阻止蜘蛛抓取圖片，更新文章有規律就好，比如你上午更新，那麼你就盡量一直在這個時間段，最好是原創。至於你說的那個情況，正常工作就好，不用去管它，太正常了，無論你做的好於不好，都太正常了。
8. 怎樣預防百度蜘蛛不來網站，解決蜘蛛不訪問網站
那是要看你的網站是否有原創內容，是否有大量不同ip每天訪問的，你可以去網上下載「超強點擊貓」這款軟體，通過超強點擊貓的自動換ip刷流量功能，能大大提高你的網站真實ip流量！而且超強點擊貓這款軟體還能做各類群發廣告功能，如qq批量群發等，幫助你的網站做廣告營銷！
9. 如何屏蔽百度蜘蛛爬網站的某些網頁呢。
可以使用robots協議。
參考信息：網頁鏈接
10. 網站被攻擊，百度蜘蛛訪問全都都是死鏈怎麼解決
1、找到漏洞，補漏洞。
2、垃圾頁面的URl是否有規律性或者跟正常文章的URL不一樣，如果不一樣，或者有一定的規律性，直接robots屏蔽掉。
3、之前我們網站被注入了幾萬條的垃圾頁面，處理方法也是同上，另外，網路站長工具中每天檢查蜘蛛抓取異常，出現404頁面第一時間提交即可。