『壹』 Excel如何抓取網頁數據之JSON數據抓取
打開Chrome，在拉勾網搜索深圳市的「數據分析」職位，使用檢查功能查看網頁源代碼，發現拉勾網有反爬蟲機制，職位信息並不在源代碼里，而是保存在JSON的文件里，因此我們直接下載JSON，並使用字典方法直接讀取數據。
抓取網頁時，需要加上頭部信息，才能獲取所需的數據。
在搜索結果的第一頁，我們可以從JSON里讀取總職位數，按照每頁15個職位，獲得要爬取的頁數。再使用循環按頁爬取，將職位信息匯總，輸出為CSV格式。
程序運行如圖：
抓取結果如圖：
數據清洗占數據分析工作量的大頭。在拉勾網搜索深圳市的「數據分析」職位，結果得到369個職位。查看職位名稱時，發現有4個實習崗位。由於我們研究的是全職崗位，所以先將實習崗位剔除。由於工作經驗和工資都是字元串形式的區間，我們先用正則表達式提取數值，輸出列表形式。工作經驗取均值，工資取區間的四分位數值，比較接近現實。
4. 詞雲
我們將職位福利這一列的數據匯總，生成一個字元串，按照詞頻生成詞雲實現python可視化。以下是原圖和詞雲的對比圖，可見五險一金在職位福利里出現的頻率最高，平台、福利、發展空間、彈性工作次之。
5. 描述統計
可知，數據分析師的均值在14.6K，中位數在12.5K，算是較有前途的職業。數據分析散布在各個行業，但在高級層面上涉及到數據挖掘和機器學習，在IT業有長足的發展。
我們再來看工資的分布，這對於求職來講是重要的參考：
工資在10-15K的職位最多，在15-20K的職位其次。個人愚見，10-15K的職位以建模為主，20K以上的職位以數據挖掘、大數據架構為主。
我們再來看職位在各區的分布：
數據分析職位有62.9%在南山區，有25.8%在福田區，剩下少數分布在龍崗區、羅湖區、寶安區、龍華新區。我們以小窺大，可知南山區和福田區是深圳市科技業的中心。
我們希望獲得工資與工作經驗、學歷的關系，由於學歷分三類，需設置3個虛擬變數：大專、本科、碩士。多元回歸結果如下：
在0.05的顯著性水平下，F值為82.53，說明回歸關系是顯著的。t檢驗和對應的P值都小於0.05表明，工作經驗和3種學歷在統計上都是顯著的。另外，R-squared的值為0.41，說明工作經驗和學歷僅僅解釋了工資變異性的41%。這點不難理解，即使職位都叫數據分析師，實際的工作內容差異比較大，有的只是用Excel做基本分析，有的用Python、R做數據挖掘。另外，各個公司的規模和它願意開出的工資也不盡相同。而工作內容的差異和公司的大方程度是很難單憑招聘網頁上的宣傳而獲得實際數據，導致了模型的擬合優度不是很好這一現實。
『貳』 如何抓取和分析互聯網公開數據
導讀：互聯網蘊藏著豐富的公開數據資源，通過獲取這些數據，作為城市研究的輔助支撐，是未來城市研究者必備的技能之一，近期我們也會繼續介紹一些簡單有趣的公開數據分析應用。
在互聯網領域，對數據的抓取叫做「採集」，在採集工具的作用下，可以很快的抓取一個網站的整站數據，而如果這些數據能夠輔助我們的部分決策，那麼這個工具和方法值得一學。（本文中數據抓取工具為「火車頭」軟體）
西安建築科技大學城市體驗、模擬與分析實驗中心的鄭曉偉為我們分享了他在開放數據獲取方法及應用分析技術中的經驗。
開放數據（大數據）的相關基礎知識
開放數據和大數據的區別
開放數據：商業網站（大眾點評、安居客等）數據、地圖開放平台數據、社交媒體（新浪微博）數據、政府政務公開數據等。
大數據：手機信令數據、浮動車數據（例如車載GPS、公交刷卡、地鐵刷卡）等。
大數據是近似全樣本數據，而開放數據是非全樣本數據：
『叄』 如何抓取網頁數據、分析並且去除Html標簽(C#)
// 將接收到的數據增加到響應字元串中 strResponse += Encoding.ASCII.GetString(RecvBuffer, 0, nBytes); strResponse即是保存數據的字元串，此處用系統自帶的System.Text.Encoding的方法轉化 RecvBuffer，GetString的第一個參數RecvBuffer就是我們的原始數據，即包含需要解碼的位元組序列的位元組數組；第二個參數0代表第一個要解碼的位元組的索引，一般就從0開始；第三個參數nBytes為要解碼的位元組數，可以自己調整。 得到了數據的字元串形式，然後可以對網頁進行解析了（其實就是對字元串的各種操作和正則表達式的應用）。下面我以幾個例子來說明對網頁數據的解析： // 解析頁面，查找鏈接 // 此處尚需擴展，還有某些形式的鏈接不被識別 string strRef =@"(href|HREF|src|SRC|action|ACTION|Action)[ ]*=[ ]*[""'][^""'#>]+[""']"; MatchCollection matches =new Regex(strRef).Matches(strResponse); strStatus +="找到: "+matches.Count+" 個鏈接\r\n"; 上面的例子將網頁中的鏈接解析出來，strRef變數表示了正則表達式的模式，變數matches表示符合匹配的項目的集合，後面的 Regex(strRef).Matches(strResponse)就是創建正則規則使得strResponse里符合strRef模式的字元串都返回。然後調用matches的變數就可以取得各種信息了。 當然，這里只能識別一些基本的鏈接形式，像script中的鏈接和一些不帶「」的鏈接都沒有被支持，這個的擴展還是蠻簡單的。 再舉幾個更簡單點的解析的例子，大家學習學習： //獲取標題 Match TitleMatch = Regex.Match(strResponse, "<title>([^<]*)</title>", RegexOptions.IgnoreCase | RegexOptions.Multiline); title = TitleMatch.Groups[1].Value; //獲取描述信息 Match Desc = Regex.Match(strResponse, "<Meta name=\"DESCRIPTION\" content=\"([^<]*)\">", RegexOptions.IgnoreCase | RegexOptions.Multiline); strdesc = Desc.Groups[1].Value; //獲取網頁的大小 size = strResponse.Length;—————————————————————割————————————————————————— ///<summary> /// 將Html標簽轉化為空格 ///</summary> ///<param name="strHtml">待轉化的字元串</param> ///<returns>經過轉化的字元串</returns> privatestring stripHtml(string strHtml){Regex objRegExp =new Regex("<(.|\n)+?>"); string strOutput = objRegExp.Replace(strHtml, ""); strOutput = strOutput.Replace("<", "<"); strOutput = strOutput.Replace(">", ""); return strOutput; } ok，這樣一來Html標簽就基本沒了，但是有些例外會使得去除不幹凈，所以建議連續兩次轉化，這樣就搞定了。但是還沒結束，如果你留意的話，可以看到上面的函數其實是將Html標簽轉化為了空格。太多連續的空格會影響之後對字元串的操作。所以再加入這樣的語句： //把所有空格變為一個空格 Regex r =new Regex(@"\s+");
『肆』 如何處理網站數據分析
第一是，數據需求一提出來就得查線上資料庫，而這樣會影響性能，影響正常業務。
第二是，運營提的數據需求多且復雜，你已經有些煩了，作為一名程序員，你覺得不是自己應該做的事。
第一個問題，可以通過建一個從庫來解決吧，每天將前一天的數據導進來。
第二個問題，不知你們團隊有無專門做數據分析方面的運營人員，我覺得使用SQL做數據提取和之後的數據可視化，都是數據分析人員的本職工作。如果你們團隊沒有這方面的人員，那麼可否考慮做一個比較方便查詢數據和導出數據的介面呢，剛開始不用做太復雜，慢慢迭代優化改進即可
『伍』 怎麼使用工具抓取網站數據
第一步：到網站上下載網頁抓數據軟體。
第二步：編寫採集規則，如果不會編寫可以直接使用我們現成的採集規則。
第三步：執行採集規則，或啟用定時採集功能，定時採集得到數據。
『陸』 ASP.NET如何抓取網頁指定數據
抓取了整個頁面的內容代碼
HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(TextBox1.Text);
HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
Stream stream = webResponse.GetResponseStream();
StreamReader reader = new StreamReader(stream, System.Text.Encoding.GetEncoding("utf-8"));
//整個頁面內容
Label1.Text = reader.ReadToEnd();
『柒』 如何進行網站日誌分析
一、什麼是網站日誌
1.網站日誌是記錄web伺服器接收處理請求以及運行時錯誤等各種原始信息的以·log結尾的文件。
2.通過網站日誌可以清楚的得知用戶在什麼IP、什麼時間、用什麼操作系統、什麼瀏覽器、什麼解析度設備下訪問了網站的哪個頁面，是否訪問成功。
3.搜索引擎也屬於網站中的一類用戶，我們今天的分享課，主要是針對搜索引擎這種用戶在伺服器留下的記錄展開分析。
為了方便讀懂搜索引擎日誌，我們需要了解不同搜索引擎蜘蛛的標識，以下為4種搜索引擎的標識——*網路蜘蛛：Baispider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot
二、如何看懂網站日誌
（以下為一段日誌記錄）www.cafehome.com
58.180.251.134 - - [25/Mar/2015:13:24:33 +0800] "GET /m53256.html
HTTP/1.1" 200 12264 "http://www.cafehome.com/index-1s2i2p2" "Mozilla/5.0
(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0" "-" "-" "-"
以下為欄位解讀：
『捌』 數據分析怎麼做
1、列表法
將數據按一定規律用列表方式表達出來，是記錄和處理最常用的方法。表格的設計要求對應關系清楚，簡單明了，有利於發現相關量之間的相關關系；此外還要求在標題欄中註明各個量的名稱、符號、數量級和單位等：根據需要還可以列出除原始數據以外的計算欄目和統計欄目等。
2、作圖法
作圖法可以最醒目地表達各個物理量間的變化關系。從圖線上可以簡便求出實驗需要的某些結果，還可以把某些復雜的函數關系，通過一定的變換用圖形表示出來。
(8)怎麼提取網站數據分析擴展閱讀：
分析工具
使用Excel自帶的數據分析功能可以完成很多專業軟體才有的數據統計、分析，其中包括：直方圖、相關系數、協方差、各種概率分布、抽樣與動態模擬、總體均值判斷，均值推斷、線性、非線性回歸、多元回歸分析、移動平均等內容。
在商業智能領域Cognos、Style Intelligence、Microstrategy、Brio、BO和Oracle以及國內產品如Yonghong Z-Suite BI套件等。
『玖』 Excel怎麼從提取網頁數據
單擊【數據】--【獲取外部數據】--【自網站】，單擊進入。
『拾』 請問如何把網站的數據抓取下來
可以藉助採集器軟體，即使不懂代碼也能採集網頁上的數據，然後導出excel