‘壹’ Excel如何抓取网页数据之JSON数据抓取
打开Chrome，在拉勾网搜索深圳市的“数据分析”职位，使用检查功能查看网页源代码，发现拉勾网有反爬虫机制，职位信息并不在源代码里，而是保存在JSON的文件里，因此我们直接下载JSON，并使用字典方法直接读取数据。
抓取网页时，需要加上头部信息，才能获取所需的数据。
在搜索结果的第一页，我们可以从JSON里读取总职位数，按照每页15个职位，获得要爬取的页数。再使用循环按页爬取，将职位信息汇总，输出为CSV格式。
程序运行如图：
抓取结果如图：
数据清洗占数据分析工作量的大头。在拉勾网搜索深圳市的“数据分析”职位，结果得到369个职位。查看职位名称时，发现有4个实习岗位。由于我们研究的是全职岗位，所以先将实习岗位剔除。由于工作经验和工资都是字符串形式的区间，我们先用正则表达式提取数值，输出列表形式。工作经验取均值，工资取区间的四分位数值，比较接近现实。
4. 词云
我们将职位福利这一列的数据汇总，生成一个字符串，按照词频生成词云实现python可视化。以下是原图和词云的对比图，可见五险一金在职位福利里出现的频率最高，平台、福利、发展空间、弹性工作次之。
5. 描述统计
可知，数据分析师的均值在14.6K，中位数在12.5K，算是较有前途的职业。数据分析散布在各个行业，但在高级层面上涉及到数据挖掘和机器学习，在IT业有长足的发展。
我们再来看工资的分布，这对于求职来讲是重要的参考：
工资在10-15K的职位最多，在15-20K的职位其次。个人愚见，10-15K的职位以建模为主，20K以上的职位以数据挖掘、大数据架构为主。
我们再来看职位在各区的分布：
数据分析职位有62.9%在南山区，有25.8%在福田区，剩下少数分布在龙岗区、罗湖区、宝安区、龙华新区。我们以小窥大，可知南山区和福田区是深圳市科技业的中心。
我们希望获得工资与工作经验、学历的关系，由于学历分三类，需设置3个虚拟变量：大专、本科、硕士。多元回归结果如下：
在0.05的显着性水平下，F值为82.53，说明回归关系是显着的。t检验和对应的P值都小于0.05表明，工作经验和3种学历在统计上都是显着的。另外，R-squared的值为0.41，说明工作经验和学历仅仅解释了工资变异性的41%。这点不难理解，即使职位都叫数据分析师，实际的工作内容差异比较大，有的只是用Excel做基本分析，有的用Python、R做数据挖掘。另外，各个公司的规模和它愿意开出的工资也不尽相同。而工作内容的差异和公司的大方程度是很难单凭招聘网页上的宣传而获得实际数据，导致了模型的拟合优度不是很好这一现实。
‘贰’ 如何抓取和分析互联网公开数据
导读：互联网蕴藏着丰富的公开数据资源，通过获取这些数据，作为城市研究的辅助支撑，是未来城市研究者必备的技能之一，近期我们也会继续介绍一些简单有趣的公开数据分析应用。
在互联网领域，对数据的抓取叫做“采集”，在采集工具的作用下，可以很快的抓取一个网站的整站数据，而如果这些数据能够辅助我们的部分决策，那么这个工具和方法值得一学。（本文中数据抓取工具为“火车头”软件）
西安建筑科技大学城市体验、模拟与分析实验中心的郑晓伟为我们分享了他在开放数据获取方法及应用分析技术中的经验。
开放数据（大数据）的相关基础知识
开放数据和大数据的区别
开放数据：商业网站（大众点评、安居客等）数据、地图开放平台数据、社交媒体（新浪微博）数据、政府政务公开数据等。
大数据：手机信令数据、浮动车数据（例如车载GPS、公交刷卡、地铁刷卡）等。
大数据是近似全样本数据，而开放数据是非全样本数据：
‘叁’ 如何抓取网页数据、分析并且去除Html标签(C#)
// 将接收到的数据增加到响应字符串中 strResponse += Encoding.ASCII.GetString(RecvBuffer, 0, nBytes); strResponse即是保存数据的字符串，此处用系统自带的System.Text.Encoding的方法转化 RecvBuffer，GetString的第一个参数RecvBuffer就是我们的原始数据，即包含需要解码的字节序列的字节数组；第二个参数0代表第一个要解码的字节的索引，一般就从0开始；第三个参数nBytes为要解码的字节数，可以自己调整。 得到了数据的字符串形式，然后可以对网页进行解析了（其实就是对字符串的各种操作和正则表达式的应用）。下面我以几个例子来说明对网页数据的解析： // 解析页面，查找链接 // 此处尚需扩展，还有某些形式的链接不被识别 string strRef =@"(href|HREF|src|SRC|action|ACTION|Action)[ ]*=[ ]*[""'][^""'#>]+[""']"; MatchCollection matches =new Regex(strRef).Matches(strResponse); strStatus +="找到: "+matches.Count+" 个链接\r\n"; 上面的例子将网页中的链接解析出来，strRef变量表示了正则表达式的模式，变量matches表示符合匹配的项目的集合，后面的 Regex(strRef).Matches(strResponse)就是创建正则规则使得strResponse里符合strRef模式的字符串都返回。然后调用matches的变量就可以取得各种信息了。 当然，这里只能识别一些基本的链接形式，像script中的链接和一些不带“”的链接都没有被支持，这个的扩展还是蛮简单的。 再举几个更简单点的解析的例子，大家学习学习： //获取标题 Match TitleMatch = Regex.Match(strResponse, "<title>([^<]*)</title>", RegexOptions.IgnoreCase | RegexOptions.Multiline); title = TitleMatch.Groups[1].Value; //获取描述信息 Match Desc = Regex.Match(strResponse, "<Meta name=\"DESCRIPTION\" content=\"([^<]*)\">", RegexOptions.IgnoreCase | RegexOptions.Multiline); strdesc = Desc.Groups[1].Value; //获取网页的大小 size = strResponse.Length;—————————————————————割————————————————————————— ///<summary> /// 将Html标签转化为空格 ///</summary> ///<param name="strHtml">待转化的字符串</param> ///<returns>经过转化的字符串</returns> privatestring stripHtml(string strHtml){Regex objRegExp =new Regex("<(.|\n)+?>"); string strOutput = objRegExp.Replace(strHtml, ""); strOutput = strOutput.Replace("<", "<"); strOutput = strOutput.Replace(">", ""); return strOutput; } ok，这样一来Html标签就基本没了，但是有些例外会使得去除不干净，所以建议连续两次转化，这样就搞定了。但是还没结束，如果你留意的话，可以看到上面的函数其实是将Html标签转化为了空格。太多连续的空格会影响之后对字符串的操作。所以再加入这样的语句： //把所有空格变为一个空格 Regex r =new Regex(@"\s+");
‘肆’ 如何处理网站数据分析
第一是，数据需求一提出来就得查线上数据库，而这样会影响性能，影响正常业务。
第二是，运营提的数据需求多且复杂，你已经有些烦了，作为一名程序员，你觉得不是自己应该做的事。
第一个问题，可以通过建一个从库来解决吧，每天将前一天的数据导进来。
第二个问题，不知你们团队有无专门做数据分析方面的运营人员，我觉得使用SQL做数据提取和之后的数据可视化，都是数据分析人员的本职工作。如果你们团队没有这方面的人员，那么可否考虑做一个比较方便查询数据和导出数据的接口呢，刚开始不用做太复杂，慢慢迭代优化改进即可
‘伍’ 怎么使用工具抓取网站数据
第一步：到网站上下载网页抓数据软件。
第二步：编写采集规则，如果不会编写可以直接使用我们现成的采集规则。
第三步：执行采集规则，或启用定时采集功能，定时采集得到数据。
‘陆’ ASP.NET如何抓取网页指定数据
抓取了整个页面的内容代码
HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(TextBox1.Text);
HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
Stream stream = webResponse.GetResponseStream();
StreamReader reader = new StreamReader(stream, System.Text.Encoding.GetEncoding("utf-8"));
//整个页面内容
Label1.Text = reader.ReadToEnd();
‘柒’ 如何进行网站日志分析
一、什么是网站日志
1.网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。
2.通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。
3.搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。
为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——*网络蜘蛛：Baispider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot
二、如何看懂网站日志
（以下为一段日志记录）www.cafehome.com
58.180.251.134 - - [25/Mar/2015:13:24:33 +0800] "GET /m53256.html
HTTP/1.1" 200 12264 "http://www.cafehome.com/index-1s2i2p2" "Mozilla/5.0
(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0" "-" "-" "-"
以下为字段解读：
‘捌’ 数据分析怎么做
1、列表法
将数据按一定规律用列表方式表达出来，是记录和处理最常用的方法。表格的设计要求对应关系清楚，简单明了，有利于发现相关量之间的相关关系；此外还要求在标题栏中注明各个量的名称、符号、数量级和单位等：根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。
2、作图法
作图法可以最醒目地表达各个物理量间的变化关系。从图线上可以简便求出实验需要的某些结果，还可以把某些复杂的函数关系，通过一定的变换用图形表示出来。
(8)怎么提取网站数据分析扩展阅读：
分析工具
使用Excel自带的数据分析功能可以完成很多专业软件才有的数据统计、分析，其中包括：直方图、相关系数、协方差、各种概率分布、抽样与动态模拟、总体均值判断，均值推断、线性、非线性回归、多元回归分析、移动平均等内容。
在商业智能领域Cognos、Style Intelligence、Microstrategy、Brio、BO和Oracle以及国内产品如Yonghong Z-Suite BI套件等。
‘玖’ Excel怎么从提取网页数据
单击【数据】--【获取外部数据】--【自网站】，单击进入。
‘拾’ 请问如何把网站的数据抓取下来
可以借助采集器软件，即使不懂代码也能采集网页上的数据，然后导出excel