⑴ 如何抓取网站数据
HttpWebRequest
然后分析
需要程序可联系我
⑵ 如何抓取网站上的附件
如何抓取网站上的附件？你可以用一些软件小程序，一般用抓猫之类的一些东西
⑶ 百度的搜索是怎么抓取网站的
什么是spider？
spider是网络搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在网络搜索引擎中搜索到您网站的网页。
spider对一个网站服务器造成的访问压力如何？
spider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，spider会暂停一会，以防止增大服务器的访问压力。所以在一般情况下，spider对您网站的服务器不会造成过大压力。
为什么spider不停的抓取我的网站？
对于您网站上新产生的或者持续更新的页面，spider会持续抓取。此外，您也可以检查网站访问日志中spider的访问是否正常，以防止有人恶意冒充spider来频繁抓取您的网站。 如果您发现spider非正常抓取您的网站，请反馈至[email protected]，并请尽量给出spider对贵站的访问日志，以便于我们跟踪处理。
我不想我的网站被spider访问，我该怎么做？
spider遵守互联网robots协议。您可以利用robots.txt文件完全禁止spider访问您的网站，或者禁止spider访问您网站上的部分文件。 注意：禁止spider访问您的网站，将使您的网站上的网页，在网络搜索引擎以及所有网络提供搜索引擎服务的搜索引擎中无法被搜索到。
关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法
为什么我的网站已经加了robots.txt，还能在网络搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然spider已经停止访问您网站上的网页，但网络搜索引擎数据库中已经建立的网页索引信息，可能需要二至四周才会清除。 另外也请检查您的robots配置是否正确。
网络蜘蛛在robots.txt中的名字是什么？
“Baispider” 首字母B大写，其余为小写。
spider多长时间之后会重新抓取我的网页？
网络搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，spider会重新访问和更新一个网页。
spider抓取造成的带宽堵塞？
spider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充的spider恶意抓取。如果您发现有名为Baispider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至[email protected]，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。
⑷ 如何进行网站数据抓取
小偷程序呗！
⑸ 如何抓取这些网站数据
你想抓取什么数据，商品数据吗，我有专门的程序可以获得，我是说真的。++
⑹ 如何通过URL抓取网站的数据
现在市面上的抓取工具很多，你可以试试火车头，但是最好是v8版本的，采集规则需要自己进行编辑。
⑺ 如何抓取网页数据网页表格数据能抓吗
抓取网页的原理很简单，直接分析文本即可获得需要的内容。但是，整个过程涉及到很多细节方面，要想能准确的抓到自己要的数据，特别是目标网站很多的情况下，我觉得你首先要找到一个足够强大的程序库，不要从TCP通信这层开始做，这样就容易得多了。例如，使用乐思采集系统就可以，现现成的不用费尽开发了
⑻ 如何抓取一个网址下的所有页面链接
由于题目是放在【编程语言】栏目下的，但没有指定希望使用哪种编程语言，我选择使用java语言来实现。
在Java中，使用HttpURLConnection即可连接URL，随后可以使用InputStreamReader获取网页内容文本。然后，使用正则表达式解析网页内容文本，找到所有的<a>标签即实现需求。
以下是详细代码：
importjava.io.BufferedReader;
importjava.io.IOException;
importjava.io.InputStreamReader;
importjava.net.HttpURLConnection;
importjava.net.URL;
importjava.util.ArrayList;
importjava.util.regex.Matcher;
importjava.util.regex.Pattern;
publicclassHtmlParser{
/**
*要分析的网页
*/
StringhtmlUrl;
/**
*分析结果
*/
ArrayList<String>hrefList=newArrayList();
/**
*网页编码方式
*/
StringcharSet;
publicHtmlParser(StringhtmlUrl){
//TODO自动生成的构造函数存根
this.htmlUrl=htmlUrl;
}
/**
*获取分析结果
*
*@throwsIOException
*/
publicArrayList<String>getHrefList()throwsIOException{
parser();
returnhrefList;
}
/**
*解析网页链接
*
*@return
*@throwsIOException
*/
privatevoidparser()throwsIOException{
URLurl=newURL(htmlUrl);
HttpURLConnectionconnection=(HttpURLConnection)url.openConnection();
connection.setDoOutput(true);
Stringcontenttype=connection.getContentType();
charSet=getCharset(contenttype);
InputStreamReaderisr=newInputStreamReader(
connection.getInputStream(),charSet);
BufferedReaderbr=newBufferedReader(isr);
Stringstr=null,rs=null;
while((str=br.readLine())!=null){
rs=getHref(str);
if(rs!=null)
hrefList.add(rs);
}
}
/**
*获取网页编码方式
*
*@paramstr
*/
privateStringgetCharset(Stringstr){
Patternpattern=Pattern.compile("charset=.*");
Matchermatcher=pattern.matcher(str);
if(matcher.find())
returnmatcher.group(0).split("charset=")[1];
returnnull;
}
/**
*从一行字符串中读取链接
*
*@return
*/
privateStringgetHref(Stringstr){
Patternpattern=Pattern.compile("<ahref=.*</a>");
Matchermatcher=pattern.matcher(str);
if(matcher.find())
returnmatcher.group(0);
returnnull;
}
publicstaticvoidmain(String[]arg)throwsIOException{
HtmlParsera=newHtmlParser("http://news.163.com/");
ArrayList<String>hrefList=a.getHrefList();
for(inti=0;i<hrefList.size();i++)
System.out.println(hrefList.get(i));
}
}
⑼ 如何抓取网站的js文件
太简单了，先清空网页缓存文件夹，windows XP默认：
C:\Documents and Settings\Administrator\Local Settings\Temporary Internet Files
然后，用IE浏览器打开你要的网站，再回去看看，什么HTML JS CSS flash 图片都在里面了，你所有的东西出来自己慢慢研究吧。
⑽ 怎样抓取网页中的链接
鼠标放在连接上 右键点属性 看到了吗？ 那个就是连接