怎样让网站自动采集?

发布网友发布时间：2022-04-30 05:21

共3个回答

热心网友时间：2023-10-16 10:43

这位朋友，根据您的问题解答如下，如有不明之处可以继续补充:

你说的这个网站采集，应该指的就是纯数据的采集。这个都是自动的，做个计划任务定时采集数据，要是人工采集很麻烦的。
只要你写好采集程序，做成计划任务就可以了。这个并不特别困难。

热心网友时间：2023-10-16 10:43

热心网友时间：2023-10-16 10:44

HttpWebrequest抓取网页内容，用html格式获取数据
System.Net.HttpWebRequest request = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(url);
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)";
System.Net.WebResponse response = request.GetResponse();
System.IO.Stream resStream = response.GetResponseStream();
System.IO.StreamReader sr = new System.IO.StreamReader(resStream, encoding);
string html = (sr.ReadToEnd());
resStream.Close();

热心网友时间：2023-10-16 10:44

这个不太现实不过有这种程序我没用过貌似要花钱买的

热心网友时间：2023-10-16 10:44

这个不太现实不过有这种程序我没用过貌似要花钱买的