java jsoup 爬虫 怎么防止重复爬取

发布网友 发布时间：2022-04-24 07:07

我来回答

共3个回答

热心网友 时间：2022-04-21 04:44

正好最近在学习这方面的内容。

两种思路：

可以将当前爬取的url存在一个list中作登记，在下一次开始爬子链接的时候进行比对，如果已经存在在list中则跳过，如果不存在那么继续爬

可以将所有的url网络先遍历一遍存在list中，然后根据list而不是再次访问子链接url进行爬取，在url存入list的过程中进行查重处理

顺便为了方便控制。建议设置爬取深度，在一定深度内进行爬取。

热心网友 时间：2022-04-21 06:02

方法/步骤 本次经验是通过导入外部Jar进行对网页数据进行抓取，以下是我工程的分布图。 本例子中是使用Jquery进行处理页面事件 页面展示 后台是在siteproxy.jsp中进行处理 5 最后将这其中需要的几个文件部署在此工程中去

热心网友 时间：2022-04-21 07:36

import java.io.BufferedWriter;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.net.SocketTimeoutException;
import java.net.UnknownHostException;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupTest {

static String url = "http://www.sogou.com/web?sut=1374&lkt=1%2C1386588673481%2C1386588673481&ie=utf8&sst0=1386588674552&p=40040100&dp=1&w=01019900&dr=1&_asf=www.sogou.com&_ast=1386589056&query=java网页爬虫&page=1";

public static void main(String[] args) {
Document doc = readUrlFist(url);
write(doc);
}
public static void write(Document doc) {
try {

FileOutputStream fos=new FileOutputStream("C:\\Documents and Settings\\Administrator\\桌面\\a.html");
OutputStreamWriter osw=new OutputStreamWriter(fos);
BufferedWriter bw=new BufferedWriter(osw);
bw.write(doc.toString());
bw.flush();
fos.close();
osw.close();
bw.close();
} catch (Exception e) {
e.printStackTrace();
}

}
public static Document readUrlFist(String url) {
Document doc = null;
Connection conn = Jsoup.connect(url);
conn.header(
"User-Agent",
"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2 Googlebot/2.1");
try {
doc = conn.timeout(200 * 1000).get();
} catch (IOException e) {
e.printStackTrace();
if ((e instanceof UnknownHostException)
|| (e instanceof SocketTimeoutException)) {
doc = readUrlFist(url);
}

}
return doc;
}

}