Java+MySQL实现网络爬虫程序

发布于 2013年11月30日2017年7月23日作者： John Hany 46,175次阅读

网络爬虫，也叫网络蜘蛛，有的项目也把它称作“walker”。维基百科所给的定义是“一种系统地扫描互联网，以获取索引为目的的网络程序”。网络上有很多关于网络爬虫的开源项目，其中比较有名的是Heritrix和Apache Nutch。

有时需要在网上搜集信息，如果需要搜集的是获取方法单一而人工搜集费时费力的信息，比如统计一个网站每个月发了多少篇文章、用了哪些标签，为自然语言处理项目搜集语料，或者为模式识别项目搜集图片等等，就需要爬虫程序来完成这样的任务。而且搜索引擎必不可少的组件之一也是网络爬虫。

很多网络爬虫都是用Python，Java或C#实现的。我这里给出的是Java版本的爬虫程序。为了节省时间和空间，我把程序限制在只扫描本博客地址下的网页（也就是http://johnhan.net/但不包括http://johnhany.net/wp-content/下的内容），并从网址中统计出所用的所有标签。只要稍作修改，去掉代码里的限制条件就能作为扫描整个网络的程序使用。或者对输出格式稍作修改，可以作为生成博客sitemap的工具。

代码也可以在这里下载：johnhany/WPCrawler。

环境需求

我的开发环境是Windows7 + Eclipse。

需要XAMPP提供通过url访问MySQL数据库的端口。

还要用到三个开源的Java类库：

Apache HttpComponents 4.3 提供HTTP接口，用来向目标网址提交HTTP请求，以获取网页的内容；

HTML Parser 2.0 用来解析网页，从DOM节点中提取网址链接；

MySQL Connector/J 5.1.27 连接Java程序和MySQL，然后就可以用Java代码操作数据库。

代码

代码位于三个文件中，分别是：crawler.java，httpGet.java和parsePage.java。包名为net.johnhany.wpcrawler。

crawler.java

package net.johnhany.wpcrawler;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class crawler {
	
	public static void main(String args[]) throws Exception {
		String frontpage = "http://johnhany.net/";
		Connection conn = null;
		
		//connect the MySQL database
		try {
			Class.forName("com.mysql.jdbc.Driver");
			String dburl = "jdbc:mysql://localhost:3306?useUnicode=true&characterEncoding=utf8";
			conn = DriverManager.getConnection(dburl, "root", "");
			System.out.println("connection built");
		} catch (SQLException e) {
			e.printStackTrace();
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
		}
		
		String sql = null;
		String url = frontpage;
		Statement stmt = null;
		ResultSet rs = null;
		int count = 0;
		
		if(conn != null) {
			//create database and table that will be needed
			try {
				sql = "CREATE DATABASE IF NOT EXISTS crawler";
				stmt = conn.createStatement();
				stmt.executeUpdate(sql);
				
				sql = "USE crawler";
				stmt = conn.createStatement();
				stmt.executeUpdate(sql);
				
				sql = "create table if not exists record (recordID int(5) not null auto_increment, URL text not null, crawled tinyint(1) not null, primary key (recordID)) engine=InnoDB DEFAULT CHARSET=utf8";
				stmt = conn.createStatement();
				stmt.executeUpdate(sql);
				
				sql = "create table if not exists tags (tagnum int(4) not null auto_increment, tagname text not null, primary key (tagnum)) engine=InnoDB DEFAULT CHARSET=utf8";
				stmt = conn.createStatement();
				stmt.executeUpdate(sql);
			} catch (SQLException e) {
				e.printStackTrace();
			}
			
			//crawl every link in the database
			while(true) {
				//get page content of link "url"
				httpGet.getByString(url,conn);
				count++;
				
				//set boolean value "crawled" to true after crawling this page
				sql = "UPDATE record SET crawled = 1 WHERE URL = '" + url + "'";
				stmt = conn.createStatement();
				
				if(stmt.executeUpdate(sql) > 0) {
					//get the next page that has not been crawled yet
					sql = "SELECT * FROM record WHERE crawled = 0";
					stmt = conn.createStatement();
					rs = stmt.executeQuery(sql);
					if(rs.next()) {
						url = rs.getString(2);
					}else {
						//stop crawling if reach the bottom of the list
						break;
					}

					//set a limit of crawling count
					if(count > 1000 || url == null) {
						break;
					}
				}
			}
			conn.close();
			conn = null;
			
			System.out.println("Done.");
			System.out.println(count);
		}
	}
}

package net.johnhany.wpcrawler;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

public class crawler {

public static void main(String args[]) throws Exception {

String frontpage = "http://johnhany.net/";

Connection conn = null;

//connect the MySQL database

try {

Class.forName("com.mysql.jdbc.Driver");

String dburl = "jdbc:mysql://localhost:3306?useUnicode=true&characterEncoding=utf8";

conn = DriverManager.getConnection(dburl, "root", "");

System.out.println("connection built");

} catch (SQLException e) {

e.printStackTrace();

} catch (ClassNotFoundException e) {

e.printStackTrace();

}

String sql = null;

String url = frontpage;

Statement stmt = null;

ResultSet rs = null;

int count = 0;

if(conn != null) {

//create database and table that will be needed

try {

sql = "CREATE DATABASE IF NOT EXISTS crawler";

stmt = conn.createStatement();

stmt.executeUpdate(sql);

sql = "USE crawler";

stmt = conn.createStatement();

stmt.executeUpdate(sql);

sql = "create table if not exists record (recordID int(5) not null auto_increment, URL text not null, crawled tinyint(1) not null, primary key (recordID)) engine=InnoDB DEFAULT CHARSET=utf8";

stmt = conn.createStatement();

stmt.executeUpdate(sql);

sql = "create table if not exists tags (tagnum int(4) not null auto_increment, tagname text not null, primary key (tagnum)) engine=InnoDB DEFAULT CHARSET=utf8";

stmt = conn.createStatement();

stmt.executeUpdate(sql);

} catch (SQLException e) {

e.printStackTrace();

}

//crawl every link in the database

while(true) {

//get page content of link "url"

httpGet.getByString(url,conn);

count++;

//set boolean value "crawled" to true after crawling this page

sql = "UPDATE record SET crawled = 1 WHERE URL = '" + url + "'";

stmt = conn.createStatement();

if(stmt.executeUpdate(sql) > 0) {

//get the next page that has not been crawled yet

sql = "SELECT * FROM record WHERE crawled = 0";

stmt = conn.createStatement();

rs = stmt.executeQuery(sql);

if(rs.next()) {

url = rs.getString(2);

}else {

//stop crawling if reach the bottom of the list

break;

}

//set a limit of crawling count

if(count > 1000 || url == null) {

break;

}

conn.close();

conn = null;

System.out.println("Done.");

System.out.println(count);

}

httpGet.java

package net.johnhany.wpcrawler;

import java.io.IOException;
import java.sql.Connection;

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.ResponseHandler;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

public class httpGet {

    public final static void getByString(String url, Connection conn) throws Exception {
        CloseableHttpClient httpclient = HttpClients.createDefault();
        
        try {
            HttpGet httpget = new HttpGet(url);
            System.out.println("executing request " + httpget.getURI());

            ResponseHandler<String> responseHandler = new ResponseHandler<String>() {

                public String handleResponse(
                        final HttpResponse response) throws ClientProtocolException, IOException {
                    int status = response.getStatusLine().getStatusCode();
                    if (status >= 200 && status < 300) {
                        HttpEntity entity = response.getEntity();
                        return entity != null ? EntityUtils.toString(entity) : null;
                    } else {
                        throw new ClientProtocolException("Unexpected response status: " + status);
                    }
                }
            };
            String responseBody = httpclient.execute(httpget, responseHandler);
            /*
            //print the content of the page
            System.out.println("----------------------------------------");
            System.out.println(responseBody);
            System.out.println("----------------------------------------");
            */
            parsePage.parseFromString(responseBody,conn);
            
        } finally {
            httpclient.close();
        }
    }
}

package net.johnhany.wpcrawler;

import java.io.IOException;

import java.sql.Connection;

import org.apache.http.HttpEntity;

import org.apache.http.HttpResponse;

import org.apache.http.client.ClientProtocolException;

import org.apache.http.client.ResponseHandler;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClients;

import org.apache.http.util.EntityUtils;

public class httpGet {

public final static void getByString(String url, Connection conn) throws Exception {

CloseableHttpClient httpclient = HttpClients.createDefault();

try {

HttpGet httpget = new HttpGet(url);

System.out.println("executing request " + httpget.getURI());

ResponseHandler<String> responseHandler = new ResponseHandler<String>() {

public String handleResponse(

final HttpResponse response) throws ClientProtocolException, IOException {

int status = response.getStatusLine().getStatusCode();

if (status >= 200 && status < 300) {

HttpEntity entity = response.getEntity();

return entity != null ? EntityUtils.toString(entity) : null;

} else {

throw new ClientProtocolException("Unexpected response status: " + status);

}

};

String responseBody = httpclient.execute(httpget, responseHandler);

//print the content of the page

System.out.println("----------------------------------------");

System.out.println(responseBody);

System.out.println("----------------------------------------");

parsePage.parseFromString(responseBody,conn);

} finally {

httpclient.close();

}

parsePage.java

package net.johnhany.wpcrawler;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

import org.htmlparser.Node;
import org.htmlparser.Parser;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

import java.net.URLDecoder;

public class parsePage {
	
	public static void parseFromString(String content, Connection conn) throws Exception {
		Parser parser = new Parser(content);
		HasAttributeFilter filter = new HasAttributeFilter("href");
		
		try {
			NodeList list = parser.parse(filter);
			int count = list.size();
			
			//process every link on this page
			for(int i=0; i<count; i++) {
				Node node = list.elementAt(i);
				
				if(node instanceof LinkTag) {
					LinkTag link = (LinkTag) node;
					String nextlink = link.extractLink();
					String mainurl = "http://johnhany.net/";
					String wpurl = mainurl + "wp-content/";

					//only save page from "http://johnhany.net"
					if(nextlink.startsWith(mainurl)) {
						String sql = null;
						ResultSet rs = null;
						PreparedStatement pstmt = null;
						Statement stmt = null;
						String tag = null;
						
						//do not save any page from "wp-content"
						if(nextlink.startsWith(wpurl)) {
							continue;
						}
						
						try {
							//check if the link already exists in the database
							sql = "SELECT * FROM record WHERE URL = '" + nextlink + "'";
							stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY,ResultSet.CONCUR_UPDATABLE);
							rs = stmt.executeQuery(sql);

							if(rs.next()) {
								
				            }else {
				            	//if the link does not exist in the database, insert it
				            	sql = "INSERT INTO record (URL, crawled) VALUES ('" + nextlink + "',0)";
				            	pstmt = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);
				            	pstmt.execute();
				            	System.out.println(nextlink);
				            	
				            	//use substring for better comparison performance
				            	nextlink = nextlink.substring(mainurl.length());
				            	//System.out.println(nextlink);
				            	
				            	if(nextlink.startsWith("tag/")) {
				            		tag = nextlink.substring(4, nextlink.length()-1);
				            		//decode in UTF-8 for Chinese characters
				            		tag = URLDecoder.decode(tag,"UTF-8");
				            		sql = "INSERT INTO tags (tagname) VALUES ('" + tag + "')";
					            	pstmt = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);
					            	//if the links are different from each other, the tags must be different
					            	//so there is no need to check if the tag already exists
					            	pstmt.execute();
				            	}
				            }
						} catch (SQLException e) {
							//handle the exceptions
							System.out.println("SQLException: " + e.getMessage());
						    System.out.println("SQLState: " + e.getSQLState());
						    System.out.println("VendorError: " + e.getErrorCode());
						} finally {
							//close and release the resources of PreparedStatement, ResultSet and Statement
							if(pstmt != null) {
								try {
									pstmt.close();
								} catch (SQLException e2) {}
							}
							pstmt = null;
							
							if(rs != null) {
								try {
									rs.close();
								} catch (SQLException e1) {}
							}
							rs = null;
							
							if(stmt != null) {
								try {
									stmt.close();
								} catch (SQLException e3) {}
							}
							stmt = null;
						}
						
					}
				}
			}
		} catch (ParserException e) {
			e.printStackTrace();
		}
	}
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

package net.johnhany.wpcrawler;

import java.sql.Connection;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

import org.htmlparser.Node;

import org.htmlparser.Parser;

import org.htmlparser.filters.HasAttributeFilter;

import org.htmlparser.tags.LinkTag;

import org.htmlparser.util.NodeList;

import org.htmlparser.util.ParserException;

import java.net.URLDecoder;

public class parsePage {

public static void parseFromString(String content, Connection conn) throws Exception {

Parser parser = new Parser(content);

HasAttributeFilter filter = new HasAttributeFilter("href");

try {

NodeList list = parser.parse(filter);

int count = list.size();

//process every link on this page

for(int i=0; i<count; i++) {

Node node = list.elementAt(i);

if(node instanceof LinkTag) {

LinkTag link = (LinkTag) node;

String nextlink = link.extractLink();

String mainurl = "http://johnhany.net/";

String wpurl = mainurl + "wp-content/";

//only save page from "http://johnhany.net"

if(nextlink.startsWith(mainurl)) {

String sql = null;

ResultSet rs = null;

PreparedStatement pstmt = null;

Statement stmt = null;

String tag = null;

//do not save any page from "wp-content"

if(nextlink.startsWith(wpurl)) {

continue;

}

try {

//check if the link already exists in the database

sql = "SELECT * FROM record WHERE URL = '" + nextlink + "'";

stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY,ResultSet.CONCUR_UPDATABLE);

rs = stmt.executeQuery(sql);

if(rs.next()) {

}else {

//if the link does not exist in the database, insert it

sql = "INSERT INTO record (URL, crawled) VALUES ('" + nextlink + "',0)";

pstmt = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);

pstmt.execute();

System.out.println(nextlink);

//use substring for better comparison performance

nextlink = nextlink.substring(mainurl.length());

//System.out.println(nextlink);

if(nextlink.startsWith("tag/")) {

tag = nextlink.substring(4, nextlink.length()-1);

//decode in UTF-8 for Chinese characters

tag = URLDecoder.decode(tag,"UTF-8");

sql = "INSERT INTO tags (tagname) VALUES ('" + tag + "')";

pstmt = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);

//if the links are different from each other, the tags must be different

//so there is no need to check if the tag already exists

pstmt.execute();

}

} catch (SQLException e) {

//handle the exceptions

System.out.println("SQLException: " + e.getMessage());

System.out.println("SQLState: " + e.getSQLState());

System.out.println("VendorError: " + e.getErrorCode());

} finally {

//close and release the resources of PreparedStatement, ResultSet and Statement

if(pstmt != null) {

try {

pstmt.close();

} catch (SQLException e2) {}

}

pstmt = null;

if(rs != null) {

try {

rs.close();

} catch (SQLException e1) {}

}

rs = null;

if(stmt != null) {

try {

stmt.close();

} catch (SQLException e3) {}

}

stmt = null;

}

} catch (ParserException e) {

e.printStackTrace();

}

程序原理

所谓“互联网”，是网状结构，任意两个节点间都有可能存在路径。爬虫程序对互联网的扫描，在图论角度来讲，就是对有向图的遍历（链接是从一个网页指向另一个网页，所以是有向的）。常见的遍历方法有深度优先和广度优先两种。相关理论知识可以参考树的遍历：这里和这里。我的程序采用的是广度优先方式。

程序从crawler.java的main()开始运行。

Class.forName("com.mysql.jdbc.Driver");
String dburl = "jdbc:mysql://localhost:3306?useUnicode=true&characterEncoding=utf8";
conn = DriverManager.getConnection(dburl, "root", "");
System.out.println("connection built");

Class.forName("com.mysql.jdbc.Driver");

String dburl = "jdbc:mysql://localhost:3306?useUnicode=true&characterEncoding=utf8";

conn = DriverManager.getConnection(dburl, "root", "");

System.out.println("connection built");

首先，调用DriverManager连接MySQL服务。这里使用的是XAMPP的默认MySQL端口3306，端口值可以在XAMPP主界面看到：

Apache和MySQL都启动之后，在浏览器地址栏输入“http://localhost/phpmyadmin/”就可以看到数据库了。等程序运行完之后可以在这里检查一下运行是否正确。

sql = "CREATE DATABASE IF NOT EXISTS crawler";
stmt = conn.createStatement();
stmt.executeUpdate(sql);

sql = "USE crawler";
stmt = conn.createStatement();
stmt.executeUpdate(sql);

sql = "create table if not exists record (recordID int(5) not null auto_increment, URL text not null, crawled tinyint(1) not null, primary key (recordID)) engine=InnoDB DEFAULT CHARSET=utf8";
stmt = conn.createStatement();
stmt.executeUpdate(sql);

sql = "create table if not exists tags (tagnum int(4) not null auto_increment, tagname text not null, primary key (tagnum)) engine=InnoDB DEFAULT CHARSET=utf8";
stmt = conn.createStatement();
stmt.executeUpdate(sql);

sql = "CREATE DATABASE IF NOT EXISTS crawler";

stmt = conn.createStatement();

stmt.executeUpdate(sql);

sql = "USE crawler";

stmt = conn.createStatement();

stmt.executeUpdate(sql);

sql = "create table if not exists record (recordID int(5) not null auto_increment, URL text not null, crawled tinyint(1) not null, primary key (recordID)) engine=InnoDB DEFAULT CHARSET=utf8";

stmt = conn.createStatement();

stmt.executeUpdate(sql);

sql = "create table if not exists tags (tagnum int(4) not null auto_increment, tagname text not null, primary key (tagnum)) engine=InnoDB DEFAULT CHARSET=utf8";

stmt = conn.createStatement();

stmt.executeUpdate(sql);

连接好数据库后，建立一个名为“crawler”的数据库，在库里建两个表，一个叫“record”，包含字段“recordID”，“URL”和“crawled”，分别记录地址编号、链接地址和地址是否被扫描过；另一个叫“tags”，包含字段“tagnum”和“tagname”，分别记录标签编号和标签名。

while(true) {
	httpGet.getByString(url,conn);
	count++;
	
	sql = "UPDATE record SET crawled = 1 WHERE URL = '" + url + "'";
	stmt = conn.createStatement();
	
	if(stmt.executeUpdate(sql) > 0) {
		sql = "SELECT * FROM record WHERE crawled = 0";
		stmt = conn.createStatement();
		rs = stmt.executeQuery(sql);
		if(rs.next()) {
			url = rs.getString(2);
		}else {
			break;
		}
	}
}

while(true) {

httpGet.getByString(url,conn);

count++;

sql = "UPDATE record SET crawled = 1 WHERE URL = '" + url + "'";

stmt = conn.createStatement();

if(stmt.executeUpdate(sql) > 0) {

sql = "SELECT * FROM record WHERE crawled = 0";

stmt = conn.createStatement();

rs = stmt.executeQuery(sql);

if(rs.next()) {

url = rs.getString(2);

}else {

break;

}

接着在一个while循环内依次处理表record内的每个地址。每次处理时，把地址url传递给httpGet.getByString()，然后在表record中把crawled改为true，表明这个地址已经处理过。然后寻找下一个crawled为false的地址，继续处理，直到处理到表尾。

这里需要注意的细节是，执行executeQuery()后，得到了一个ResultSet结构rs，rs包含SQL查询返回的所有行和一个指针，指针指向结果中第一行之前的位置，需要执行一次rs.next()才能让rs的指针指向第一个结果，同时返回true，之后每次执行rs.next()都会把指针移到下一个结果上并返回true，直至再也没有结果时，rs.next()的返回值变成了false。

还有一个细节，在执行建库建表、INSERT、UPDATE时，需要用executeUpdate()；在执行SELECT时，需要使用executeQuery()。executeQuery()总是返回一个ResultSet，executeUpdate()返回符合查询的行数。

httpGet.java的getByString()类负责向所给的网址发送请求，然后下载网页内容。

HttpGet httpget = new HttpGet(url);
System.out.println("executing request " + httpget.getURI());

ResponseHandler<String> responseHandler = new ResponseHandler<String>() {
	public String handleResponse(
			final HttpResponse response) throws ClientProtocolException, IOException {
		int status = response.getStatusLine().getStatusCode();
		if (status >= 200 && status < 300) {
			HttpEntity entity = response.getEntity();
			return entity != null ? EntityUtils.toString(entity) : null;
		} else {
			throw new ClientProtocolException("Unexpected response status: " + status);
		}
	}
};
String responseBody = httpclient.execute(httpget, responseHandler);

HttpGet httpget = new HttpGet(url);

System.out.println("executing request " + httpget.getURI());

ResponseHandler<String> responseHandler = new ResponseHandler<String>() {

public String handleResponse(

final HttpResponse response) throws ClientProtocolException, IOException {

int status = response.getStatusLine().getStatusCode();

if (status >= 200 && status < 300) {

HttpEntity entity = response.getEntity();

return entity != null ? EntityUtils.toString(entity) : null;

} else {

throw new ClientProtocolException("Unexpected response status: " + status);

}

};

String responseBody = httpclient.execute(httpget, responseHandler);

这段代码是HTTPComponents的HTTP Client组件中给出的样例，在很多情况下可以直接使用。这部分代码获得了一个字符串responseBody，里面保存着网页中的全部字符。

接着，就需要把responseBody传递给parsePage.java的parseFromString类提取链接。

Parser parser = new Parser(content);
HasAttributeFilter filter = new HasAttributeFilter("href");

try {
	NodeList list = parser.parse(filter);
	int count = list.size();
	
	//process every link on this page
	for(int i=0; i<count; i++) {
		Node node = list.elementAt(i);
		if(node instanceof LinkTag) {

Parser parser = new Parser(content);

HasAttributeFilter filter = new HasAttributeFilter("href");

try {

NodeList list = parser.parse(filter);

int count = list.size();

//process every link on this page

for(int i=0; i<count; i++) {

Node node = list.elementAt(i);

if(node instanceof LinkTag) {

在HTML文件中，链接一般都在a标签的href属性中，所以需要创建一个属性过滤器。NodeList保存着这个HTML文件中的所有DOM节点，通过在for循环中依次处理每个节点寻找符合要求的标签，可以把网页中的所有链接提取出来。

然后通过nextlink.startsWith()进一步筛选，只处理以“http://johnhany.net/”开头的链接并跳过以“http://johnhany.net/wp-content/”开头的链接。

sql = "SELECT * FROM record WHERE URL = '" + nextlink + "'";
stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY,ResultSet.CONCUR_UPDATABLE);
rs = stmt.executeQuery(sql);

if(rs.next()) {
	
}else {
	//if the link does not exist in the database, insert it
	sql = "INSERT INTO record (URL, crawled) VALUES ('" + nextlink + "',0)";
	pstmt = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);
	pstmt.execute();

sql = "SELECT * FROM record WHERE URL = '" + nextlink + "'";

stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY,ResultSet.CONCUR_UPDATABLE);

rs = stmt.executeQuery(sql);

if(rs.next()) {

}else {

//if the link does not exist in the database, insert it

sql = "INSERT INTO record (URL, crawled) VALUES ('" + nextlink + "',0)";

pstmt = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);

pstmt.execute();

在表record中查找是否已经存在这个链接，如果存在（rs.next()==true），不做任何处理；如果不存在（rs.next()==false），在表中插入这个地址并把crawled置为false。因为之前recordID设为AUTO_INCREMENT，所以要用 Statement.RETURN_GENERATED_KEYS获取适当的编号。

nextlink = nextlink.substring(mainurl.length());

if(nextlink.startsWith("tag/")) {
	tag = nextlink.substring(4, nextlink.length()-1);
	tag = URLDecoder.decode(tag,"UTF-8");
	sql = "INSERT INTO tags (tagname) VALUES ('" + tag + "')";
	pstmt = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);
	pstmt.execute();

nextlink = nextlink.substring(mainurl.length());

if(nextlink.startsWith("tag/")) {

tag = nextlink.substring(4, nextlink.length()-1);

tag = URLDecoder.decode(tag,"UTF-8");

sql = "INSERT INTO tags (tagname) VALUES ('" + tag + "')";

pstmt = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);

pstmt.execute();

去掉链接开头的“http://johnhany.net/”几个字符，提高字符比较的速度。如果含有“tag/”说明其后的字符是一个标签的名字，把这给名字提取出来，用UTF-8编码，保证汉字的正常显示，然后存入表tags。类似地还可以加入判断“article/”，“author/”，或“2013/11/”等对其他链接进行归类。

结果

这是两张数据库的截图，显示了程序的部分结果：

在这里可以获得全部输出结果。可以与本博客的sitemap比较一下，看看如果想在其基础上实现sitemap生成工具，还要做哪些修改。

共有82条评论

安沃尔（awoe）说道：

2017年3月15日下午9:06

博主你好，以转载了你的文章，谢谢！！！

回复
1. John Hany说道：
  
  2017年3月19日上午12:07
  
  你好！多谢转载！
  
  回复
小米说道：

2017年3月2日下午2:24

请问这段代码这样写的意义是什么？如果不用这种形式来写，该如何修改代码？还有就是这种形式的代码要如何称呼？

           ResponseHandler<String> responseHandler = new ResponseHandler<String>() {

               public String handleResponse(final HttpResponse response) throws ClientProtocolException, IOException {
                   int status = response.getStatusLine().getStatusCode();
                   if (status >= 200 && status < 300) {
                       HttpEntity entity = response.getEntity();
                       return entity != null ? EntityUtils.toString(entity) : null;
                   } else {
                       throw new ClientProtocolException("Unexpected response status: " + status);
                   }
               }
           };

回复
1. 江南说道：
  
  2017年4月21日下午6:49
  
  我想问一下，我用myeclipse ,tomcat ,mysql 可以实现么？然后我想要获取新闻的热搜排行，可以用你这个么
  
  回复
陈斌说道：

2017年1月20日下午4:54

Exception in thread "main" org.apache.http.conn.HttpHostConnectException: Connect to johnhany.net:80 [johnhany.net/198.252.107.79] failed: Connection timed out: connect

回复
1. 陈斌说道：
  
  2017年1月20日下午4:55
  
  你好，不知道是不是我jar包导入的版本是不是不对，博主的链接下载不下来。这个报错说我连接不上
  
  回复
  1. 胡图图说道：
    
    2017年2月16日上午11:47
    
    麻烦请问一下这个问题解决了没呢？
    
    回复
蒙说道：

2016年10月20日下午2:20

你的习惯了类名首字母小写？？？

回复
张曦说道：

2016年10月19日下午5:34

写爬虫的童鞋可以试试神箭手云爬虫，自带JS渲染、代理ip、验证码识别等功能，还可以发布和导出爬取的数据，生成图表等，都在云端进行，不需要安装开发环境。

回复
yihangw说道：

2016年10月18日下午1:58

您好，看了您写的这个爬虫，我很受教，但是请问一下现在很多网页都在用JS或者AJAX的方法动态生成网站，比如这种 <a href = list.jsp, onclock = "function(2xxxx)">，需要"用户点击"这种触发事件然后根据2xxxx这种东西从数据库找到被list.jsp覆盖的绝对地址然后将用户直接导航到那个页面，这种情况下要如何处理呢

我试过selenium和webdriver的无头测试，但是这两个货太依赖浏览器了，而且效率奇低无比，博主有什么好方法吗，我的邮箱是 leon.wang@utas.edu.au

如果博主有什么好方法可以赐教一下吗，非常感谢

回复
npc说道：

2016年9月27日上午12:01

源码借走了,想做一个抓取电商网站商品详情的网站,有不懂得地方再来讨教你

回复
童珉说道：

2016年9月20日下午10:43

大神，您好，已经成功搭好环境和下载代码，准备开始大干一场。

同时能你这个eclipse的配色方案比较感兴趣，能分享一下吗。

回复
1. John Hany说道：
  
  2016年9月21日上午9:39
  
  文章中的代码高亮是一个网页插件产生的，不过eclipse中应该会找到类似的方案：）
  
  回复
  1. 童珉说道：
    
    2016年9月21日下午12:57
    
    嗯感觉你这个配色很好看
    
    回复
    1. 守望半吊子说道：
      
      2016年12月5日上午10:33
      
      theme 百度就可以了这个插件就有配色方案了
      
      回复
charlie说道：

2016年7月10日上午7:09

OK, 已经下载到了，非常感谢！！

回复
charlie说道：

2016年7月10日上午7:06

很想学习这段代码，但发现有关文件无法下载，能否帮忙将所有源代码文件及相关的jar包发送至：xml6401@sina.com

谢！

回复
蒋笑话说道：

2016年5月6日下午4:31

我想问下，我想用来爬某个官方网站的通知，可以吗。。只怕标题类容

回复
年年说道：

2016年5月4日下午11:10

thank you么么哒~

回复
chan说道：

2016年5月4日下午8:45

john哥你好：

最近在做毕业设计，题目是网络搜索引擎的设计与实现，自己也进行过一些学习，看到你写的爬虫代码觉得很受用。学到了很多东西。

下一步还得学习网页预处理部分跟如何实现查询服务，大致的了解了一下处理的方式是通过lucene框架来实现中文的分词，然后就不知该怎么做，能不能请你再大致指点一下，非常感谢！

回复
1. John Hany说道：
  
  2016年5月4日下午9:30
  
  很抱歉，对搜索引擎的详细原理还不够了解。按我的了解，分词之后应该是关键词提取和分类，然后建立索引库。对搜索结果的排序算法我只了解过PageRank，其他的实在不敢乱说^_^
  
  回复
2. 懒懒说道：
  
  2016年9月23日下午5:16
  
  IK分词器
  
  回复
sun说道：

2016年4月18日下午5:32

您好，我想问下这个爬虫可以爬取一些新闻官网的新闻吗？

回复
1. John Hany说道：
  
  2016年4月18日下午7:13
  
  只要能够利用html标签的名称和属性明确区分爬取内容的网站，应该都是可以的。
  
  回复
盼盼说道：

2016年4月16日下午3:34

你好：我想要获取每个栏目下的文章，怎么解决

回复
1. John Hany说道：
  
  2016年4月16日下午8:44
  
  如果用Chrome或FireFox浏览器的话，在网页里你想获取的栏目上右键->查看元素（或检查），看一下文章的标签是什么类型和属性，以此修改parsePage.java中的HasAttributeFilter filter。
  
  回复
李博说道：

2016年4月16日上午9:30

如何更改访问地址呢，把你访问的博客的地址改成我要访问的，怎么改呢

回复
1. John Hany说道：
  
  2016年4月16日下午8:40
  
  更改crawler.java第12行的String frontpage
  
  回复
孙孝凡说道：

2016年4月13日上午10:51

NodeList list = parser.parse(filter);这里怎么会提示The method parse(String) in the type Parser is not applicable for the arguments (HasAttributeFilter)这个错误呢？

String nextlink = (link).extractLink();这里也提示The method extractLink() is undefined for the type LinkTag 这是怎么回事，求指教

回复
1. John Hany说道：
  
  2016年4月13日下午11:50
  
  你使用的第三方库版本是不是比较新？那3个库的更新版本我还没有试验过，可能改动比较大吧。
  
  回复
  1. 孙孝凡说道：
    
    2016年4月14日下午4:09
    
    已经找到问题了，是jar包的问题，已经解决。但是executing request https://www.baidu.com/这个是不是百度不能访问啊。
    
    回复
    1. John Hany说道：
      
      2016年4月14日下午5:16
      
      我的代码比较适合爬取博客、新闻门户这样的网站，而且某些搜索网站很可能会限制爬虫
      
      回复
陈说道：

2016年3月28日下午5:40

想问一下，这个XAMPP 和sql developer是不是一样的？直接用你的文件就可以还是说要用spring框架啊

回复
1. John Hany说道：
  
  2016年3月29日下午1:57
  
  不好意思，sql developer没了解过。其实只要能提供一个本地的服务器环境，让java程序可以通过localhost来访问sql数据库，应该都是可以的。
  
  回复
2. 陈说道：
  
  2016年3月29日下午3:23
  
  终于等到你……。我是新手，我已经在用sql developer连接oracle数据库，在java程序中把用户名和密码都加上后，能连接到数据库，但后面创建crawler数据库就不能执行了，这怎么办呢
  
  回复
  1. John Hany说道：
    
    2016年3月29日下午3:43
    
    抱歉，忙起来就顾不上及时回复。可以在sql developer的官方文档里查一下如何用SQL命令创建和访问数据库。我只用过xampp，对sql developer的情况确实不了解，不知道它提供了什么样的功能，能完成什么样的操作。
    
    回复
    1. 陈说道：
      
      2016年3月29日下午4:01
      
      我刚想了个办法，简化了你的程序，直接在数据库建那两个表，把你程序的建表那块都删除，然后就成功了。能留个联系方式，以后还望多多指教
      
      回复
      1. 亮亮说道：
        
        2016年4月4日上午11:37
        
        你有办法把从网页获取的文件下载到本地文件夹么？
      2. 亮亮说道：
        
        2016年4月4日上午11:44
        
        楼主，可以把网上的资源爬到自己指定的文件夹，然后数据库里面存放的是在自己文件夹里面的路径，比如说爬图片、PDF文档，然后数据库里面写图片的路径，这样的话具体要怎么修改呢
Tsing说道：

2016年3月25日下午3:43

你好，总是提示连接超时

回复
java爱好者说道：

2016年3月20日上午8:13

博主好，我在用用这段代码读取编码为gb2312 html文件时中文总会会出现乱码，即便我设置格式accept gb2312，请教下博主这个问题怎么解决？

回复
1. java爱好者说道：
  
  2016年3月20日下午1:08
  
  我设置httpget.addHeader("Accept-Charset", "GB2312");不起作用，依旧中文是乱码
  
  回复
  1. John Hany说道：
    
    2016年3月20日下午3:33
    
    那么数据库的编码格式是否支持中文呢？
    
    回复
    1. java爱好者说道：
      
      2016年3月20日下午4:52
      
      修改entity != null ? EntityUtils.toString(entity,"GBK") : null;已经ok了
      
      回复
diy_os说道：

2016年3月7日下午9:32

十分感谢分享！

回复
我是BYR说道：

2016年3月3日下午11:04

前辈您好，我是一名刚入门的菜鸟，我再eclipse导入了您的工程发现有很多报错，不知道是不是环境配置的不一样，不知道的jre和jdk用的都是什么版本呢

回复
1. John Hany说道：
  
  2016年3月4日下午9:52
  
  我当时用的jdk版本应该是7.51左右。不过版本的影响应该不大，只要新建一个项目，然后把代码文件和lib文件夹里面的库拷贝过去，再添加一下库就可以了。
  
  回复
  1. byr说道：
    
    2016年3月5日下午1:23
    
    我已经导入了这个项目，然后jar类库我应该如何导入使用呢？
    
    回复
    1. John Hany说道：
      
      2016年3月5日下午8:30
      
      我现在已经不用Eclipse了，我记得步骤应该是在项目属性中的Java Build Path | Libraries | Add JARs，然后选择lib路径下的那几个jar包
      
      回复
刘斌说道：

2016年2月4日下午11:11

真心不错！

回复
1. John Hany说道：
  
  2016年2月5日上午9:57
  
  多谢支持：）
  
  回复
无瑕说道：

2015年12月30日上午8:45

q请问jar包从哪里下载啊能分享下吗？

回复
1. John Hany说道：
  
  2015年12月30日下午3:34
  
  如果你指的是第三方库的jar，全部都在这里了：
  
  https://github.com/johnhany/WPCrawler/tree/master/lib
  
  回复
永立说道：

2015年12月24日上午11:27

Java中类名首字母不是要大写么？我看你的代码没有大写，但却能运行，能给我解释一下吗？谢谢

回复
1. 阿术说道：
  
  2015年12月24日下午3:20
  
  类名要大写知识一种规范，并不是一定要大写才能够运行
  
  回复
  1. 南宫逸说道：
    
    2015年12月27日下午4:50
    
    能不能说下这个工程是怎么建的，谢谢了
    
    回复
    1. John Hany说道：
      
      2015年12月27日下午6:18
      
      工程本身只是用Eclipse建立的最普通的Java Project。只需要保证在程序运行的时候XAMPP已经打开，Apache和MySQL都保持运行状态，而且端口都是默认的就可以了。
      
      回复
Nancy说道：

2014年8月31日下午12:38

关于图算法这个网页有详细的介绍http://lippiouyangonline.info/algorithm/2013/11/29/graph.html

回复
1. John Hany说道：
  
  2015年1月27日下午5:35
  
  抱歉回复的很晚。谢谢分享～
  
  回复
Blank说道：

2014年8月31日上午10:31

单线程的？

回复
Mr H说道：

2014年8月20日上午10:43

没有用过XAMPP 不知道怎么使用，楼主能指导一下如何使用吗？

回复
1. John Hany说道：
  
  2014年8月20日下午8:54
  
  我粗略搜索了一下，觉得这篇文章介绍的比较全面：http://blog.csdn.net/cxwen78/article/details/6847927
  
  回复
  1. 黄文轩说道：
    
    2015年8月5日上午11:30
    
    一定要用XAMPP吗？直接用MySQL可以吗？
    
    回复
    1. John Hany说道：
      
      2015年8月23日下午10:10
      
      用XAMPP是为了建立便于和mysql数据库通信的服务器环境，单独使用mysql我也没有试过（抱歉回复的很晚）
      
      回复
Owen liu说道：

2014年7月2日下午5:48

John哥想问个低级问题，如果换一个网站爬点title和文章内容要怎么改一改啊~自己改了几次都失败了~

回复
1. John Hany说道：
  
  2014年7月4日下午2:22
  
  由于原本的程序用filter = new HasAttributeFilter(“href”)和if(node instanceof LinkTag)限制住只处理链接节点，所以对这一部分改动只能获得标题。如果想获取文章内容，可能就需要去掉开头的filter声明，与if(node instanceof LinkTag)并列加个if单独处理div id=”content”标签（要看网站内是怎么命名的了）之间的p标签间的文本了。
  
  回复
  1. 许钱钱说道：
    
    2016年4月25日下午7:46
    
    楼主，请问一下如何修改链接节点，还有抓取的网页内容在哪边看到？
    
    回复
    1. John Hany说道：
      
      2016年4月26日下午7:41
      
      请参考一下htmlparser官方文档http://htmlparser.sourceforge.net/javadoc/index.html中关于Node和HasAttributeFilter的介绍。
      
      网页的内容保存在了responseBody中。
      
      回复
杭卫强说道：

2014年1月5日下午11:27

翰哥碉堡了

回复
1. John Hany说道：
  
  2014年1月6日下午4:10
  
  哎呀，把你也吸引过来了。有时间常来帮我找BUG呀
  
  回复
林升说道：

2013年12月25日下午2:51

你写程序的算不算用到广义优先遍历算法，感觉有点像，但是为什么没有用到队列

回复
1. John Hany说道：
  
  2013年12月25日下午7:46
  
  算的，爬遍单个页面内所有链接后再爬下一个页面，算作广度优先。因为链接本身保存在数据库里，为了节省内存，也是直接在数据库里检查链接的重复性，所以遍历算法是逻辑上的，而不是从数据结构体现的
  
  回复
林升说道：

2013年12月12日上午11:04

怎么实行搜索其他网页，我打入新浪的网址，就搜不了了

回复
1. John Hany说道：
  
  2013年12月13日上午12:09
  
  这可能是网址中子域名的变化引起的。新浪每个板块都有不同的子域名。如果把crawler.main中的frontpage设为www.sina.com.cn，把parsePage.parseFromString中的mainurl改成news.sina.com.cn，就会反复爬首页。这是因为parsePage会根据地址是否以news.sina.com.cn开头决定是否存入数据库，所以首页没有保存，而且数据库仍然是空的，url没有得到更新，所以会反复爬首页。
  
  在初始化数据库时就把首页insert到数据库应该会解决这个问题。我把GitHub中的代码更新了，可以参考一下。如果需要爬多个板块，或许用正则表达式会更好些？
  
  回复
  1. 林升说道：
    
    2013年12月19日下午5:53
    
    前几周我们老师布置的课程设计是写一个搜索引擎，然后我就边学java边写，写了一点，抓取url了的代码，只用到URL类，Apache HttpComponents 4.3 HTML Parser 2.0 MySQL Connector/J 5.1.27 这些开源类库都没有用过，正则表达式会一点……楼主还会opencv?我们下学期估计要开类似视频编码图像处理的课，估计要用到opencv，能加个微博，或者其他什么的，请教请教？
    
    回复
    1. John Hany说道：
      
      2013年12月19日下午9:50
      
      OpenCV会一点，不过仅限于图像处理部分，机器学习模块还在摸索。都是学习阶段，只是先学后学的问题，谈不上请教：）微博很久没用，账号基本废掉了。如果方便的话，可以用邮件联系我：johnhany@163.com，我检查邮箱很频繁的
      
      回复
周舟说道：

2013年12月6日上午2:16

不咋地，，，还没我联通手机登的快

回复
1. John Hany说道：
  
  2013年12月6日下午3:13
  
  手机上看效果咋样？
  
  回复
  1. 周舟说道：
    
    2013年12月15日上午11:14
    
    手机上挺好的~
    
    回复
周舟说道：

2013年12月3日下午8:48

哈哈，虽然我都看不懂，但是看起来好高端的样子

回复
1. John Hany说道：
  
  2013年12月3日下午11:33
  
  在学校能登上来了？幸好换了一个靠谱的加速服务。打开的速度咋样慢不
  
  回复
周舟说道：

2013年12月3日下午8:47

哈哈，可惜我都看不懂了

回复

JohnHany的博客

编程手绘文字

Java+MySQL实现网络爬虫程序

共有82条评论

发表评论取消回复

共有82条评论

发表评论 取消回复

发表评论取消回复