Jsoup爬笔趣阁小说

可以下载笔趣阁所有的小说，支持搜索，用Jsoup+mysql，用的技术就很简单，有示例代码每一行都有注释，给新手练手用，不懂的可以留言 我有时间可以看看回复

package Liuwei.jsoup.data;

import java.util.linkedHashMap;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import Liuwei.jsoup.pojo.Biquge_all_link;
import Liuwei.jsoup.pojo.Biquge_daohang;


/**
 * Biquge_all_link Xiaoshuo_Alllink（） 返回笔趣阁所有小说的链接和书名 格式
 *  返回格式 ：map<链接书名>
 * 
 **/

public class Biquge_Alllink {
	
	public Biquge_all_link Xiaoshuo_Alllink（） throws Throwable {
		Biquge_daohang  daohang  = new Biquge_daohang（）;		//导航页面的所有URL
		Biquge_all_link all_link = new Biquge_all_link（）;		//封装的一个map<链接书名>
		linkedHashMap map = new linkedHashMap（500）;
		
		for（String URL : daohang.getDaohang_link（））{		//遍历封装导航页面的URL
			Document doc=Jsoup.connect（URL）.userAgent（“Mozilla/5.0 （Windows NT 6.1; WOW64） AppleWebKit/537.31 （KHTML like Gecko） Chrome/26.0.1410.64 Safari/537.31“）.timeout（10000）.get（）;            	// 对URL进行访问，并返回HTML数据
			
			Thread.sleep（500）; //防止网站返回502错误
			
			Elements links = doc.select（“a[href]“）;   //爬取页面的所有URL
			 for （Element link : links） {   			//遍所有链接
				 if（!link.text（）.equals（““））{			//去掉所有重复的链接
					 if（link.attr（“abs:href“）.matches（“（http://www.biquge5200.com）{1}/\\d+（_）\\d+/“））{  //小说简介页面URL的正则表达式
						 map.put（link.attr（“abs:href“） link.text（））;
					 }		 
				 }     
		        }  
		}
		all_link.setXiaoshuo_map（map）;
		 System.out.println（“所有链接已爬到！---->数据数量=“+map.size（））;
		
		return all_link;
		

	}
	 
	 public static void main（String[] args） throws Throwable {
		
		 Biquge_Alllink a = new Biquge_Alllink（）;
		 a.Xiaoshuo_Alllink（）;
		 		 
		 
	}

}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-09-07 20:09  Jsoup\
     文件         986  2017-11-12 18:34  Jsoup\.classpath
     文件         381  2017-09-07 20:09  Jsoup\.project
     目录           0  2017-09-07 20:09  Jsoup\.settings\
     文件         598  2017-09-07 20:09  Jsoup\.settings\org.eclipse.jdt.core.prefs
     目录           0  2018-08-05 19:03  Jsoup\bin\
     目录           0  2018-08-05 19:03  Jsoup\bin\Liuwei\
     目录           0  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\
     目录           0  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\data\
     文件        3110  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\data\Biquge_Alllink.class
     文件        2872  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\data\Biquge_FandXS.class
     文件        4568  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\data\Biquge_XSjianjie.class
     文件        3966  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\data\Biquge_shuchen.class
     文件         282  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\data\MianShi.class
     文件        1080  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\data\Text.class
     文件        2023  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\data\UrlUtil.class
     目录           0  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\jdbc\
     文件        5243  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\jdbc\Biquge_dao.class
     文件        2963  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\jdbc\Db.class
     目录           0  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\pojo\
     文件        1239  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\pojo\Biquge_all_link.class
     文件        1997  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\pojo\Biquge_daohang.class
     文件        1901  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\pojo\Fandxs.class
     文件        1108  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\pojo\Shucheng_pojo.class
     文件        1950  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\pojo\Xiaoshuo_data.class
     文件        2368  2018-08-05 19:03  Jsoup\bin\Liuwei\jsoup\pojo\Xiaoshuo_jianjie.class
     文件        1511  2017-11-13 14:36  Jsoup\src\Liuwei\jsoup\pojo\Xiaoshuo_jianjie.java
     目录           0  2017-09-07 20:14  Jsoup\src\
     目录           0  2017-09-07 20:14  Jsoup\src\Liuwei\
     目录           0  2017-11-11 19:07  Jsoup\src\Liuwei\jsoup\
     目录           0  2017-12-18 15:28  Jsoup\src\Liuwei\jsoup\data\
............此处省略18个文件信息