java 爬虫教学

java爬虫教学，从最基础的单机版爬虫进阶到多线程爬虫，利用了线程池技术和redis

package cn.itcast.spider.jd;

import java.util.concurrent.ArrayBlockingQueue;

public class BlockingQueueTest {

	public static void main（String[] args） throws Exception {
		final ArrayBlockingQueue arrayBlockingQueue = new ArrayBlockingQueue（100）;
		
		new Thread（new Runnable（） {

			public void run（） {
				while （true） {
					// remove poll take（线程安全）
					String element;
					try {
						element = arrayBlockingQueue.take（）;
						System.out.println（“线程编号1“+element）;
					} catch （InterruptedException e） {
						// TODO Auto-generated catch block
						e.printStackTrace（）;
					}
				}

			}
		}）.start（）;
		
		new Thread（new Runnable（） {

			public void run（） {
				while （true） {
					// remove poll take（线程安全）
					String element;
					try {
						element = arrayBlockingQueue.take（）;
						System.out.println（“线程编号2“+element）;
					} catch （InterruptedException e） {
						// TODO Auto-generated catch block
						e.printStackTrace（）;
					}
				}

			}
		}）.start（）;
		// 创建阻塞队列
		for （int i = 0; i <= 200; i++） {
			// add offer put（线程安全的）
			arrayBlockingQueue.put（“element“ + i）;
		}

		

	}

}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       1431  2017-12-07 15:29  爬虫教学\itcast-spider-jd\.classpath

     文件        568  2017-12-07 15:29  爬虫教学\itcast-spider-jd\.project

     文件        243  2017-12-07 15:29  爬虫教学\itcast-spider-jd\.settings\org.eclipse.jdt.core.prefs

     文件         90  2017-12-07 15:29  爬虫教学\itcast-spider-jd\.settings\org.eclipse.m2e.core.prefs

     文件       1801  2017-12-07 23:01  爬虫教学\itcast-spider-jd\pom.xml

     文件       1212  2017-12-07 21:22  爬虫教学\itcast-spider-jd\src\main\java\cn\itcast\spider\jd\BlockingQueueTest.java

     文件        985  2017-12-07 22:20  爬虫教学\itcast-spider-jd\src\main\java\cn\itcast\spider\jd\CallableThreadTest.java

     文件       5416  2017-12-07 20:56  爬虫教学\itcast-spider-jd\src\main\java\cn\itcast\spider\jd\JdSpider.java

     文件       6680  2017-12-07 22:43  爬虫教学\itcast-spider-jd\src\main\java\cn\itcast\spider\jd\JdSpider2.java

     文件       1421  2017-12-07 17:05  爬虫教学\itcast-spider-jd\src\main\java\cn\itcast\spider\jd\Product.java

     文件        979  2017-12-07 22:43  爬虫教学\itcast-spider-jd\src\main\java\cn\itcast\spider\jd\ProductDao.java

     文件       1656  2017-12-07 21:10  爬虫教学\itcast-spider-jd\src\main\java\cn\itcast\spider\jd\QueueTest.java

     文件       1317  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\BlockingQueueTest$1.class

     文件       1317  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\BlockingQueueTest$2.class

     文件       1366  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\BlockingQueueTest.class

     文件        931  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\CallableThreadTest$1.class

     文件       1518  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\CallableThreadTest.class

     文件       5636  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\JdSpider.class

     文件       1265  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\JdSpider2$1.class

     文件        919  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\JdSpider2$2.class

     文件       6733  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\JdSpider2.class

     文件       2246  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\Product.class

     文件       1266  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\ProductDao.class

     文件       1424  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\QueueTest$1.class

     文件       1424  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\QueueTest$2.class

     文件       1651  2017-12-07 22:54  爬虫教学\itcast-spider-jd\target\classes\cn\itcast\spider\jd\QueueTest.class

     文件        111  2017-12-07 23:01  爬虫教学\itcast-spider-jd\target\classes\meta-INF\MANIFEST.MF

     文件        267  2017-12-07 23:01  爬虫教学\itcast-spider-jd\target\classes\meta-INF\maven\cn.itcast.spider\itcast-spider-jd\pom.properties

     文件       1801  2017-12-07 23:01  爬虫教学\itcast-spider-jd\target\classes\meta-INF\maven\cn.itcast.spider\itcast-spider-jd\pom.xml

     文件    6123405  2017-12-07 23:01  爬虫教学\itcast-spider-jd\target\itcast-spider-jd.jar

............此处省略189个文件信息