CrawlSpider豆瓣图书爬虫

CrawlSpider完善豆瓣图书爬虫,具体参考:http://write.blog.csdn.net/postedit/70210364

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class DoubanBookItem（scrapy.Item）:
    “““ 定义需要抓取的字段名 “““
    
    name = scrapy.Field（）                       # 书名
    tags = scrapy.Field（）                       # 类别
    images = scrapy.Field（）                     # 图片
    author = scrapy.Field（）                     # 作者
    press = scrapy.Field（）                      # 出版社
    date = scrapy.Field（）                       # 出版日期
    page = scrapy.Field（）                       # 页数
    price = scrapy.Field（）                      # 价格
    score = scrapy.Field（）                      # 读者评分
    ISBN = scrapy.Field（）                       # ISBN号
    author_profile = scrapy.Field（）             # 作者简介
    content_description = scrapy.Field（）        # 内容简介
    link = scrapy.Field（）                       # 详情页链接

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-04-17 22:08  douban_book\
     目录           0  2017-04-17 17:20  douban_book\douban_book\
     文件        1029  2017-04-17 22:33  douban_book\douban_book\items.py
     文件        1884  2017-04-17 17:29  douban_book\douban_book\middlewares.py
     文件        2094  2017-04-17 22:33  douban_book\douban_book\pipelines.py
     文件        3383  2017-04-17 23:03  douban_book\douban_book\settings.py
     目录           0  2017-04-18 00:01  douban_book\douban_book\spiders\
     文件        4113  2017-04-18 13:01  douban_book\douban_book\spiders\bookspider.py
     文件         161  2017-04-15 19:50  douban_book\douban_book\spiders\__init__.py
     目录           0  2017-04-18 00:01  douban_book\douban_book\spiders\__pycache__\
     文件        3650  2017-04-18 00:01  douban_book\douban_book\spiders\__pycache__\bookspider.cpython-36.pyc
     文件         152  2017-04-17 14:22  douban_book\douban_book\spiders\__pycache__\__init__.cpython-36.pyc
     文件           0  2017-04-15 19:50  douban_book\douban_book\__init__.py
     目录           0  2017-04-17 23:03  douban_book\douban_book\__pycache__\
     文件         628  2017-04-17 22:34  douban_book\douban_book\__pycache__\items.cpython-36.pyc
     文件        1541  2017-04-17 17:36  douban_book\douban_book\__pycache__\middlewares.cpython-36.pyc
     文件        2324  2017-04-17 22:34  douban_book\douban_book\__pycache__\pipelines.cpython-36.pyc
     文件         566  2017-04-17 23:03  douban_book\douban_book\__pycache__\settings.cpython-36.pyc
     文件         144  2017-04-17 14:22  douban_book\douban_book\__pycache__\__init__.cpython-36.pyc
     目录           0  2017-04-18 13:02  douban_book\img\
     文件           0  2017-04-18 00:18  douban_book\img\Swifter 
     文件           0  2017-04-17 23:21  douban_book\img\红玫瑰与白玫瑰 
     文件           0  2017-04-17 18:08  douban_book\is.json
     文件           0  2017-04-17 18:34  douban_book\items.json
     目录           0  2017-04-17 22:08  douban_book\logs\
     文件     1578148  2017-04-18 00:20  douban_book\logs\book.log
     文件         266  2017-04-17 14:20  douban_book\scrapy.cfg