python爬虫-scrapy框架

五个基于scrapy框架的实实例

1.爬取当当网书籍（包含3个）

2.爬取天涯论坛的大宗师小说

3.爬取百度的热点

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class BaiduspiderItem（scrapy.Item）:
    # define the fields for your item here like:
    # name = scrapy.Field（）
    language = scrapy.Field（）

    redian_content = scrapy.Field（）
    pass

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        464  2020-03-20 18:38  scrapy框架-爬虫\baiduspider\.idea\baiduspider.iml

     文件        174  2020-03-20 18:38  scrapy框架-爬虫\baiduspider\.idea\inspectionProfiles\profiles_settings.xml

     文件        294  2020-03-20 18:38  scrapy框架-爬虫\baiduspider\.idea\misc.xml

     文件        281  2020-03-20 18:38  scrapy框架-爬虫\baiduspider\.idea\modules.xml

     文件       6782  2020-03-20 19:24  scrapy框架-爬虫\baiduspider\.idea\workspace.xml

     文件        358  2020-03-20 19:10  scrapy框架-爬虫\baiduspider\baiduspider\items.py

     文件       3607  2020-03-20 18:36  scrapy框架-爬虫\baiduspider\baiduspider\middlewares.py

     文件        293  2020-03-20 18:36  scrapy框架-爬虫\baiduspider\baiduspider\pipelines.py

     文件       3256  2020-03-20 19:23  scrapy框架-爬虫\baiduspider\baiduspider\settings.py

     文件        888  2020-03-20 19:23  scrapy框架-爬虫\baiduspider\baiduspider\spiders\baidu.py

     文件        161  2020-03-17 15:05  scrapy框架-爬虫\baiduspider\baiduspider\spiders\__init__.py

     文件       1145  2020-03-20 19:23  scrapy框架-爬虫\baiduspider\baiduspider\spiders\__pycache__\baidu.cpython-37.pyc

     文件        161  2020-03-20 18:36  scrapy框架-爬虫\baiduspider\baiduspider\spiders\__pycache__\__init__.cpython-37.pyc

     文件          0  2020-03-17 15:05  scrapy框架-爬虫\baiduspider\baiduspider\__init__.py

     文件        394  2020-03-20 19:20  scrapy框架-爬虫\baiduspider\baiduspider\__pycache__\items.cpython-37.pyc

     文件        462  2020-03-20 19:23  scrapy框架-爬虫\baiduspider\baiduspider\__pycache__\settings.cpython-37.pyc

     文件        153  2020-03-20 18:36  scrapy框架-爬虫\baiduspider\baiduspider\__pycache__\__init__.cpython-37.pyc

     文件        265  2020-03-20 18:36  scrapy框架-爬虫\baiduspider\scrapy.cfg

     文件       1162  2020-03-20 19:20  scrapy框架-爬虫\baiduspider\test.json

     文件        464  2020-03-20 16:55  scrapy框架-爬虫\ceshispider\.idea\ceshispider.iml

     文件        174  2020-03-20 16:55  scrapy框架-爬虫\ceshispider\.idea\inspectionProfiles\profiles_settings.xml

     文件        294  2020-03-20 16:55  scrapy框架-爬虫\ceshispider\.idea\misc.xml

     文件        281  2020-03-20 16:55  scrapy框架-爬虫\ceshispider\.idea\modules.xml

     文件       6999  2020-03-20 19:06  scrapy框架-爬虫\ceshispider\.idea\workspace.xml

     文件        406  2020-03-20 17:18  scrapy框架-爬虫\ceshispider\ceshispider\items.py

     文件       3607  2020-03-20 16:53  scrapy框架-爬虫\ceshispider\ceshispider\middlewares.py

     文件        529  2020-03-20 17:23  scrapy框架-爬虫\ceshispider\ceshispider\pipelines.py

     文件       3169  2020-03-20 17:37  scrapy框架-爬虫\ceshispider\ceshispider\settings.py

     文件       1560  2020-03-20 17:33  scrapy框架-爬虫\ceshispider\ceshispider\spiders\ceshi.py

     文件        161  2020-03-17 15:05  scrapy框架-爬虫\ceshispider\ceshispider\spiders\__init__.py

............此处省略97个文件信息