豆瓣爬虫;Scrapy框架

【实例简介】Visual Studio 2019，安装环境：pymysql，scrapy

【核心代码】附上Visual Studio 2019工程文件，可以直接安装打开运行。包含所有所需要的源码。

运行截图：

from scrapy.cmdline import execute
execute（[‘scrapy‘‘crawl‘‘douban‘]）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

    ..A..H.     59392  2020-11-17 16:34  .vs\as\v16\.suo

     文件        190  2020-11-17 16:26  as\.scrapy\httpcache\douban\0a\0a8d961c5cf075725ce493439e64ecef9797cea6\meta

     文件        137  2020-11-17 16:26  as\.scrapy\httpcache\douban\0a\0a8d961c5cf075725ce493439e64ecef9797cea6\pickled_meta

     文件          0  2020-11-17 16:26  as\.scrapy\httpcache\douban\0a\0a8d961c5cf075725ce493439e64ecef9797cea6\request_body

     文件        410  2020-11-17 16:26  as\.scrapy\httpcache\douban\0a\0a8d961c5cf075725ce493439e64ecef9797cea6\request_headers

     文件      11934  2020-11-17 16:26  as\.scrapy\httpcache\douban\0a\0a8d961c5cf075725ce493439e64ecef9797cea6\response_body

     文件        398  2020-11-17 16:26  as\.scrapy\httpcache\douban\0a\0a8d961c5cf075725ce493439e64ecef9797cea6\response_headers

     文件        166  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1e4b634936f14c6a18e7d88f59a8ffc3c46370c5\meta

     文件        124  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1e4b634936f14c6a18e7d88f59a8ffc3c46370c5\pickled_meta

     文件          0  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1e4b634936f14c6a18e7d88f59a8ffc3c46370c5\request_body

     文件        326  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1e4b634936f14c6a18e7d88f59a8ffc3c46370c5\request_headers

     文件        280  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1e4b634936f14c6a18e7d88f59a8ffc3c46370c5\response_body

     文件        297  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1e4b634936f14c6a18e7d88f59a8ffc3c46370c5\response_headers

     文件        194  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1eaddf9a0730560642a4d1b2eb7e90ec26ea9c0e\meta

     文件        138  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1eaddf9a0730560642a4d1b2eb7e90ec26ea9c0e\pickled_meta

     文件          0  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1eaddf9a0730560642a4d1b2eb7e90ec26ea9c0e\request_body

     文件        411  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1eaddf9a0730560642a4d1b2eb7e90ec26ea9c0e\request_headers

     文件      12175  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1eaddf9a0730560642a4d1b2eb7e90ec26ea9c0e\response_body

     文件        398  2020-11-17 16:26  as\.scrapy\httpcache\douban\1e\1eaddf9a0730560642a4d1b2eb7e90ec26ea9c0e\response_headers

     文件        194  2020-11-17 16:26  as\.scrapy\httpcache\douban\36\368a5242083cc9dab290d77cbe6a81107c882290\meta

     文件        138  2020-11-17 16:26  as\.scrapy\httpcache\douban\36\368a5242083cc9dab290d77cbe6a81107c882290\pickled_meta

     文件          0  2020-11-17 16:26  as\.scrapy\httpcache\douban\36\368a5242083cc9dab290d77cbe6a81107c882290\request_body

     文件        411  2020-11-17 16:26  as\.scrapy\httpcache\douban\36\368a5242083cc9dab290d77cbe6a81107c882290\request_headers

     文件      12296  2020-11-17 16:26  as\.scrapy\httpcache\douban\36\368a5242083cc9dab290d77cbe6a81107c882290\response_body

     文件        398  2020-11-17 16:26  as\.scrapy\httpcache\douban\36\368a5242083cc9dab290d77cbe6a81107c882290\response_headers

     文件        191  2020-11-17 16:26  as\.scrapy\httpcache\douban\51\5153c8f0e792e26f62c13e110e7a8a522392f817\meta

     文件        137  2020-11-17 16:26  as\.scrapy\httpcache\douban\51\5153c8f0e792e26f62c13e110e7a8a522392f817\pickled_meta

     文件          0  2020-11-17 16:26  as\.scrapy\httpcache\douban\51\5153c8f0e792e26f62c13e110e7a8a522392f817\request_body

     文件        410  2020-11-17 16:26  as\.scrapy\httpcache\douban\51\5153c8f0e792e26f62c13e110e7a8a522392f817\request_headers

     文件      12054  2020-11-17 16:26  as\.scrapy\httpcache\douban\51\5153c8f0e792e26f62c13e110e7a8a522392f817\response_body

............此处省略89个文件信息