马蜂窝爬虫案例解析

马蜂窝爬虫案例解析，本项目使用python scrapy写成，实现爬出的数据存储mongodb，本人亲测。没有问题，欢迎下载。仅供学习使用

from scrapy import cmdline

cmdline.execute（“scrapy crawl mafengwo-qa“.split（））

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-03-10 20:01  mafengwo111\
     文件          81  2017-03-10 20:01  mafengwo111\Begin.py
     目录           0  2017-03-13 14:07  mafengwo111\mafengwo111\
     文件        1631  2017-03-09 17:42  mafengwo111\mafengwo111\html.py
     文件        2261  2017-03-13 10:02  mafengwo111\mafengwo111\html.pyc
     文件         290  2017-03-10 19:49  mafengwo111\mafengwo111\items.py
     文件         374  2017-03-13 13:11  mafengwo111\mafengwo111\items.pyc
     文件         790  2017-03-09 17:43  mafengwo111\mafengwo111\jieban.py
     文件         808  2017-03-13 10:02  mafengwo111\mafengwo111\jieban.pyc
     文件         471  2017-03-13 10:45  mafengwo111\mafengwo111\middlewares.py
     文件         759  2017-03-13 10:45  mafengwo111\mafengwo111\middlewares.pyc
     文件         789  2017-03-13 16:03  mafengwo111\mafengwo111\pipelines.py
     文件        1308  2017-03-13 14:07  mafengwo111\mafengwo111\pipelines.pyc
     文件         905  2017-03-09 17:39  mafengwo111\mafengwo111\qa.py
     文件         823  2017-03-13 10:02  mafengwo111\mafengwo111\qa.pyc
     文件       12698  2017-03-09 17:17  mafengwo111\mafengwo111\qyer.py
     文件        1075  2017-03-13 13:09  mafengwo111\mafengwo111\settings.py
     文件         463  2017-03-13 13:11  mafengwo111\mafengwo111\settings.pyc
     目录           0  2017-03-13 15:33  mafengwo111\mafengwo111\spiders\
     文件       16457  2017-03-13 15:32  mafengwo111\mafengwo111\spiders\mafengwo.py
     文件       14703  2017-03-13 15:33  mafengwo111\mafengwo111\spiders\mafengwo.pyc
     文件         161  2017-03-09 17:19  mafengwo111\mafengwo111\spiders\__init__.py
     文件         145  2017-03-13 10:02  mafengwo111\mafengwo111\spiders\__init__.pyc
     文件          99  2017-03-13 12:44  mafengwo111\mafengwo111\test.py
     文件        7612  2017-03-10 20:02  mafengwo111\mafengwo111\user_agents.py
     文件        7087  2017-03-13 10:45  mafengwo111\mafengwo111\user_agents.pyc
     文件           0  2017-03-09 17:19  mafengwo111\mafengwo111\__init__.py
     文件         137  2017-03-13 10:02  mafengwo111\mafengwo111\__init__.pyc
     文件         266  2017-03-10 19:49  mafengwo111\scrapy.cfg