Python Scrapy爬虫爬取微博和微信公众号热门消息

爬取微博需要以字典的形式设置自己的cookie。用于初学者学习，分别用了bf4和xpath，数据处理还不完善，存入了mysql数据库，改写sql语句就可以写入自己的表中

from scrapy import cmdline

cmdline.execute（“scrapy crawl news --nolog“.split（））

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        181  2019-03-13 20:55  newspider\db.sql

     文件       8241  2019-03-06 21:00  newspider\news.json

     文件        526  2019-03-13 19:28  newspider\newspider\items.py

     文件       3621  2019-03-07 20:19  newspider\newspider\middlewares.py

     文件       1360  2019-03-13 21:38  newspider\newspider\pipelines.py

     文件       3180  2019-03-24 13:59  newspider\newspider\settings.py

     文件       1471  2019-03-26 15:39  newspider\newspider\spiders\news.py

     文件        922  2019-03-06 20:57  newspider\newspider\spiders\weixin.py

     文件        161  2019-03-04 21:53  newspider\newspider\spiders\__init__.py

     文件       2078  2019-03-19 20:16  newspider\newspider\spiders\__pycache__\news.cpython-37.pyc

     文件        968  2019-03-06 20:57  newspider\newspider\spiders\__pycache__\weixin.cpython-37.pyc

     文件        136  2019-03-05 23:04  newspider\newspider\spiders\__pycache__\__init__.cpython-37.pyc

     文件          0  2019-03-04 21:53  newspider\newspider\__init__.py

     文件        614  2019-03-13 19:28  newspider\newspider\__pycache__\items.cpython-37.pyc

     文件       2582  2019-03-07 20:19  newspider\newspider\__pycache__\middlewares.cpython-37.pyc

     文件       1375  2019-03-13 21:38  newspider\newspider\__pycache__\pipelines.cpython-37.pyc

     文件        453  2019-03-13 19:19  newspider\newspider\__pycache__\settings.cpython-37.pyc

     文件        128  2019-03-05 23:03  newspider\newspider\__pycache__\__init__.cpython-37.pyc

     文件        261  2019-03-18 20:34  newspider\README.MD

     文件        261  2019-03-05 23:02  newspider\scrapy.cfg

     文件         82  2019-03-13 19:12  newspider\spider.py

     文件       9516  2019-03-11 22:28  newspider\weibo.json

     文件      91994  2019-03-24 13:38  newspider\weibo1.json

     目录          0  2019-03-11 22:28  newspider\newspider\spiders\__pycache__

     目录          0  2019-03-11 22:28  newspider\newspider\spiders

     目录          0  2019-03-11 22:28  newspider\newspider\__pycache__

     目录          0  2019-03-11 22:28  newspider\newspider

     目录          0  2019-03-26 15:38  newspider

----------- ---------  ---------- -----  ----

               130111                    28

............此处省略1个文件信息