爬虫项目完整代码

爬虫项目完整代码

# coding: u8


import redis


REDIS_HOST = ‘localhost‘
REDIS_PORT = 6379


def clear_stats（）:
    open（‘./bdmms.log‘ ‘w‘）.write（‘‘）
    server = redis.Redis（REDIS_HOST REDIS_PORT）
    for key in [“bdmms:requests“ “bdmms:items“ “bdmms:dupefilter“]:
        server.delete（key）


if __name__ == “__main__“:
    clear_stats（）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2013-04-28 09:26  baidu-music-spider-master\
     文件         331  2013-04-28 09:26  baidu-music-spider-master\.gitignore
     文件           2  2013-04-28 09:26  baidu-music-spider-master\302count.txt
     文件         513  2013-04-28 09:26  baidu-music-spider-master\README.md
     目录           0  2013-04-28 09:26  baidu-music-spider-master\bdmms\
     文件          60  2013-04-28 09:26  baidu-music-spider-master\bdmms\__init__.py
     文件         720  2013-04-28 09:26  baidu-music-spider-master\bdmms\items.py
     文件        1872  2013-04-28 09:26  baidu-music-spider-master\bdmms\models.py
     文件        2010  2013-04-28 09:26  baidu-music-spider-master\bdmms\pipelines.py
     文件        2639  2013-04-28 09:26  baidu-music-spider-master\bdmms\rotate_useragent.py
     文件        1153  2013-04-28 09:26  baidu-music-spider-master\bdmms\settings.py
     目录           0  2013-04-28 09:26  baidu-music-spider-master\bdmms\spiders\
     文件         161  2013-04-28 09:26  baidu-music-spider-master\bdmms\spiders\__init__.py
     文件        5699  2013-04-28 09:26  baidu-music-spider-master\bdmms\spiders\bdmmspider.py
     文件         326  2013-04-28 09:26  baidu-music-spider-master\clear_stats.py
     文件         934  2013-04-28 09:26  baidu-music-spider-master\dog.py
     文件         242  2013-04-28 09:26  baidu-music-spider-master\scrapy.cfg