python 爬取豌豆荚APP的爬虫

爬取豌豆荚APP，将APP信息存储到数据库，APP以md5值命名，

#coding utf-8

import crawler

def ch_update（）:
    update_file = ‘log_file/update.txt‘
    crawer = crawler.Crawler（‘http://www.wandoujia.com/category/app‘update_file）
    crawer.crow（）
    past = open（‘log_file/urls.txt‘‘r‘）
    now = open（‘log_file/update.txt‘‘r‘）
    past_list = past.readlines（）
    now_list = now.readlines（）
    if len（now_list）>len（past_list）:
        past.close（）
        now.close（）
        print u‘有更新‘
        return True
    else:
        past.close（）
        now.close（）
        print u‘没有更新‘
        return False
        

            
    
    

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件     165888  2016-09-14 11:53  安卓应用爬虫\apk_information.db

     文件        623  2016-09-11 13:06  安卓应用爬虫\check_update.py

     文件        780  2016-09-11 14:58  安卓应用爬虫\check_update.pyc

     文件       1789  2016-09-11 16:23  安卓应用爬虫\context.py

     文件       1774  2016-09-11 16:23  安卓应用爬虫\context.pyc

     文件       5796  2016-09-11 15:24  安卓应用爬虫\crawler.py

     文件       4489  2016-09-11 15:25  安卓应用爬虫\crawler.pyc

     文件       1442  2016-09-13 12:43  安卓应用爬虫\database.py

     文件       2262  2016-09-13 12:46  安卓应用爬虫\database.pyc

     文件        795  2016-09-11 22:27  安卓应用爬虫\downjudge.py

     文件        892  2016-09-11 22:27  安卓应用爬虫\downjudge.pyc

     文件       1616  2016-09-11 22:09  安卓应用爬虫\download.py

     文件       1743  2016-09-11 22:24  安卓应用爬虫\download.pyc

     文件        266  2016-09-02 16:54  安卓应用爬虫\hash_md5.py

     文件        535  2016-09-02 16:59  安卓应用爬虫\hash_md5.pyc

     文件        297  2016-09-18 21:28  安卓应用爬虫\log_file\downed.txt

     文件       7143  2016-09-11 15:22  安卓应用爬虫\log_file\failurls.txt

     文件     102532  2016-09-11 15:19  安卓应用爬虫\log_file\log.txt

     文件    1699963  2016-09-11 15:22  安卓应用爬虫\log_file\urls.txt

     文件       4377  2016-09-13 12:36  安卓应用爬虫\main.py

     文件         84  2016-09-18 20:46  安卓应用爬虫\test.py

     目录          0  2016-09-22 15:47  安卓应用爬虫\apk_files

     目录          0  2016-09-14 12:03  安卓应用爬虫\log_file

     目录          0  2016-09-18 20:44  安卓应用爬虫

----------- ---------  ---------- -----  ----

              2005086                    24