python 淘宝爬虫抓取天猫数据

爬取淘宝 天猫网站数据

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class TaobaoItem（scrapy.Item）:
    # define the fields for your item here like:
    # name = scrapy.Field（）
    shopname=scrapy.Field（）
    title=scrapy.Field（）
    pass

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-03-12 12:48  taobao\
     目录           0  2017-03-12 13:12  taobao\.idea\
     文件         200  2017-03-12 12:48  taobao\.idea\encodings.xml
     目录           0  2017-03-12 12:48  taobao\.idea\inspectionProfiles\
     文件         228  2017-03-12 12:48  taobao\.idea\inspectionProfiles\profiles_settings.xml
     文件         623  2017-03-12 12:48  taobao\.idea\misc.xml
     文件         264  2017-03-12 12:48  taobao\.idea\modules.xml
     文件         398  2017-03-12 12:48  taobao\.idea\taobao.iml
     文件       30506  2017-03-12 13:12  taobao\.idea\workspace.xml
     文件         256  2017-03-12 12:48  taobao\scrapy.cfg
     目录           0  2017-03-12 12:53  taobao\taobao\
     文件           0  2017-02-13 09:48  taobao\taobao\__init__.py
     文件         115  2017-03-12 12:52  taobao\taobao\__init__.pyc
     文件         338  2017-03-12 12:49  taobao\taobao\items.py
     文件         391  2017-03-12 12:52  taobao\taobao\items.pyc
     文件        1880  2017-03-12 12:48  taobao\taobao\middlewares.py
     文件         286  2017-03-12 12:48  taobao\taobao\pipelines.py
     文件        3316  2017-03-12 12:50  taobao\taobao\settings.py
     文件         506  2017-03-12 12:53  taobao\taobao\settings.pyc
     目录           0  2017-03-12 13:00  taobao\taobao\spiders\
     文件         161  2017-02-13 09:48  taobao\taobao\spiders\__init__.py
     文件         123  2017-03-12 12:53  taobao\taobao\spiders\__init__.pyc
     文件        5830  2016-02-28 06:42  taobao\taobao\spiders\tmall-List.py
     文件        6238  2017-03-12 12:53  taobao\taobao\spiders\tmall-List.pyc
     文件      740356  2016-02-28 01:25  taobao\taobao\taobao3.xml
     文件          46  2016-02-28 06:57  taobao\taobao\test4.xml
     文件       22999  2016-02-28 01:27  taobao\taobao\tiamaoshop.xml
     文件      170094  2016-02-28 01:30  taobao\taobao\tiamaoshop2.xml
     文件     1116726  2016-02-28 01:22  taobao\taobao\tmall2.xml