Scrapy框架简单应用:爬取免费的的西刺代理IP

利用Scrapy框架爬取免费的的西刺代理IP

内含模拟浏览器，利用代理池反反爬虫

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class ProxyItem（scrapy.Item）:
    # define the fields for your item here like:
    # name = scrapy.Field（）
    IP = scrapy.Field（）
    port = scrapy.Field（）
    nmd = scrapy.Field（）
    type = scrapy.Field（）
    addr = scrapy.Field（）
    lastime = scrapy.Field（）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-05-23 21:51  proxy\
     目录           0  2018-06-29 10:00  proxy\proxy\
     文件         432  2018-05-23 11:10  proxy\proxy\items.py
     文件        3974  2018-05-23 12:47  proxy\proxy\middlewares.py
     文件        2316  2018-06-29 10:00  proxy\proxy\pipelines.py
     文件        4433  2018-05-23 13:02  proxy\proxy\settings.py
     目录           0  2018-05-23 13:59  proxy\proxy\spiders\
     文件        1538  2018-05-23 13:59  proxy\proxy\spiders\getip.py
     文件         161  2018-05-10 20:12  proxy\proxy\spiders\__init__.py
     目录           0  2018-05-23 13:59  proxy\proxy\spiders\__pycache__\
     文件        1341  2018-05-23 13:59  proxy\proxy\spiders\__pycache__\getip.cpython-36.pyc
     文件         125  2018-05-20 13:24  proxy\proxy\spiders\__pycache__\__init__.cpython-36.pyc
     文件        1376  2018-05-23 12:57  proxy\proxy\uamind.py
     文件           0  2018-05-10 20:12  proxy\proxy\__init__.py
     目录           0  2018-05-24 08:41  proxy\proxy\__pycache__\
     文件         400  2018-05-23 11:26  proxy\proxy\__pycache__\items.cpython-36.pyc
     文件        3189  2018-05-20 21:24  proxy\proxy\__pycache__\middlewares.cpython-36.pyc
     文件        1292  2018-05-24 08:41  proxy\proxy\__pycache__\pipelines.cpython-36.pyc
     文件        1232  2018-05-23 13:06  proxy\proxy\__pycache__\settings.cpython-36.pyc
     文件        1518  2018-05-23 12:58  proxy\proxy\__pycache__\uamind.cpython-36.pyc
     文件         117  2018-05-20 13:24  proxy\proxy\__pycache__\__init__.cpython-36.pyc
     文件           0  2018-05-23 12:13  proxy\scrapy
     文件         253  2018-05-20 13:20  proxy\scrapy.cfg
     文件         623  2018-05-24 09:53  proxy\可用代理.txt