testbrowse.py

#! /usr/bin/env python3
from urllib import request
import random
import time
#import lxml
import re

user_agent_list = [
    ‘Mozilla/4.0 （compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727）‘
    ‘Mozilla/4.0 （compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506）‘
    ‘Mozilla/4.0 （compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727）‘
    ‘Mozilla/5.0 （Windows; U; MSIE 9.0; Windows NT 9.0; en-US）‘
    ‘Mozilla/5.0 （compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0）‘
    ‘Mozilla/5.0 （compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322）‘
    ‘Mozilla/4.0 （compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30）‘
    ‘Mozilla/5.0 （Windows; U; Windows NT 5.1; zh-CN） AppleWebKit/523.15 （KHTML like Gecko Safari/419.3） Arora/0.3 （Change: 287 c9dfb30）‘
    ‘Mozilla/5.0 （X11; U; Linux; en-US） AppleWebKit/527+ （KHTML like Gecko Safari/419.3） Arora/0.6‘
    ‘Mozilla/5.0 （Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre） Gecko/20070215 K-Ninja/2.1.1‘
    ‘Mozilla/5.0 （Windows; U; Windows NT 5.1; zh-CN; rv:1.9） Gecko/20080705 Firefox/3.0 Kapiko/3.0‘
    ‘Mozilla/5.0 （X11; Linux i686; U;） Gecko/20070322 Kazehakase/0.4.5‘
    ‘Mozilla/5.0 （X11; U; Linux i686; en-US; rv:1.9.0.8） Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6‘
    ‘Mozilla/5.0 （Windows NT 6.1; WOW64） AppleWebKit/535.11 （KHTML like Gecko） Chrome/17.0.963.56 Safari/535.11‘
    ‘Mozilla/5.0 （Macintosh; Intel Mac OS X 10_7_3） AppleWebKit/535.20 （KHTML like Gecko） Chrome/19.0.1036.7 Safari/535.20‘
    ‘Opera/9.80 （Macintosh; Intel Mac OS X 10.6.8; U; fr） Presto/2.9.168 Version/11.52‘
]
count = 0

def Get_proxy_ip（）:
    user_agent = random.choice（user_agent_list）
    myheaders = {‘Host‘: ‘www.xicidaili.com‘
               ‘User-Agent‘: user_agent
               ‘Accept‘: r‘application/json text/javascript */*; q=0.01‘
               ‘Referer‘: r‘http://www.xicidaili.com/‘ }
#    print（‘headers：‘+str（headers））
    req = request.Request（r‘http://www.xicidaili.com/nn‘ headers=myheaders）
    response = request.urlopen（req）
    html = response.read（）.decode（‘utf-8‘）
#    print（‘html‘+str（html））

    proxy_list = []
    ip_list = re.findall（r‘\d+\.\d+\.\d+\.\d+‘html）
#    print（“ip_list