selenium对京东淘宝商品爬取

使用selenium工具

# -*- coding: utf-8 -*-

from selenium import webdriver
import time
import datetime
from lxml import etree
import xlwt
import requests
import json
import re


class JDPhone（object）:
    def __init__（self max_p）:
        ‘‘‘判重的集合‘‘‘
        self.set = set（）
        # 手动设置最大页数
        self.max_p = max_p
        self.T = datetime.datetime.strftime（datetime.datetime.now（） “%Y%m%d%H%M“）
        self.headers = {
            “user-agent“: “Mozilla/5.0 （Windows NT 10.0; Win64; x64） AppleWebKit/537.36 （KHTML like Gecko） Chrome/57.0.2987.110 Safari/537.36“}
        self.title_list = [‘id‘ ‘shopname‘ ‘is_jd‘ ‘price‘ ‘brand‘ ‘year‘ ‘month‘ ‘weight‘ ‘thick‘ ‘long‘
                           ‘cpu_brand‘ ‘cpu_num‘
                           ‘sim_num‘ ‘sim‘ ‘rom‘ ‘ram‘ ‘size‘ ‘front_c‘

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        197  2018-06-16 20:51  selenium对京东淘宝商品爬取\.idea\misc.xml

     文件        322  2018-06-16 20:36  selenium对京东淘宝商品爬取\.idea\modules.xml

     文件        500  2018-06-16 20:51  selenium对京东淘宝商品爬取\.idea\selenium对京东淘宝商品爬取.iml

     文件      10537  2018-06-17 11:52  selenium对京东淘宝商品爬取\.idea\workspace.xml

     文件       9587  2018-06-10 19:14  selenium对京东淘宝商品爬取\jd_phone\crawler.py

     文件       3278  2018-06-12 11:01  selenium对京东淘宝商品爬取\jd_phone\ghostdriver.log

     文件     213909  2018-06-12 09:47  selenium对京东淘宝商品爬取\jd_phone\phone.txt

     文件    2081792  2018-06-12 11:04  selenium对京东淘宝商品爬取\jd_phone\手机_201806120951.xls

     文件       2596  2018-06-10 19:50  selenium对京东淘宝商品爬取\tm-products-m\tm-mobie.py

     文件     339183  2018-06-10 19:53  selenium对京东淘宝商品爬取\tm-products-m\uniqlo_201806101950.csv

     目录          0  2018-06-17 11:52  selenium对京东淘宝商品爬取\.idea

     目录          0  2018-06-15 17:17  selenium对京东淘宝商品爬取\jd_phone

     目录          0  2018-06-15 17:17  selenium对京东淘宝商品爬取\tm-products-m

     目录          0  2018-06-16 20:36  selenium对京东淘宝商品爬取

----------- ---------  ---------- -----  ----

              2661901                    14