• 大小: 4KB
    文件类型: .py
    金币: 1
    下载: 0 次
    发布日期: 2021-01-09
  • 语言: Python
  • 标签:

资源简介

亚马逊爬虫爬取商品评论价格 等信息保存成CSV格式。。。。

资源截图

代码片段和文件信息

import requests
from bs4 import BeautifulSoup as bs
from multiprocessing import Pool
import pandas as pd
Hearder={
    ‘Accept‘:‘text/htmlapplication/xhtml+xmlapplication/xml;q=0.9image/webp*/*;q=0.8‘
    ‘Accept-Encoding‘:‘gzip deflate sdch‘
    ‘Accept-Language‘:‘zh-CNzh;q=0.8‘
    ‘Cache-Control‘:‘max-age=0‘
    ‘Connection‘:‘keep-alive‘
    ‘Host‘:‘www.amazon.cn‘
    ‘Upgrade-Insecure-Requests‘:‘1‘
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/63.0.3239.84 Safari/537.36‘
}
session=requests.session()
session.headers=Hearder
def write_data(dataid):#写数据到csv
    print(“SAVE id of goods:“ + str(id))
    save=pd.Dataframe(data)#格式化数据 pandasdatafrane
    save.to_csv(‘data.csv‘ mode=‘a‘ index=False

评论

共有 条评论

相关资源