• 大小: 2KB
    文件类型: .py
    金币: 1
    下载: 0 次
    发布日期: 2021-06-02
  • 语言: Python
  • 标签: python爬虫  

资源简介

天猫商品评论爬虫,可以根据商品的id将对应商品的评论全部爬取下来

资源截图

代码片段和文件信息

# coding:utf-8
import requests
import json
import csv
import sys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)

def getCommodityComments(url):
    if url[url.find(‘id=‘)+14] != ‘&‘:
        id = url[url.find(‘id=‘)+3:url.find(‘id=‘)+15]
    else:
        id = url[url.find(‘id=‘)+3:url.find(‘id=‘)+14]
    url = ‘https://rate.taobao.com/feedRateList.htm?auctionNumId=‘+id+‘¤tPageNum=1‘
    res = requests.get(url)
    jc = json.loads(res.text.strip().strip(‘()‘))
    max = jc[‘total‘]
    users = []
    comments = []
    count = 0
    page = 1
    print(str(max))


    c = open(“tmall_MIJIA222.csv“ “wb“)
    c.write(‘\xEF\xBB\xBF‘)  # 这里是重点地方********重点内容**
    writer = csv.writer(c)


    while count        res = requests.get(url[:-1]+str(page))
        page = page + 1
        jc = json.loads(res.text.strip().strip(‘()‘))
        jc = jc[‘comment

评论

共有 条评论