• 大小: 2KB
    文件类型: .py
    金币: 1
    下载: 0 次
    发布日期: 2021-05-12
  • 语言: Python
  • 标签: Python  Movies  MongoDB  

资源简介

Python关于豆瓣电影信息的爬虫,抓起1w条电影数据只要一分钟左右,

资源截图

代码片段和文件信息

import json
from multiprocessing import Pool
import pymongo
import requests

# 电影数据爬虫
# 电影ID 电影title电影Genders
# directors导演 rate评分 cover_x star title url casts主演 cover海报 id

headers = {
    “Accept“: “text/htmlapplication/xhtml+xmlapplication/xml;q=0.9image/webpimage/apng*/*;q=0.8“
    “Accept-Encoding“: “gzipdeflatebr“
    “Accept-Language“: “zh-CNzh;q=0.9“
    “Cache-Control“: “no-cache“
    “Connection“: “keep-alive“
    # “Cookie“: “bid=imNup50_JnI“
    “Host“: “movie.douban.com“
    “Pragma“: “no-cache“
    “Upgrade-Insecure-Requests“: “1“
    “User-Agent“: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) “
                  “Chrome/71.0.3578.98 Safari/537.36 “

}
url = “https://movie.douban.com/j/new_search_subjects?sort=T&range=010&tags=&start={}“

# 声名数据库对象
clien

评论

共有 条评论