• 大小: 3.40KB
    文件类型: .py
    金币: 2
    下载: 1 次
    发布日期: 2021-03-01
  • 语言: Python
  • 标签: python  

资源简介

python爬虫初级学习,爬取豆瓣top250电影信息

资源截图

代码片段和文件信息

import re
import requests
from bs4 import BeautifulSoup
def get_content(url ):
    try:
        #浏览器标识
        user_agent = “Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/59.0.3071.109 Safari/537.36“
        response = requests.get(url headers={‘User-Agent‘: user_agent})
        response.raise_for_status()  # 如果返回的状态码不是200, 则抛出异常;   不是200代表错误
        response.encoding = response.apparent_encoding  # 判断网页的编码格式, 便于respons.text知道如何解码;
    except Exception as e:
        print(“爬取错误“)
    else:
        print(response.url)
        print(“爬取成功!“)
        return response.content


def parser_content(htmlContent):
    # 实例化soup对象, 便于处理;
    soup = BeautifulSoup(htmlContent ‘html.parser‘)
    #  1). 电影信息存储在ol标签里面的li标签:
    #  
    olObj = soup.find_all(‘ol‘ class_=‘grid_view‘)[0]

    #  2). 获取每个电影的详细信息 存储在li标签;
    details = olObj.find_all(‘li‘)

    for detail in details:
        # 3). 获取电影名称;
        movi

评论

共有 条评论