• 大小: 4.52M
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-01-30
  • 语言: Python
  • 标签: python  ZIP  源码  下载  12  

资源简介


代码片段和文件信息


import requests  # 网络请求模块
from bs4 import BeautifulSoup  # 网页解析模块
import csv  # csv文件模块


def get_html():
    # 网址
    url = ‘https://bj.58.com/wangjing/pinpaigongyu/pn/{page}/?minprice=2000_3000‘
    # 初始化页码
    page = 0
    # 打开re.csv文件如果没有就创建一个,并设置写入模式
    csv_file = open(‘renting.csv‘ ‘w‘ encoding=‘utf_8_sig‘ newline=‘‘)
    # 创建writer对象
    writer = csv.writer(csv_file dialect=‘excel‘)
    # 循环所有页面
    while True:
        page += 1
        # 抓取目标页面
        response = requests.get(url.format(page=page))
        response.encoding = ‘utf-8‘  # 设置编码方式
        # 创建一个BeautifulSoup对象,获取页面正文
        html = BeautifulSoup(response.text “html.parser“)
        # 获取当前页面的房子信息
        house_list = html.select(“.list > li“)
        print(‘正在下载网页‘ url.format(page=page)

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     文件          51  2019-02-15 08:49  readme.txt
     文件     2577408  2019-01-22 11:23  程序配置说明.doc
     文件     2397696  2019-04-08 10:01  高德地图+58租房的程序使用说明.doc
     文件        2749  2019-01-22 11:23  golden_map+58rental\crawl.py
     文件        8813  2019-04-01 09:36  golden_map+58rental\index.html
     文件       40650  2019-01-22 11:23  golden_map+58rental\renting.csv
     文件         270  2019-04-04 09:40  golden_map+58rental\web.py
     文件         431  2019-01-22 11:23  golden_map+58rental\.idea\golden_map+58rental.iml
     文件         185  2019-01-22 11:23  golden_map+58rental\.idea\misc.xml
     文件         290  2019-01-22 11:23  golden_map+58rental\.idea\modules.xml
     文件       12217  2019-04-04 09:40  golden_map+58rental\.idea\workspace.xml

评论

共有 条评论