• 大小: 3KB
    文件类型: .py
    金币: 1
    下载: 0 次
    发布日期: 2021-06-14
  • 语言: Python
  • 标签: 爬虫  python  招聘  

资源简介

python网络爬虫,爬取Boss直聘网招聘信息,可输入城市和职位进行爬取,默认学历为本科可以修改

资源截图

代码片段和文件信息

# -*- coding: utf-8 -*-
“““
Created on Tue Jul 23 17:12:30 2019

@author: Administrator
“““

import urllib.request
import urllib.parse
import re
import csv
import time

#https://www.zhipin.com/c101130100/d_203/?query=Java&page=1&ka=page-1

class ZhaopinSpyder:
    def __init__(self):
        self.baseurl = “https://www.zhipin.com/c“
        self.headers = {“user-Agent“:“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML like Gecko) Chrome/14.0.835.163 Safari/535.1“}
        self.name = ““
        self.city = ““
        #self.page = 0
    # 获取页面
    def getPage(selfurl):
        req = urllib.request.Request(urlheaders=self.headers)
        res = urllib.request.urlopen(req)
        html = res.read().decode(“utf-8“)
        #print(html)
        self.parsePage(html)      
    # 解析页面
    def parsePage(self html):
        p = re.compile(r‘.*?tle“>(.*?)
.*?(.*?).*?(.*?).*?.*?target=“_blank“>(.*?).*?‘re.S)
        rList = p.findall(html)
        if bool(rList):
            #print(rList)
            self.writePage(rList)
        
    # 保存数据
    def writePage(selfList):
        
        f = open(self.city+“_“+self.name+“.csv““a“newline=““encoding=“utf-8“)
        write = csv.

评论

共有 条评论