一个简单的网易新闻爬虫

import json
import requests
import re
from selenium import webdriver
import time
import os
from bs4 import BeautifulSoup
import pymysql

def getHTMLText（url）:
    try:
        headers = {‘User-Agent‘:‘Mozilla/5.0 （Windows NT 6.1; WOW64; rv:23.0） Gecko/20100101 Firefox/23.0‘}
        r = requests.get（url headers=headerstimeout = 30）
        r.encoding = ‘GBK‘
        r.raise_for_status（）
        return r.text
    except:
        return ““
def getContent（urlntype）:
    #===============================获取新闻页面==============================
    tbnews_id = 0
    commentids=[]
    print（url）
    html = getHTMLText（url）
    soup = BeautifulSoup（html“html.parser“）
    [s.extract（） for s in soup（[‘script‘‘style‘]）]
    title = soup.find_all（“h1“）           #爬取标题
    if title==[]:
        return 
    else:tit=title[0].get_text（）
    path = soup.select（“.post_crumb“）
    time=soup.select（“.post_time_source“）             #爬取时间和来源
    if time==[]:
        tim =