基于svm的中文文本自动分类系统的语料库

import urllib2
import urllib
import re
import chardet
import sys

class HTML_Tool:
    BgnCharToNoneRex = re.compile（“（\t|\n| ||）“）
    EndCharToNoneRex = re.compile（“<.*?>“）
    BgnPartRex = re.compile（““）
    CharToNewLineRex = re.compile（“（
|
||
|
）“）
    CharToNextTabRex = re.compile（““）
    replaceTab = [（“<““<“）（“>““>“）（“&““&“）（“&““\““）（“nbsp;““ “）]
    
    def Replace_Char（selfx）:
        x = self.BgnCharToNoneRex.sub（““x）
        x = self.BgnPartRex.sub（“\n    “x）
        x = self.CharToNewLineRex.sub（“\n“x）
        x = self.CharToNextTabRex.sub（“\t“x）
        x = self.EndCharToNoneRex.sub（““x）

        for t in self.replaceTab:
            x = x.replace（t[0]t[1]）
        return x

class crawler:
    def __init__（self）:
        self.page = 11
        self.myTool = HTML_Tool（）
        self.urllist = []

        self.index = 1


    def downloadpage（selfurl）: 
        myResponse  = urllib2.urlopen（url）
        myPage = myResponse.read（）
        typeEncode = sys.getfilesystemencoding（）
        infoencode = chardet.detect（myPage）.get（‘encoding‘‘utf-8‘）
        html = myPage.decode（infoencode‘ignore‘）.encode（typeEncode）
        links = re.findall（‘        for link in links:
            link =‘http://studa.net‘ + link
            self.download（link）
        self.index =+ 1
        url = “http://www.studa.net/dilidizhi/index0“ + str（self.index）+“.html“
        self.getIndexPage（url）

    def download（selfurl）:
        print url
        url2 = url.replace（“.html““-2.html“）
        myResponse1  = urllib2.urlopen（url）
        myPage1 = myResponse1.read（）
        myResponse2  = urllib2.urlopen（url2）
        myPage2 = myResponse2.read（）
        typeEncode = sys.getfilesystemencoding（）
        infoencode = chardet.detect（myPage1）.get（‘encoding‘‘utf-8‘）
        html1 = myPage1.decode（infoencode‘ignore‘）.encode（typeEncode）
        html2 = myPage2.decode（infoencode‘ignore‘）.encode（typeEncode）
        myItems1 = re.findall（‘（.*?）