• 大小: 552KB
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-01-04
  • 语言: Python
  • 标签: python  爬虫  

资源简介

抓取国家统计局区划、城乡划分代码的简易python爬虫源码与爬取结果sql文件,本资源仅用于学习交流,不针对任何网站、软件、个人。

资源截图

代码片段和文件信息

# !/usr/bin/env python3
# -*- coding: utf-8 -*-
import urllib.request
import urllib.error
import time


class HtmlDownloader(object):
    def download(self url):
        if url is None:
            raise Exception(‘url is None‘)
        print(url)
        request = urllib.request.Request(url None {‘Cookie‘: ‘AD_RS_COOKIE=20083363‘
                                                     ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
                                                     AppleWeb\Kit/537.36 (KHTML like Gecko)\
                                                      Chrome/58.0.3029.110 Safari/537.36‘})
        try:
            with urllib.request.urlopen(request) as response:
                print(response.getcode())
                if response.g

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-05-26 16:34  CodeSpider\
     目录           0  2017-05-26 16:35  CodeSpider\.idea\
     文件          10  2017-05-25 19:26  CodeSpider\.idea\.name
     文件         398  2017-05-25 19:26  CodeSpider\.idea\CodeSpider.iml
     文件         159  2017-05-25 19:26  CodeSpider\.idea\encodings.xml
     文件         689  2017-05-25 19:26  CodeSpider\.idea\misc.xml
     文件         272  2017-05-25 19:26  CodeSpider\.idea\modules.xml
     文件       28862  2017-05-26 16:35  CodeSpider\.idea\workspace.xml
     文件        1100  2017-05-26 14:30  CodeSpider\html_downloader.py
     文件        2702  2017-05-26 15:23  CodeSpider\html_parser.py
     文件        1356  2017-05-26 16:34  CodeSpider\mysql_handler.py
     文件        2911  2017-05-26 14:24  CodeSpider\spider_main.py
     文件           0  2017-05-25 19:10  CodeSpider\__init__.py
     目录           0  2017-05-26 15:23  CodeSpider\__pycache__\
     文件        1210  2017-05-26 14:31  CodeSpider\__pycache__\html_downloader.cpython-35.pyc
     文件        3173  2017-05-26 15:23  CodeSpider\__pycache__\html_parser.cpython-35.pyc
     文件        1609  2017-05-26 11:29  CodeSpider\__pycache__\mysql_handler.cpython-35.pyc
     文件     3598221  2017-05-26 16:10  code_spider.sql

评论

共有 条评论