资源简介
抓取国家统计局区划、城乡划分代码的简易python爬虫源码与爬取结果sql文件,本资源仅用于学习交流,不针对任何网站、软件、个人。
代码片段和文件信息
# !/usr/bin/env python3
# -*- coding: utf-8 -*-
import urllib.request
import urllib.error
import time
class HtmlDownloader(object):
def download(self url):
if url is None:
raise Exception(‘url is None‘)
print(url)
request = urllib.request.Request(url None {‘Cookie‘: ‘AD_RS_COOKIE=20083363‘
‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWeb\Kit/537.36 (KHTML like Gecko)\
Chrome/58.0.3029.110 Safari/537.36‘})
try:
with urllib.request.urlopen(request) as response:
print(response.getcode())
if response.g
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2017-05-26 16:34 CodeSpider\
目录 0 2017-05-26 16:35 CodeSpider\.idea\
文件 10 2017-05-25 19:26 CodeSpider\.idea\.name
文件 398 2017-05-25 19:26 CodeSpider\.idea\CodeSpider.iml
文件 159 2017-05-25 19:26 CodeSpider\.idea\encodings.xm
文件 689 2017-05-25 19:26 CodeSpider\.idea\misc.xm
文件 272 2017-05-25 19:26 CodeSpider\.idea\modules.xm
文件 28862 2017-05-26 16:35 CodeSpider\.idea\workspace.xm
文件 1100 2017-05-26 14:30 CodeSpider\html_downloader.py
文件 2702 2017-05-26 15:23 CodeSpider\html_parser.py
文件 1356 2017-05-26 16:34 CodeSpider\mysql_handler.py
文件 2911 2017-05-26 14:24 CodeSpider\spider_main.py
文件 0 2017-05-25 19:10 CodeSpider\__init__.py
目录 0 2017-05-26 15:23 CodeSpider\__pycache__\
文件 1210 2017-05-26 14:31 CodeSpider\__pycache__\html_downloader.cpython-35.pyc
文件 3173 2017-05-26 15:23 CodeSpider\__pycache__\html_parser.cpython-35.pyc
文件 1609 2017-05-26 11:29 CodeSpider\__pycache__\mysql_handler.cpython-35.pyc
文件 3598221 2017-05-26 16:10 code_spider.sql
相关资源
- python一个打砖块的小游戏
- python实验指导书 图文高清版
- python主动安装第三方库
- python爬取豆瓣top250电影信息
- python绘制 大蟒蛇
- python小程序(数组排序)
- Python去水印(基于cv2)
- Python 数据结构入门 - 二叉搜索树(
- python空心电感计算器
- python除法.docx
- 抽奖背后的秘密(python抽奖逻辑)
- 绘制统计学直方图茎叶图(matplotlib)
- python求解标准差
- python数据分析与处理
- 利用Python将照片在Excel中利用点阵图显
- python turtle 跳房子
- python 人群计数
- Python调用第三方API换脸
- “去哪儿吃”帮你选餐厅(python代码
- python 控制台登陆密码验证
- KNN算法的Python实现(datingrecd.ipynb)
- python核心编程第二版-习题答案
- python爬取笔趣阁小说
- Python程序设计基础试题以及答案(3
- python聊天-服务端与客户端
- python递归求最大公约数
- 用python画皮卡丘(基于turtle)
- 伟哥的python私房菜(中国程序员).
- pip一键升级(python脚本)
- 我的世界python编程——天空行走py格式
评论
共有 条评论