• 大小: 111KB
    文件类型: .rar
    金币: 2
    下载: 0 次
    发布日期: 2024-02-02
  • 语言: Python
  • 标签: 微博爬虫  

资源简介

python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫

资源截图

代码片段和文件信息

# coding=utf-8

“““  
Created on 2016-04-24 @author: Eastmount

功能: 爬取新浪微博用户的信息及微博评论
网址:http://weibo.cn/ 数据量更小 相对http://weibo.com/

“““    

import time            
import re            
import os    
import sys  
import codecs  
import shutil
import urllib 
from selenium import webdriver        
from selenium.webdriver.common.keys import Keys        
import selenium.webdriver.support.ui as ui        
from selenium.webdriver.common.action_chains import ActionChains



#先调用无界面浏览器PhantomJS或Firefox    
#driver = webdriver.PhantomJS(executable_path=“G:\phantomjs-1.9.1-windows\phantomjs.exe“)    
driver = webdriver.Firefox()
wait = ui.WebDriverWait(driver10)


#全局变量 文件操作读写信息
inforead = codecs.open(“SinaWeibo_List_best_1.txt“ ‘r‘ ‘utf-8‘)
infofile = codecs.open(“SinaWeibo_Info_best_1.txt“ ‘a‘ ‘utf-8‘)


#********************************************************************************
#                            第一步: 登陆weibo.cn 
#        该方法针对weibo.cn有效(明文形式传输数据) weibo.com见学弟设置POST和Header方法
#                LoginWeibo(username password) 参数用户名 密码
#********************************************************************************

def LoginWeibo(username password):
    try:
        #输入用户名/密码登录
        print u‘准备登陆Weibo.cn网站...‘
        driver.get(“http://login.sina.com.cn/“)
        elem_user = driver.find_element_by_name(“username“)
        elem_user.send_keys(username) #用户名
        elem_pwd = driver.find_element_by_name(“password“)
        elem_pwd.send_keys(password)  #密码
        #elem_rem = driver.find_element_by_name(“safe_login“)
        #elem_rem.click()             #安全登录

        #重点: 暂停时间输入验证码(http://login.weibo.cn/login/ 手机端需要)
        time.sleep(20)
        
        #elem_sub = driver.find_element_by_xpath(“//input[@class=‘smb_btn‘]“)
        #elem_sub.click()              #点击登陆 因无name属性
        elem_pwd.send_keys(Keys.RETURN)
        time.sleep(2)
        
        #获取Coockie 推荐资料:http://www.cnblogs.com/fnng/p/3269450.html
        print driver.current_url
        print driver.get_cookies()  #获得cookie信息 dict存储
        print u‘输出Cookie键值对信息:‘
        for cookie in driver.get_cookies(): 
            #print cookie
            for key in cookie:
                print key cookie[key]
                    
        #driver.get_cookies()类型list 仅包含一个元素cookie类型dict
        print u‘登陆成功...‘
        
        
    except Exceptione:      
        print “Error: “e
    finally:    
        print u‘End LoginWeibo!\n\n‘


#********************************************************************************
#                  第二步: 访问个人页面http://weibo.cn/5824697471并获取信息
#                                VisitPersonPage()
#        编码常见错误 UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters 
#********************************************************************************

def VisitPersonPage(user_id):

    try:
        global infofile       #全局文件变量
        url = “http:/

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件      13386  2016-04-24 20:55  [源码] 爬取移动端微博信息 (强推)\2016-04-23\20160423_SinaWeibo_Num_Best.txt

     文件       1595  2016-04-24 20:55  [源码] 爬取移动端微博信息 (强推)\2016-04-23\Megry_Result_Best.py

     文件     237289  2016-04-24 20:52  [源码] 爬取移动端微博信息 (强推)\2016-04-23\SinaWeibo_Info_best_1.txt

     文件        189  2016-04-24 20:46  [源码] 爬取移动端微博信息 (强推)\2016-04-23\SinaWeibo_List_best_1.txt

     文件      12115  2016-04-24 20:54  [源码] 爬取移动端微博信息 (强推)\2016-04-23\spider_selenium_sina_content.py

     文件        840  2016-04-24 21:02  运行配置过程.txt

     文件       5628  2016-04-24 20:31  [源码] 爬取客户端微博信息\SinaWeibo_Info_best_1.txt

     文件         27  2016-04-24 03:45  [源码] 爬取客户端微博信息\SinaWeibo_List_best_1.txt

     文件       8119  2016-04-24 20:31  [源码] 爬取客户端微博信息\weibo_spider2.py

     文件      17680  2016-04-24 21:18  [源码] 爬取移动端个人信息 关注id和粉丝id (速度慢)\SinaWeibo_Info_1.txt

     文件         50  2016-04-24 21:17  [源码] 爬取移动端个人信息 关注id和粉丝id (速度慢)\SinaWeibo_List_1.txt

     文件      14884  2016-04-24 21:19  [源码] 爬取移动端个人信息 关注id和粉丝id (速度慢)\spider_selenium_sina_info_other_userid_all.py

     目录          0  2016-04-24 20:55  [源码] 爬取移动端微博信息 (强推)\2016-04-23

     目录          0  2016-04-24 20:46  [源码] 爬取移动端微博信息 (强推)

     目录          0  2016-04-24 20:42  [源码] 爬取客户端微博信息

     目录          0  2016-04-24 21:18  [源码] 爬取移动端个人信息 关注id和粉丝id (速度慢)

----------- ---------  ---------- -----  ----

               311802                    16


评论

共有 条评论