资源简介

scrapy模拟知乎登录并获取知乎用户的信息,模拟登录时使用selenium ,数据存储在mongoDB中

资源截图

代码片段和文件信息

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class LoginscrapyItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pass


class UserItem(scrapy.Item):
    “““
    定义了响应报文中json的字段
    “““
    collection = ‘zhihuUser‘
    is_followed = scrapy.Field()
    avatar_url_template = scrapy.Field()
    user_type = scrapy.Field()
    answer_count = scrapy.Field()
    is_following = scrapy.Field()
    url = scrapy.Field()
    type = scrapy.Field()
    url_token = scrapy.Field()
    id = scrapy.Field()
    allow_message = scrapy.Field()
    articles_count = scrapy.Field()
    is_blocking = scrapy.Field()
    name = scrapy.Field()
    

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2019-04-27 09:30  loginScrapy\
     目录           0  2019-04-27 10:02  loginScrapy\.idea\
     目录           0  2019-04-25 16:41  loginScrapy\.idea\inspectionProfiles\
     文件         228  2019-04-25 16:41  loginScrapy\.idea\inspectionProfiles\profiles_settings.xml
     文件         398  2019-04-25 16:41  loginScrapy\.idea\loginScrapy.iml
     文件         258  2019-04-26 17:12  loginScrapy\.idea\misc.xml
     文件         274  2019-04-25 16:41  loginScrapy\.idea\modules.xml
     文件       39070  2019-04-27 10:02  loginScrapy\.idea\workspace.xml
     目录           0  2019-04-26 22:42  loginScrapy\log\
     文件      145784  2019-04-26 22:47  loginScrapy\log\scrapy_2019_4_26.log
     目录           0  2019-04-27 10:02  loginScrapy\loginScrapy\
     文件           0  2019-01-29 08:32  loginScrapy\loginScrapy\__init__.py
     目录           0  2019-04-26 22:42  loginScrapy\loginScrapy\__pycache__\
     文件         147  2019-04-25 16:41  loginScrapy\loginScrapy\__pycache__\__init__.cpython-36.pyc
     文件        1018  2019-04-26 16:35  loginScrapy\loginScrapy\__pycache__\items.cpython-36.pyc
     文件        7853  2019-04-26 19:48  loginScrapy\loginScrapy\__pycache__\middlewares.cpython-36.pyc
     文件        1650  2019-04-26 19:07  loginScrapy\loginScrapy\__pycache__\pipelines.cpython-36.pyc
     文件         940  2019-04-26 22:42  loginScrapy\loginScrapy\__pycache__\settings.cpython-36.pyc
     文件        1066  2019-04-26 16:34  loginScrapy\loginScrapy\items.py
     文件       10508  2019-04-27 10:02  loginScrapy\loginScrapy\middlewares.py
     文件        1084  2019-04-26 19:07  loginScrapy\loginScrapy\pipelines.py
     文件        3865  2019-04-26 22:41  loginScrapy\loginScrapy\settings.py
     目录           0  2019-04-26 21:23  loginScrapy\loginScrapy\spiders\
     文件         161  2019-01-29 08:32  loginScrapy\loginScrapy\spiders\__init__.py
     目录           0  2019-04-26 21:24  loginScrapy\loginScrapy\spiders\__pycache__\
     文件         155  2019-04-25 16:41  loginScrapy\loginScrapy\spiders\__pycache__\__init__.cpython-36.pyc
     文件        1997  2019-04-25 17:45  loginScrapy\loginScrapy\spiders\__pycache__\renren.cpython-36.pyc
     文件        1576  2019-04-25 18:11  loginScrapy\loginScrapy\spiders\__pycache__\renren1.cpython-36.pyc
     文件        1404  2019-04-25 17:49  loginScrapy\loginScrapy\spiders\__pycache__\zhihu.cpython-36.pyc
     文件        1671  2019-04-25 19:41  loginScrapy\loginScrapy\spiders\__pycache__\zhihu1.cpython-36.pyc
     文件        2962  2019-04-26 21:24  loginScrapy\loginScrapy\spiders\__pycache__\zhihu2.cpython-36.pyc
............此处省略7个文件信息

评论

共有 条评论