• 大小: 364KB
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-06-05
  • 语言: 其他
  • 标签: 网络爬虫  

资源简介

网络爬虫,多功能,有界面显示,代码有注释。 下面是文章连接:http://blog.csdn.net/tanglingbo/article/details/52704412 可以去看看界面如何。

资源截图

代码片段和文件信息

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;

namespace 爬虫demo
{
    public partial class demo : Form
    {
        public demo()
        {
            InitializeComponent();
            Control.CheckForIllegalCrossThreadCalls = false;//ul可以在线程间更新
        }
        #region 存放参数

        /// 
        /// 实现爬虫类
        /// 

        //Spider ;
        /// 
        /// 保存文件路径,默认是程序bin文件里的“下载文件”文件夹
        /// 

        string savePath = “下载文件“;//默认是程序bin文件里的“下载文件”文件夹
        Thread startDownload;//开始下载线程

        #endregion
        #region Load事件
        private void demo_Load(object sender EventArgs e)
        {
            savePath =txtPath.Text.Trim();//获取默认路径
            btnStop.Enabled = false;//禁用停止下载按钮

            Spider.ContentsSaved += new Spider.ContentsSavedHandler(Spider_ContentsSaved);//正文内容被保存到本地后触发
            Spider.DownloadFinish += new Spider.DownloadFinishHandler(Spider_DownloadFinish);//下载完成
            Spider.txtShow += new Spider.ex(txtShow);//下载完成

            
        }
        #endregion

        #region 委托方法   下载完成

        /// 
        /// 全部下载完成提示
        /// 

        /// 下载数量
        /// 
        #region 
        void Spider_DownloadFinish(int count)
        {
            Spider.Abort();
            Spider._stop = true;//停止下载
            btnStar.Enabled = true;//启用开始下载按钮
            btnStar.Text = “开始“;
            lbStatus.Text = “空闲“;//状态
            btnStop.Enabled = false;//禁用开始下载按钮
            btnPath.Enabled = true;//启用选择保存目录按钮
            txtUrl.ReadOnly = false;//启用编辑url文本框
            btnSheZhi.Enabled = true;//启用设置参数按钮
            MessageBox.Show(“下载完成:“ + count);
        }
        #endregion
        #region 数据提示
        void txtShow(string count)
        {
            try
            {
                rtxtWebException.AppendText(count);//把提示内容加载到控件
                rtxtWebException.ScrollToCaret();//将控件内容滚动到当前插入符号位置
            }
            catch
            {

            }

          
        }
        #endregion
        #endregion

        #region 文件下载完成提示

        /// 
        /// 文件下载完成提示
        /// 

        /// 保存路径
        /// url
        /// 文件类型
        void Spider_ContentsSaved(string path string urlstring fileType)
        {
            #region 显示到控件上面去
            ListViewItem li = new ListViewItem(“1“);
            li.SubItems.Add((listView1.Items.Count+1).ToString());
            li.SubItems.Add(url.Trim());
            li.SubItems.Add(path);
            li.SubItems.Add(fileType);
 

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2016-09-21 22:16  爬虫demo\
     目录           0  2016-09-21 22:16  爬虫demo\.vs\
     目录           0  2016-09-21 22:16  爬虫demo\.vs\爬虫demo\
     目录           0  2016-09-21 22:16  爬虫demo\.vs\爬虫demo\v14\
     文件       61952  2016-09-28 22:54  爬虫demo\.vs\爬虫demo\v14\.suo
     目录           0  2016-09-29 19:01  爬虫demo\爬虫demo\
     文件         997  2016-09-19 10:06  爬虫demo\爬虫demo.sln
     文件         184  2016-09-21 21:09  爬虫demo\爬虫demo\App.config
     目录           0  2016-09-25 16:20  爬虫demo\爬虫demo\bin\
     目录           0  2016-09-28 22:53  爬虫demo\爬虫demo\bin\Debug\
     目录           0  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\
     文件      135168  2016-09-29 19:00  爬虫demo\爬虫demo\bin\Debug\下载文件\201606132041386391.jpg
     文件       46006  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\gxitlogo2.png
     文件       27079  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\gxrjxy.cn_actvideo.html
     文件       19936  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\gxrjxy.cn_actvideo_show_833.html
     文件       52055  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\gxrjxy.cn_introduction.html
     文件       10662  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\gxrjxy.cn_newslist_1097.html
     文件       10662  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\gxrjxy.cn_newslist_1098.html
     文件       17897  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\gxrjxy.cn_news_show-1802.html
     文件       75502  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\gxrjxy.html
     文件        9812  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\logo2.png
     文件       19178  2016-09-29 18:58  爬虫demo\爬虫demo\bin\Debug\下载文件\工信部logo.png
     文件       32768  2016-09-29 19:01  爬虫demo\爬虫demo\bin\Debug\爬虫demo.exe
     文件         184  2016-09-21 21:09  爬虫demo\爬虫demo\bin\Debug\爬虫demo.exe.config
     文件       52736  2016-09-29 19:01  爬虫demo\爬虫demo\bin\Debug\爬虫demo.pdb
     文件       22696  2016-09-29 19:09  爬虫demo\爬虫demo\bin\Debug\爬虫demo.vshost.exe
     文件         184  2016-09-21 21:09  爬虫demo\爬虫demo\bin\Debug\爬虫demo.vshost.exe.config
     文件         490  2016-07-16 19:44  爬虫demo\爬虫demo\bin\Debug\爬虫demo.vshost.exe.manifest
     目录           0  2016-09-25 16:20  爬虫demo\爬虫demo\bin\Release\
     文件        9011  2016-09-29 19:01  爬虫demo\爬虫demo\Form1.cs
     文件       20505  2016-09-29 19:01  爬虫demo\爬虫demo\Form1.Designer.cs
............此处省略31个文件信息

评论

共有 条评论