C#开发网络爬虫

对现在所有的主流平台爬取是没任何问题！

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Net;
using System.Text.Regularexpressions;
using System.Threading;
using System.IO;
using System.Collections;
using System.xml;
using System.IO.Compression;
using HtmlAgilityPack;

namespace DataCollecting
{
    public partial class richTextBox1 : Form
    {
        public richTextBox1（）
        {
            InitializeComponent（）;
        }
        //private WebDownloader m_wd = new WebDownloader（）;
        List list = new List（）;
        private void button1_Click（object sender EventArgs e）
        {
            string url = GetHttpWebRequest（this.txtUrl.Text.Trim（））;
            txtHttp.Text = url;
        }
        /// 

        /// 抓取网页内容
        /// 

        /// 
        /// 
        //private string GetHttpWebRequest（string url）
        //{
        //    Uri uri = new Uri（url）;
        //    WebRequest webReq = WebRequest.Create（uri）;
        //   // WebResponse webRes = webReq.GetResponse（）;
        //    HttpWebRequest myReq = （HttpWebRequest）webReq;
        //    myReq.UserAgent = “User-Agent:Mozilla/4.0 （compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705“;
        //    myReq.Accept = “*/*“;
        //    myReq.KeepAlive = true;
        //    myReq.Headers.Add（“Accept-Language“ “zh-cnen-us;q=0.5“）;
        //    HttpWebResponse result = （HttpWebResponse）myReq.GetResponse（）;
        //    Stream receviceStream = result.GetResponseStream（）;
        //    StreamReader readerOfStream = new StreamReader（receviceStream System.Text.Encoding.GetEncoding（“utf-8“））;
        //    string strHTML = readerOfStream.ReadToEnd（）;
        //    readerOfStream.Close（）;
        //    receviceStream.Close（）;
        //    result.Close（）;
        //    return strHTML;
        //}
        /*
         当异常发生事后，WebException 中不仅有 StatusCode 标志着 HTTP 的错误代码，
         * 而且它的 Response 属性还包含由服务器发送的 WebResponse
         */
        //private string GetHttpWebRequest（string url）
        //{
        //    Uri uri = new Uri（url）;
        //    WebRequest webReq = WebRequest.Create（uri）;
        //    // WebResponse webRes = webReq.GetResponse（）;
        //    HttpWebRequest myReq = （HttpWebRequest）webReq;
        //    myReq.UserAgent = “User-Agent:Mozilla/4.0 （compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705“;
        //    myReq.Accept = “*/*“;
        //    myReq.KeepAlive = true;
        //    myReq.Headers.Add（“Accept-Language“ “zh-cnen-us;q=0.5“）;
        //    //HttpWebResponse result = （HttpWebResponse）myReq.GetResponse（）;
        //    HttpWebResponse result;
        //    try
        //    {
        //        result = （HttpWebResponse）myReq.GetResponse（）;
        //    }
        //    catch （Web

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        187  2016-05-10 16:05  数据采集\DataCollecting\App.config

     文件      92160  2016-07-23 17:26  数据采集\DataCollecting\bin\Debug\DataCollecting.exe

     文件        187  2016-05-10 16:05  数据采集\DataCollecting\bin\Debug\DataCollecting.exe.config

     文件      67072  2016-07-23 17:26  数据采集\DataCollecting\bin\Debug\DataCollecting.pdb

     文件      24224  2016-07-23 17:27  数据采集\DataCollecting\bin\Debug\DataCollecting.vshost.exe

     文件        187  2016-05-10 16:05  数据采集\DataCollecting\bin\Debug\DataCollecting.vshost.exe.config

     文件     135168  2014-11-20 19:42  数据采集\DataCollecting\bin\Debug\HtmlAgilityPack.dll

     文件      17625  2016-05-21 17:33  数据采集\DataCollecting\bin\Debug\Hyperlinks.xml

     文件       4726  2016-07-23 17:26  数据采集\DataCollecting\DataCollecting.csproj

     文件      14732  2016-07-23 17:26  数据采集\DataCollecting\Form1.cs

     文件       4875  2016-05-27 15:49  数据采集\DataCollecting\Form1.Designer.cs

     文件      16071  2016-05-27 15:49  数据采集\DataCollecting\Form1.resx

     文件       2814  2016-07-23 17:27  数据采集\DataCollecting\obj\Debug\DataCollecting.csproj.FileListAbsolute.txt

     文件        977  2016-07-23 13:51  数据采集\DataCollecting\obj\Debug\DataCollecting.csproj.GenerateResource.Cache

     文件      10711  2016-07-23 13:49  数据采集\DataCollecting\obj\Debug\DataCollecting.csprojResolveAssemblyReference.cache

     文件      92160  2016-07-23 17:26  数据采集\DataCollecting\obj\Debug\DataCollecting.exe

     文件      67072  2016-07-23 17:26  数据采集\DataCollecting\obj\Debug\DataCollecting.pdb

     文件        180  2016-07-23 17:26  数据采集\DataCollecting\obj\Debug\DataCollecting.Properties.Resources.resources

     文件       9855  2016-07-23 17:26  数据采集\DataCollecting\obj\Debug\DataCollecting.richTextBox1.resources

     文件        865  2016-07-23 13:49  数据采集\DataCollecting\obj\Debug\DesignTimeResolveAssemblyReferences.cache

     文件       7948  2016-07-23 17:26  数据采集\DataCollecting\obj\Debug\DesignTimeResolveAssemblyReferencesInput.cache

     文件          0  2016-05-10 16:05  数据采集\DataCollecting\obj\Debug\TemporaryGeneratedFile_036C0B5B-1481-4323-8D20-8F5ADCB23D92.cs

     文件          0  2016-05-10 16:05  数据采集\DataCollecting\obj\Debug\TemporaryGeneratedFile_5937a670-0e60-4077-877b-f7221da3dda1.cs

     文件          0  2016-05-10 16:05  数据采集\DataCollecting\obj\Debug\TemporaryGeneratedFile_E7A71F73-0F8D-4B9B-B56E-8E70B10BC5D3.cs

     文件        533  2016-05-12 14:51  数据采集\DataCollecting\Program.cs

     文件       1366  2016-05-10 16:05  数据采集\DataCollecting\Properties\AssemblyInfo.cs

     文件       2880  2016-05-10 16:05  数据采集\DataCollecting\Properties\Resources.Designer.cs

     文件       5612  2016-05-10 16:05  数据采集\DataCollecting\Properties\Resources.resx

     文件       1101  2016-05-10 16:05  数据采集\DataCollecting\Properties\Settings.Designer.cs

     文件        249  2016-05-10 16:05  数据采集\DataCollecting\Properties\Settings.settings

............此处省略18个文件信息