微软官方推荐.NET平台的爬虫软件，DotnetSpider.Core

DotnetSpider.Core，该爬虫软件.Net Core平台，我已封装好的，直接可以跑，附带导出报表功能以及写文本，希望能帮助大家

using Export.Common.Model;
using Export.Common.Service;
using Newtonsoft.Json;
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;

namespace Export
{
    public partial class Index : Form
    {
        public Index（）
        {
            InitializeComponent（）;
        }

        private void btn_start_Click（object sender EventArgs e）
        {
            string redisTable = table_txt.Text;
            string selectTxt = select_txt.Text;
            string countTxt = count_txt.Text;
            DoRedisHash doRedisHash = new DoRedisHash（2）;
            List dataModels = doRedisHash.GetHashValues（redisTable）;
            List DoDatas = new List（）;
            foreach （var item in dataModels）
            {
                DoData doData = JsonConvert.Deserializeobject（item）;
                DoDatas.Add（doData）;
            }
            List selectData = new List（）;
            try
            {
                if （selectTxt != ““）
                {
                    selectData = DoDatas.Where（a => a.goodsClass == selectTxt）.Take（int.Parse（countTxt））.ToList（）;
                }
                else
                {
                    selectData = DoDatas.Take（int.Parse（countTxt））.ToList（）;
                }

                //Console.WriteLine（“导出初始化...“）;
                FileStream fs1 = new FileStream（“../../“ + selectTxt.Replace（“/“ ““） + “.csv“ FileMode.Append）;
                StreamWriter sw1 = new StreamWriter（fs1 Encoding.UTF8）;
                FileStream fs2 = new FileStream（“../../“ + selectTxt.Replace（“/“ ““） + “sql“ + “.txt“ FileMode.Append）;
                StreamWriter sw2 = new StreamWriter（fs2 Encoding.UTF8）;
                string href = “\“商品名称\“\“商品货号\“\“商品品牌\“\“市场售价\“\“本店售价\“\“积分购买额度\“\“商品原始图\“\“商品图片\“\“商品缩略图\“\“商品关键词\“\“简单描述\“\“详细描述\“\“商品重量（kg）\“\“库存数量\“\“库存警告数量\“\“是否精品\“\“是否新品\“\“是否热销\“\“是否上架\“\“能否作为普通商品销售\“\“是否实体商品\““;
                sw1.WriteLine（href）;
                StringBuilder goodsImgUrls = new StringBuilder（）;
                progressBar1.Maximum = selectData.Count;
                int count = 0;
                foreach （var dataModel in selectData）
                {
                    count++;
                    goodsImgUrls.AppendLine（$“UPDATE ‘ecs_goods‘ SET ‘goods_thumb‘=‘{dataModel.goodsImgUrl}‘‘goods_img‘=‘{dataModel.goodsImgUrl}‘‘original_img‘=‘{dataModel.goodsImgUrl}‘ WHERE ‘goods_sn‘ = ‘{dataModel.goodsNumber}‘“ + “;“）;

                    StringBuilder sb = new StringBuilder（）;
                    if （dataModel.goodsDetails.Length > 32767）
                    {
                        dataModel.goodsDetails = dataModel.goodsDetails.Substring（0 32767）;
                    }
       

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件         22  2018-06-27 14:07  NetSpider\.git\COMMIT_EDITMSG

     文件        772  2018-06-27 14:07  NetSpider\.git\config

     文件         73  2018-06-27 14:07  NetSpider\.git\description

     文件         23  2018-06-27 14:07  NetSpider\.git\HEAD

     文件        478  2018-06-27 14:07  NetSpider\.git\hooks\applypatch-msg.sample

     文件        896  2018-06-27 14:07  NetSpider\.git\hooks\commit-msg.sample

     文件       3327  2018-06-27 14:07  NetSpider\.git\hooks\fsmonitor-watchman.sample

     文件        189  2018-06-27 14:07  NetSpider\.git\hooks\post-update.sample

     文件        424  2018-06-27 14:07  NetSpider\.git\hooks\pre-applypatch.sample

     文件       1642  2018-06-27 14:07  NetSpider\.git\hooks\pre-commit.sample

     文件       1348  2018-06-27 14:07  NetSpider\.git\hooks\pre-push.sample

     文件       4898  2018-06-27 14:07  NetSpider\.git\hooks\pre-rebase.sample

     文件        544  2018-06-27 14:07  NetSpider\.git\hooks\pre-receive.sample

     文件       1239  2018-06-27 14:07  NetSpider\.git\hooks\prepare-commit-msg.sample

     文件       3610  2018-06-27 14:07  NetSpider\.git\hooks\update.sample

     文件       3747  2018-06-27 14:07  NetSpider\.git\index

     文件        240  2018-06-27 14:07  NetSpider\.git\info\exclude

     文件        334  2018-06-27 14:07  NetSpider\.git\logs\HEAD

     文件        334  2018-06-27 14:07  NetSpider\.git\logs\refs\heads\master

     文件        150  2018-06-27 14:07  NetSpider\.git\ms-persist.xml

     文件        229  2018-06-27 14:07  NetSpider\.git\objects\03\96498e380a55795e485c7ce4b8e55e61be52f5

     文件     291921  2018-06-27 14:07  NetSpider\.git\objects\09\7a22606d944129ef167f1dd3eadd0cbc0313fd

     文件       1624  2018-06-27 14:07  NetSpider\.git\objects\0b\2043fc7b6566a3480db36acfabf34abf100283

     文件        226  2018-06-27 14:07  NetSpider\.git\objects\0c\24ce113033441f596d01076cfed9d2739b264b

     文件        473  2018-06-27 14:07  NetSpider\.git\objects\11\2d06742d0fd15a0d033c7d8aca72b7081cd14c

     文件        110  2018-06-27 14:07  NetSpider\.git\objects\17\839bcd56d86fb3ad88f9a3a7c7bc3e0df8cd89

     文件       1665  2018-06-27 14:07  NetSpider\.git\objects\1a\f7de150c99c12dd67a509fe57c10d63e4eeb04

     文件        751  2018-06-27 14:07  NetSpider\.git\objects\1f\f0c423042b46cb1d617b81efb715defbe8054d

     文件        183  2018-06-27 14:07  NetSpider\.git\objects\20\7d4effdcd731d9bd887128d2e764063d2f95d4

     文件       1383  2018-06-27 14:07  NetSpider\.git\objects\20\8c2b11c8a4f05b4ec73056933e7ebd4056bc03

............此处省略302个文件信息