C# DataTable数据遍历优化详解

我们在进行开发时，会经常使用datatable来存储和操作数据，我发现在遍历datatable并对数据进行删除和添加操作时速度非常慢，查阅相关资料并测试在添加主键后可以使遍历和操作速度提高很多：

测试代码，测试的是我们向取出来数据满足flag！=1条件的所有数据的后面添加一条数据(因为这条数据的一些字段值是根据前面的几条满足条件[“accid='” + accid + “' and y='” + year + “' and absid <= ” + absid;]数据的值累加得到的)所以需要进行整个datatable的遍历来计算添加：

public static void test2()
{
 stopwatch watch = new stopwatch();
 using (dbconnection conn = sqlhelper.getconnection("connectionstring"))
 {
  using (sqlcommand cmd = new sqlcommand())
  {
   watch.start();
   cmd.commandtext = string.format(@"
select row_number() over (order by s.accid,s.currid,s.absid,s.flag)as rownum,s.* from test s 
");
   cmd.connection = conn as sqlconnection;
   cmd.commandtimeout = 60000;
   conn.open();
   datatable table = executedatatable(cmd);
   watch.stop();
   console.writeline("从数据库取出数据{0}条", table.rows.count);
   stopwatch watch2 = new stopwatch();
   watch2.start();
   datatable newtable = handleaccyear(table,true);
   watch2.stop();
   console.writeline("数据{0},遍历操作时间：毫秒：{1}，秒：{2}", newtable.rows.count, watch2.elapsedmilliseconds, watch2.elapsedmilliseconds / 1000);
  }
  conn.close();
 }
}

填充数据到datatable的方法

public static datatable executedatatable(sqlcommand cmd)
{
  datatable table = new datatable();
  sqldataadapter adaper = new sqldataadapter(cmd);
  adaper.fill(table);
  return table;
}

private static datatable handleaccyear(datatable dt, bool iscurrency)
{
  datatable newdt = dt.clone();
  //不使用主键
  //dt.primarykey = new datacolumn[] {
  // dt.columns["accid"],
  // dt.columns["flag"],
  // dt.columns["absid"],
  // dt.columns["rownum"],
  //};
  if (dt.rows.count > 0)
  {
   object flag = null;
   foreach (datarow row in dt.rows)
   {
    flag = row["flag"];
    if (flag != null && !helper.areequal(flag.tostring(), "1"))
    {
     datarow newrow = newdt.newrow();
     datarow sourcerow = newdt.newrow();
     sourcerow.itemarray = row.itemarray;
     newrow.itemarray = row.itemarray;
     string accid = row["accid"].tostring(),
      year = row["y"].tostring(),
      absid = row["absid"].tostring();
     newrow["flag"] = "5";
     newrow["suminfo"] = "测试数据";
     string filter = "accid='" + accid + "' and y='" + year + "' and absid <= " + absid;
     if (!iscurrency)
     {
      filter = "accid='" + accid + "'and currid='" + row["currid"] + "' and y='" + year + "' and absid <= " + absid;
     }
     datarow[] selectrow = dt.select(filter);
     double debitlc = 0, debitqty = 0, creditlc = 0, creditqty = 0, debitfc = 0, creditfc = 0;
     foreach (datarow item in selectrow)
     {
      debitlc += todouble(item["yeardebitlc"]);
      debitqty += todouble(item["yeardebitqty"]);
      creditlc +=todouble(item["yearcreditlc"]);
      creditqty += todouble(item["yearcreditqty"]);
      if (!iscurrency)
      {
       debitfc += todouble(item["yeardebitfc"]);
       creditfc += todouble(item["yearcreditfc"]);
      }
     }
     newrow["curdebitlc"] = debitlc;
     newrow["curdebitqty"] = debitqty;
     newrow["curcreditlc"] = creditlc;
     newrow["curcreditqty"] = creditqty;
     //newrow["curdebitlc"] = dt.compute("sum(yeardebitlc)", filter);
     //newrow["curdebitqty"] = dt.compute("sum(yeardebitqty)", filter);
     //newrow["curcreditlc"] = dt.compute("sum(yearcreditlc)", filter);
     //newrow["curcreditqty"] = dt.compute("sum(yearcreditqty)", filter);
     if (!iscurrency)
     {
      //newrow["curcreditfc"] = dt.compute("sum(yearcreditfc)", filter);
      //newrow["curdebitfc"] = dt.compute("sum(yeardebitfc)", filter);
      newrow["curcreditfc"] = creditfc;
      newrow["curdebitfc"] = debitfc;
     }
     newdt.rows.add(sourcerow);
     newdt.rows.add(newrow);
    }
    else
    {
     datarow sourcerow = newdt.newrow();
     sourcerow.itemarray = row.itemarray;
     newdt.rows.add(sourcerow);
    }
   }
  }
  return newdt;
 }

当不使用主键进行遍历计算插入相应的值时所用时间竟然是这么多：

当我使用同样的方法，同样的数据添加主键(即把handleaccyear方法中不使用主键下面的注释去掉后).进行遍历计算等操作，得出的结果竟然有这么大的差别：

补充：c# datatable数据量大，循环处理数据的时候优化速度

相信大家用for循环datatable数据的不会太少，这个在数据量比较小的时候可以接受，但是数据量大的时候却会造成cpu占用过高，甚至把电脑资源耗尽卡死至无限等待，

其实一些循环耗时的操作可以用线程池分块来处理，这样会减轻cpu很多压力，好比食堂打饭，当只有一个窗口的时候势必等待的时间会非常的长，但是多开几个窗口的时候却大大提高效率，

c#中用线程池就可以做到，本来一开始的时候我用的是为每个区块开一个线程，但是有一个问题就是开了那么多的线程没办法结束他们，后来我想到了线程池，

具体代码如下：

int sid = dt.rows.count % 100 == 0 ? (dt.rows.count / 100) : (dt.rows.count / 100 + 1);
    for (int a = 1; a <= sid; a++)
    {
     object aa=a.tostring() + "," + sid.tostring();
     threadpool.queueuserworkitem(todo
      , aa);
    }
 public void todo(object aa)
 {
  string sql = "";
  int startindex = convert.toint32(aa.tostring().split(',')[0]);
  int limitstep = convert.toint32(aa.tostring().split(',')[1]);
  for (int i = (startindex > 1 ? ((startindex - 1) * 100) : 0); i < (startindex == limitstep ? (dt.rows.count) : startindex*100); i++)
  {
   //todo数据操作
  }
  thread.sleep(2000);
 }

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。