c# 大数据量比较时-方案

来源：互联网发布：淘宝卖家信誉1 啥意思编辑：程序博客网时间：2024/06/07 12:11

1、当面临千万条数据量的比较时，从技术的角度来说应该用泛型键值（c#键值由于用了散列算法速度很快）。例如前几天我需要查的是航空公司、出发、到达、返点可以将航空公司-出发-到达做一个键，返点作为值。

            if (dtsourceBT.Rows.Count > 0)            {                dBaitour = new Dictionary<string, string>();                foreach (DataRow dr in dtsourceBT.Rows)                {                    string outstring = "";                    string tmpKey = ""; string tmpValue = "";                    if (!dBaitour.TryGetValue(tmpKey, out outstring))                    {                        dBaitour.Add(tmpKey, tmpValue);                    }                    else                    {                        dBaitour[tmpKey] = "";                    }                }            }

2、从业务角度来优化，这点很重要。因为所以的程序都不是孤立的。根据业务要求如果这样做

第一、查出所以的数据（将近5万条数据）

string sqlBT = "select ZRateId, DeparturePort,ArrivalPort,airwaycompanycode,CabinCode,RateValue,FlightNumber,NoFlightNumber from b2b_zrate_new where state=1 AND IssuedToDate>=convert(varchar(10),getdate(),120) and outPattern!=3 ORDER BY RateValue desc";
DataTable dtsourceBT = DbHelper.ExeAll116(sqlBT);

第二、通过航空公司筛调一部分数据（剩下3千条数据）

DataRow[] drBTS = dtsourceBT.Select(" airwaycompanycode='" + dr["AirCompany"] + "'");

第三、再去比较，这样数据量变小了。速度就快多了

foreach (DataRow drBT in drBTS)                    {                        if (drBT["DeparturePort"].ToString().Contains(drNew["DeparturePort"].ToString()))                        {                            if (drBT["ArrivalPort"].ToString().Contains(drNew["ArrivalPort"].ToString()))                            {                                if (drBT["CabinCode"].ToString().Contains(drNew["CabinCode"].ToString()))                                {                                    drNew["BTPolicyId"] = drBT["ZRateId"];                                    drNew["BTValue"] = (Convert.ToDecimal(drBT["RateValue"])*100).ToString();                                    break;                                }                            }                        }                    }