高吞吐量的一个日志函数类_用于IOCP (Delphi)

 

      在开发服务器端程序的时候，日志是必须的一个功能。由于服务器端的要频繁的把数据写入日志，开始的时候用了一个很简单日志函数

就是直接把日志字符写入文件中。然后关闭连接。一直也应用良好。但做压力测试的时候，因为要每个连接的数据都要写入日志，发现运行的一段时间后，频繁掉线，CPU占用率，居高不下，优化了可以想到的很多地方，有一定的效果，仔细观察发现，硬盘灯狂闪不止，说明硬盘I/0操作过于紧张。但测试的时候，基本是不读写硬盘的，恍然发现，是日志函数影响到整个系统的性能。每一个日志数据的时候，就要打开文件，写入文件，关闭文件。哈，这些都是相对昂贵的I/0操作。优化的方法很简单，缓存数据，定期的批量写入磁盘。基于此设计思路就开发了一个新的日志类。以空间换取时间。 

     内部采用双缓冲算法，写入信息的时候，是直接写入到 内存中，然后线程根据一定的时间间隔，将内存中的数据写到磁盘文件中，里面开辟了两块缓冲内存队列,采用了生产者===》消费者模式，WriteLog 是写入日志数据，算是数据的生产者,TFileStream对象，将内存中的数据写入磁盘是消费者角色，由于采用了双缓冲方式，减少了生产与消费间的干扰. 提高了性能，减少日志的写入时间。也勉强算是个双缓冲队列的实际应用.

   此日志类是基于线程实现的。为了方便使用。内部采用了锁定机制。是线程安全的类。当数据量比较大或者为了便于日志文件的管理

我们会把数据按一定规则生成不同的日志文件名，最常见的就是按日期作日志文件的名称。例如 20110702.log, 20110701.log 等

此日志类中考虑到此情况，可以随时更改日志文件名。

  property FileName:string read getLogFileName write setLogFileName; 要修改日志文件名，直接赋值即可。也是线程安全的。

最后要说明下，此日志类的设计思路也可以用于其它方面。缓冲，空间换时间是软件设计中常用的方法。

在后来的 IOCP 模式下开发的服务器程序(ECHO 测试 12,000连接 OK)，应用了此日志类。效果良好

 

//实现的代码

unit uSfLog;interfaceuses  Windows, Messages, SysUtils, Variants, Classes;type  TsfLog=class(TThread)  private     FLF:string;//#13#10;     FS:TFileStream;     FCurFileName:string;     FFileName:string;     FBegCount:DWord;     FBuffA,FBuffB:TMemoryStream;     FCS:TRTLCriticalSection;     FCS_FileName:TRTLCriticalSection;     FLogBuff:TMemoryStream;     procedure WriteToFile();     function getLogFileName: string;     procedure setLogFileName(const Value: string);   protected      procedure Execute();override;   public      constructor Create(LogFileName:string);      destructor  Destroy();override;      procedure WriteLog(const InBuff:Pointer;InSize:Integer);overload;      procedure WriteLog(const Msg:string);overload;  public      property FileName:string read getLogFileName write setLogFileName;  end;implementation{ TsfLog }constructor TsfLog.Create(LogFileName:string);begin   if Trim(LogFileName) = '' then       raise exception.Create('Log FileName not ""');   inherited Create(TRUE);   //\\   InitializeCriticalSection(FCS);  //初始化   InitializeCriticalSection(FCS_FileName);//日志文件名  //队列缓冲区A,B运行的时候，交替使用   Self.FBuffA := TMemoryStream.Create();   Self.FBuffA.Size := 1024 * 1024; //初始值可以根据需要自行调整   Self.FBuffB := TMemoryStream.Create();   Self.FBuffB.Size := 1024 * 1024; //初始值可以根据需要自行调整   Self.FLogBuff := Self.FBuffA;     if FileExists(LogfileName) then   begin      FS := TFileStream.Create(LogFileName,fmOpenWrite or fmShareDenyWrite);      FS.Position := FS.Size; //如果文件已经存在，数据进行追加  end  else    FS := TFileStream.Create(LogFileName,fmCreate or fmShareDenyWrite);   FCurFileName := LogFileName;   FFileName    := LogFileName;   FLF  := #13#10;   //启动执行   Self.Resume();  //\\end;destructor TsfLog.Destroy;begin   FBuffA.Free();   FBuffB.Free();   FS.Free();   inherited;end;procedure TsfLog.Execute();begin   FBegCount := GetTickCount();   while(not Self.Terminated) do   begin       //2000ms 可以根据自己的需要调整，数据写入磁盘的间隔      if (GetTickCount() - FBegCount) >= 2000 then     begin        WriteToFile();        FBegCount := GetTickCount();    end    else       Sleep(200);   end;    WriteToFile();end;function TsfLog.getLogFileName: string;begin   EnterCriticalSection(FCS_FileName);   try      Result := FCurFileName;    finally      LeaveCriticalSection(FCS_FileName);    end;end;procedure TsfLog.setLogFileName(const Value: string);begin  EnterCriticalSection(FCS_FileName);  try    FFileName := Value;  finally    LeaveCriticalSection(FCS_FileName);  end;end;procedure TsfLog.WriteLog(const Msg: string);begin  WriteLog(Pointer(Msg),Length(Msg));end;procedure TsfLog.WriteLog(const InBuff: Pointer; InSize: Integer);var    TmpStr:string;begin    TmpStr := FormatDateTime('YYYY-MM-DD hh:mm:ss zzz ',Now());    EnterCriticalSection(FCS);    try      FLogBuff.Write(TmpStr[1],Length(TmpStr));      FLogBuff.Write(InBuff^,InSize);      FLogBuff.Write(FLF[1],2);    finally      LeaveCriticalSection(FCS);  end;end;procedure TsfLog.WriteToFile;var    MS:TMemoryStream;    IsLogFileNameChanged:Boolean;begin    EnterCriticalSection(FCS);    //交换缓冲区    try      MS := nil;      if FLogBuff.Position > 0 then     begin         MS := FLogBuff;          if FLogBuff = FBuffA then FLogBuff := FBuffB          else             FLogBuff := FBuffA;         FLogBuff.Position := 0;     end;  finally     LeaveCriticalSection(FCS);  end;  //\\    if MS = nil then    Exit;   //写入文件   try      FS.Write(MS.Memory^,MS.Position);    finally       MS.Position := 0;    end;     //检测文件名称是否变化    EnterCriticalSection(FCS_FileName);    try       IsLogFileNameChanged := (FCurFileName <> FFileName);    finally       LeaveCriticalSection(FCS_FileName);    end;     //日志文件名称修改了     if IsLogFileNameChanged then    begin        FCurFileName :=  FFileName;        FS.Free();       if FileExists(FFileName) then      begin         FS := TFileStream.Create(FFileName,fmOpenWrite or fmShareDenyWrite);         FS.Position := FS.Size;     end     else        FS := TFileStream.Create(FFileName,fmCreate or fmShareDenyWrite);    end;end;end.    //日志类函数的测试代码//主要测试三个功能1）日志的写入速度是否足够快2）日志类在多线程情况下，能稳定运行吗？3）运行中，更换输出日志的文件名称 为了产生大量的数据及多线程下的稳定性，测试中产生了 120个线程，同时写日志函数。同时用一个定时器，定期的修改输出日志的文件名。写入日志的信息是随机产生的GUID字符串。  unit uMain;interfaceuses  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,  Dialogs,uSfLog, StdCtrls, ExtCtrls,ActiveX;type  TfrmMain = class(TForm)    Button1: TButton;    Edit1: TEdit;    Timer1: TTimer;    procedure FormCreate(Sender: TObject);    procedure Button1Click(Sender: TObject);    procedure FormClose(Sender: TObject; var Action: TCloseAction);    procedure Timer1Timer(Sender: TObject);  private    { Private declarations }    FList:TList;    LogObj:TsfLog;  public    { Public declarations }  end;  TsfLogTest=class(TThread)  protected    procedure Execute();override;  end;var  frmMain: TfrmMain;implementation{$R *.dfm}function GetGUID():string;var  ID:TGUID;begin  CoCreateGuid(ID);  Result := GUIDToString(ID);end;procedure TfrmMain.FormCreate(Sender: TObject);begin  LogObj := TsfLog.Create('C:\temp\0001.TXT');  FList := TList.Create();end; //启动测试procedure TfrmMain.Button1Click(Sender: TObject);var  Obj:TsfLogTest;  Index:Integer;begin  for Index := 1 to 120 do  begin    Obj := TsfLogTest.Create(FALSE);    FList.Add(Obj);  end;  Self.Timer1.Enabled := TRUE;end;{ TsfLogTest }procedure TsfLogTest.Execute;var  Msg:string;begin  while(not self.Terminated) do  begin    Msg := IntToStr(Self.ThreadID) + #09 +              GetGUID() + GetGUID() + GetGUID() + GetGUID() +             GetGUID() + GetGUID() + GetGUID() + GetGUID();    frmMain.LogObj.WriteLog(Msg);    Sleep(10);  end;end;procedure TfrmMain.FormClose(Sender: TObject; var Action: TCloseAction);var  Index:Integer;  Obj:TsfLogTest;begin  for Index := 0 to FList.Count - 1 do  begin    Obj:= TsfLogTest(FList.Items[Index]);    Obj.Terminate();  end;  Sleep(100);end;procedure TfrmMain.Timer1Timer(Sender: TObject);var  AFileName:string;begin  AFileName :=  'C:\Temp\' +  FormatDateTime('YYYYMMDD_hhmmss_zzz',Now()) + '.TXT';  LogObj.FileName :=  AFileName;end;end.