mathematica小技巧[2]--导入大数据

mathematica小技巧[2]--导入大数据

  我们在使用mathematica处理数据时，一般会使用Import[]来导入数据，但是当我们有大量数据时，Import[]也会无能为力，因为在我们的内存中不能同时存储这么多的数据，那么此时，我们应该如何来解决呢，下面我们就来讲一下解决的方法。
 
  我们使用的方法有点类似c中的文件指针，通过对文件流来做操作。我们来看一下要用到的函数。
  OpenRead[]
  OpenWriter[]
  ReadLine[]
  Close[]                   关闭打开的流
 
  我们来看一个具体的例子：

1.读取文件
 
首先打开一个文件，sr类似一个指向这个文件的指针

path = SystemDialogInput["FileOpen", "此处可设置默认路径"];sr = OpenRead[path, BinaryFormat -> True];

接着我们通过ReadLine[]来读取该文件的一行
我们可以写一个While循环，来完成对整个文件的处理，对于一些中文文件，可能会出现字符编码错误，这时我们就要使用 FromCharacterCode[ToCharacterCode[rs], "UTF-8"]，来将编码转换成utf-8的编码。

要注意：最后别忘了使用Close[指针名]来关闭我们打开的文件。

rs = ReadLine[sr];While[rs =!= EndOfFile, rs = ReadLine[sr]; temp = FromCharacterCode[ToCharacterCode[rs], "UTF-8"];...;...;]Close[sr];

基本通过上面的方法，就可以实现对大文件的读取了。

2.写入文件

同样，要想实现文件的写入，我们也只需要类似的步骤：

首先定义一个指针指向你要写入的文件

sw = OpenWrite["文件地址",CharacterEncoding -> "UTF-8"];

接着使用WriteLine[]即可

WriteLine[sw, 你要写入的内容]

同样，最后也要关闭打开的流

Close[sw];

这样就完成了文件的写入。

3.进度条

当然，有时我们需要一个进度条来告诉我们我们已经读取了多少了，这时我们就需要StreamPosition来告诉我们指针的位置，然后通过FileByteCount来获得全文的大小，然后比较两者的位置，即可显示出进度。

fileLength = FileByteCount[path];Dynamic[ Row[{ StreamPosition[sr], "/", fileLength}] , UpdateInterval -> 2]

4.完整代码

path = SystemDialogInput["FileOpen", "此处可设置默认路径"];sr = OpenRead[path];rs = ReadLine[sr];While[rs =!= EndOfFile, rs = FromCharacterCode[ToCharacterCode[rs], "UTF-8"]; rs = StringSplit[rs, ","];  (*处理语句块*) (*..........*) (*处理语句块*) rs = ReadLine[sr]; ]

在处理语句块那里可以增加你想要处理的办法。下面我们来看一个完整的例子。

5.完整例子
这个例子是我以前写的，可以看一下。

path = SystemDialogInput["FileOpen", "此处可设置默认路径"];sr = OpenRead[path, BinaryFormat -> True];sw = OpenWrite["路径",CharacterEncoding -> "UTF-8"];(*显示进度条*)fileLength = FileByteCount[path];Dynamic[ Row[{ StreamPosition[sr], "/", fileLength}] , UpdateInterval -> 2](*定义时间间隔*)uptime = TimeObject["13:30:00"];downtime = TimeObject["16:30:00"];judge = False;(*把行标题写进去*)rs = ReadLine[sr];WriteLine[sw, rs]While[rs =!= EndOfFile,  rs = ReadLine[sr];  temp = FromCharacterCode[ToCharacterCode[rs], "UTF-8"];  (*分割后的字符串*)  stringSplit = StringSplit[temp, ","];  time = stringSplit[[3]];  (*判断是否是日期格式--在判断是否落在时间区间内--是的话返回judge=true*)  If[TimeObjectQ[time = TimeObject[time]],   time = TimeObject[time];   judge = (uptime < time < downtime);   ];    (*判断是否符合要求*)  If[stringSplit[[-1]] == "\"餐费支出\"" && judge ,   WriteLine[sw, temp]];  judge = False;  ];Close[sw];Close[sr];

这段代码当时是为了对学生卡的数据进行处理，找出其中在13:30:00到16:30:00中餐饮消费的情况。

其实上面那段代码跑得挺慢的

好了，到这里也就差不多了，上面就是处理大数据时常用的办法，希望大家喜欢。

下面还是讲一下我自己做的一个小作品。

下面链接是自己做的一个小作品，是用来学习汉字结构的，我们将汉字的结构具体展现出来了，摆脱了以往汉字教学中的模糊概念，希望大家可以看看多提提意见。

汉字结构学习

以上，所有
2017/3/4