python--用linecache模块方便提取文本数据

需求：

工作中生成的日志是固定格式的大量数据，需要从每个日志中提取固定的几行值，对其汇总，用于统计分析工艺参数。

需要日志内容如图：

 

解决：

python自带的linecache模块中getline方法简单好用，可直接提取文件中对应行的内容

 

#!/usr/bin/python 
# -*- coding: UTF-8 -*- 
#data_filter 
 
import os,sys,linecache 
info = os.getcwd() 
fout = open('data_filter.txt_', 'w') 
 
 
def writeintofile(info): 
    fin = open(info) 
    need ='' 
    for lineno in range(360,363):                  #需要每个日志的360行至363行内容
        need_temp = linecache.getline(info,lineno) #提取对应行内容
        need += need_temp 
    data = need + info +'\n' 
    strinfo = data 
    fout.write(strinfo) 
    fin.close() 
 
for root, dirs, files in os.walk(info): 
    if len(dirs) == 0: 
        for fl in files: 
            info = "%s\%s" % (root,fl) 
            if info[-3:]=='txt':          #遍历所有txt文本,即所需日志
                writeintofile(info) 
fout.close() 
 
raw_input('Finished....Write BY Tom \nEnter Exit' ) 

 

由于os.walk默认是按日志文件名顺序遍历的，这里需要按日志生成时间提取内容，所以引入os.path.getmtime()方法，将文件创建时间做key,文件名做value定义个字典，将key排序后，输出value。做以下修改，不知道是否有更好方法：

 

#!/usr/bin/python 
# -*- coding: UTF-8 -*- 
#data_filter 
 
import os,sys,linecache 
info = os.getcwd() 
fout = open('data_filter.txt_', 'w') 
 
 
 
d = {}      #struct a dictionary save file_time as a key,and filename as a value 
 
for root, dirs, files in os.walk(info): 
    for file in files: 
        file_time = os.path.getmtime(file) 
        d[file_time] =file 
 
def writeintofile(info): 
    fin = open(info) 
    need ='' 
    for lineno in range(360,363): 
        need_temp = linecache.getline(info,lineno) 
        need += need_temp 
    data = need + info +'\n' 
    strinfo = data 
    fout.write(strinfo) 
    fin.close() 
 
     
L = d.keys() 
L.sort()                        #时间排序
for file_time in L: 
    #print d[file_time]         # for test 
    if d[file_time][-3:] =='txt': 
        writeintofile(d[file_time])
 
fout.close() 
 
raw_input('Finished....Write BY Tom \nEnter Exit' )