python 这断分析日志的代码,测试几百行文件没问题。但是分析大日志文件,cup 100%,而且有问题。求大神指点。
来源:互联网 发布:蚁群算法matlab程序 编辑:程序博客网 时间:2024/04/28 10:24
# -*- coding:utf-8 -*-
#! /bin/env python
import re,sys,string
import string,time
import os
import operator
import time
times = time.strftime('%Y-%d-%m')
Pwd = '/tmp/data'
openfile = open("%s/blog" % Pwd ,"r")
dict = {}
all_dict = []
re1='^.*?'
url = '\"(.*?)\"'
re2='.*?'
time='(\d*\.\d*)$'
rg = re.compile(re1+url+re2+time,re.IGNORECASE|re.DOTALL)
def start(self):
for lines in self:
m = rg.search(lines)
if m:
urls=m.group(1)
times=m.group(2)
if urls in dict.keys():
ti = float(times) + float(times)
dict[urls]= "%.4f" % ti
else:
dict.fromkeys(['urls','times'])
dict[urls]= "%.4f" % float(times)
all_dict.append(urls)
def get_url(self):
code_num = {}
for code_item in set(self):
code_num[code_item]=self.count(code_item)
sorted_code = sorted( code_num.iteritems(), key=operator.itemgetter(1),reverse=True)
global a
a = sorted_code[0:10]
return a
def end_url_time(x,y):
end_dict = {}
for i in range(len(x)):
number = y.get(x[i][0])
all_time = float(number)/float(x[i][1])
test_url = x[i][0]
end_dict[test_url] = "%.4f" % all_time
global dicts
dicts = sorted(end_dict.iteritems(), key=lambda d:d[1], reverse = True)
def main():
start(openfile)
get_url(all_dict)
end_url_time(a,dict)
file = open("/tmp/data/%s" % times,"a+")
for i in range(len(dicts)):
file.write("%s\n" % str(dicts[i]))
file.close()
openfile.close()
if __name__ == '__main__':
main()
#! /bin/env python
import re,sys,string
import string,time
import os
import operator
import time
times = time.strftime('%Y-%d-%m')
Pwd = '/tmp/data'
openfile = open("%s/blog" % Pwd ,"r")
dict = {}
all_dict = []
re1='^.*?'
url = '\"(.*?)\"'
re2='.*?'
time='(\d*\.\d*)$'
rg = re.compile(re1+url+re2+time,re.IGNORECASE|re.DOTALL)
def start(self):
for lines in self:
m = rg.search(lines)
if m:
urls=m.group(1)
times=m.group(2)
if urls in dict.keys():
ti = float(times) + float(times)
dict[urls]= "%.4f" % ti
else:
dict.fromkeys(['urls','times'])
dict[urls]= "%.4f" % float(times)
all_dict.append(urls)
def get_url(self):
code_num = {}
for code_item in set(self):
code_num[code_item]=self.count(code_item)
sorted_code = sorted( code_num.iteritems(), key=operator.itemgetter(1),reverse=True)
global a
a = sorted_code[0:10]
return a
def end_url_time(x,y):
end_dict = {}
for i in range(len(x)):
number = y.get(x[i][0])
all_time = float(number)/float(x[i][1])
test_url = x[i][0]
end_dict[test_url] = "%.4f" % all_time
global dicts
dicts = sorted(end_dict.iteritems(), key=lambda d:d[1], reverse = True)
def main():
start(openfile)
get_url(all_dict)
end_url_time(a,dict)
file = open("/tmp/data/%s" % times,"a+")
for i in range(len(dicts)):
file.write("%s\n" % str(dicts[i]))
file.close()
openfile.close()
if __name__ == '__main__':
main()
- python 这断分析日志的代码,测试几百行文件没问题。但是分析大日志文件,cup 100%,而且有问题。求大神指点。
- python大数据分析操作系统日志
- 巧用UltraEdit分析测试日志文件
- Android测试日志文件抓取与分析
- Android测试日志文件抓取与分析
- 网站日志的文件分析
- Monkey 测试日志分析
- 日志分析中文件编码问题以及读文件匹配问题总结
- UVa11624大火蔓延的迷宫(代码觉得没问题,但是对答案是3有疑惑,而且没有在oj上验证)
- MyBatis Generator 通过xml生成,有日志但是没有生成文件成功的问题
- Squid 日志分析代码
- logHelp日志代码分析
- python,日志分析脚本
- python 日志分析
- python 服务器日志分析
- python 分析监控日志
- python(2):使用python分析大日志文件思路及过程
- 问题定位——分析日志文件
- AutoResetEvent 详解
- 验证控件的详细描述
- OCP-1Z0-052-V8.02-74题
- HTTP协议:pipeline,一个包里有多个请求,一个包里有多个响应
- unity3d ,配合ngui做的一个弹窗系统
- python 这断分析日志的代码,测试几百行文件没问题。但是分析大日志文件,cup 100%,而且有问题。求大神指点。
- cocos2d-x-lua工程的lua脚本加密
- invalid use of imcomplete type 'class QKeyEvent'
- 赛迪网
- MapTask与ReduceTask深入分析与调优
- php中的heredoc的使用方法
- MySQL 数据库查询 - 正则表达式
- apk反汇编之smali语法
- TCP和HTTP