scala 统计Datastage log 中每个job 的执行时间 以及一个batch job 中total 时间
来源:互联网 发布:ftp上传源码 编辑:程序博客网 时间:2024/06/07 10:41
package com.x.himport java.io.Fileimport scala.io.Source/** * Created by xxxxx on 3/7/2017. * read logs and anlysis the interval time * Notes://ltsgdb001b/8525691C004D9994/0000035F7480610585255D74006B9E95/5A5A500686EEF43F852580DC000884BB */object AnlysisSnsLogs extends App{ getTheLastedFile def getTheLastedFile(): Unit ={ var file = new File("C:\\Users\\IBM_ADMIN\\Desktop\\cognos\\datastage\\anlysislogs") for (f <- file.listFiles()){ // 这里可以增加根据文章标题时间戳获取最新文章 增加排序功能 println(f.getName.toString.substring(0,8)) readFiles(f.toString) } } def readFiles(file :String): Unit ={ import scala.collection.mutable //Scala 列表类似于数组,它们所有元素的类型都相同,但是它们也有所不同:列表是不可变的,值一旦被定义了就不能改变,其次列表 具有递归的结构(也就是链接表结构)而数组不是。。 var jobName =new Array[String](30) //这里定义数组还是有问题的 var job = 0 var jobTime =new Array[String](30) //这里定义数组还是有问题的 var job1 = 0 val source = Source.fromFile(file) for (line <- source.getLines()){ if(line.contains("STATUS REPORT FOR JOB:")){ //找包含有特定字符串的行 jobName(job) = line.toString.substring(23) job +=1 } if(line.contains("Job elapsed time=")){ jobTime(job1) = line.toString.substring(20) job1 +=1 } } val lastArray = jobName.toList.zip(jobTime.toList) for( loop <- 0 to job -1){ // 上面定义的数组出现异常 ,所有这里用真实的数组长度 println(lastArray(loop)._1.toString +" : "+ lastArray(loop)._2) } // lastArray.foreach(x => println(x._1.toString +" : "+ x._2)) var totalTime = 0 for(getTime <- 0 to job1 -1){ val times = jobTime(getTime).split(":") totalTime += times(0).toInt * 3600 + times(1).toInt * 60 + times(2).toInt // 计算总时间 } println("Total time is : " + totalTime/3600 + ":" + ((totalTime%3600)/60) + ":" + ((totalTime%3600)%60) ) // 标准时间 Total time is : 6:28:8 }}
0 0
- scala 统计Datastage log 中每个job 的执行时间 以及一个batch job 中total 时间
- oracle中job的执行时间
- datastage server job之在routine中控制job
- orcale中job的建立和使用以及job的时间间隔
- 【JOB】Oracle中JOB的创建方法以及一个细节的探究 20 作者
- 消除oracle 中 job 的时间误差?
- Datastage处理锁定的JOB
- datastage server job之在routine中调用自定义routine
- Oracle JOB常见的执行时间
- oracle JOB常见的执行时间
- oracle JOB常见的执行时间
- oracle JOB常见的执行时间
- Oracle JOB常见的执行时间
- oracle JOB常见的执行时间
- spring batch 2: 搭建环境以及简单的Job
- spring batch 2: 搭建环境以及简单的Job
- datastage序列job参数传入内部嵌套的job注意事项
- Oracle中JOB的创建方法以及一个细节的探究
- 一个实习生的感慨,愿与学弟学妹共勉!
- sql性能调优
- codevs动态规划
- Linux入门:命名管道
- 机器学习和深度学习学习资料
- scala 统计Datastage log 中每个job 的执行时间 以及一个batch job 中total 时间
- 深入浅出DNS系列(一)- DNS杂谈
- 【STL】之Vector的模拟实现
- C语言高效编程的几招,你会几招了?
- Hive使用入门
- Android ViewPager图片轮播
- RecyclerView的学习与使用一
- Android Studio专栏:关于设置的导出和导入
- 一个来自海南闯到北方哈尔滨的少年