分析运维数据的一些预处理操作

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import java.util.Set;

/**
 * @author Administrator
 *
 */
/**
 * @author Administrator
 *
 */
public class DataAnalyze {

    public static void main(String[] args) {
        // TODO Auto-generated method stub
        String TimeSortedLogFile = "/home/wdl/test/result.txt";
        List<String> record = new ArrayList<String>();
        List<List<String>> typeGroupRecord = new ArrayList<List<String>>();
        List<Double> gropCount = new ArrayList<Double>();
        double count = 0;
        double totalCount = 0;
        // 扫描文件，将记录存储到List中
        try {
            File File = new File(TimeSortedLogFile);
            BufferedReader wReader = new BufferedReader(new InputStreamReader(
                    new FileInputStream(TimeSortedLogFile), "UTF-8"));
            String line = null;
            while ((line = wReader.readLine()) != null) {
                if ("".equals(line.trim())) { // 遇空行，略过继续执行
                    continue;
                }
                record.add(line);
            }
            wReader.close();
        } catch (IOException e1) {
            e1.printStackTrace();
        }

        // 找出所有类型，如(a,f)
        Map<List<String>, Integer> typePair = new HashMap<List<String>, Integer>();
        List<String> satisfiedEqualIPEvent = new ArrayList<String>();
        for (int i = 0; i < record.size(); i++) {
            List<String> type = new ArrayList<String>(); // 记录不包含IP的日志类型
            String[] logArr = record.get(i).split("\t");
            for (int j = 0; j < logArr.length - 1; j++) {
                String[] sublogArr = logArr[j - 1].split("_"); // sublogArr大小为2
                type.add(sublogArr[1]);
            }
            typePair.put(type, 0);
        }

        // 遍历每一种类型
        for (Entry<List<String>, Integer> entry : typePair.entrySet()) {
            count = 0;
            totalCount = 0;
            satisfiedEqualIPEvent = resolvePair(entry.getKey(), record);
            typeGroupRecord.add(satisfiedEqualIPEvent);
            for (String tempStr : satisfiedEqualIPEvent) {
                String[] str = tempStr.split("\t");
                count = Double.parseDouble(str[str.length - 1]);
                totalCount = totalCount + count;
            }
            gropCount.add(totalCount);
        }

    }

    /**
     * 对于每一对类型，找到同一台ip出现此故障的记录
     *
     * @param type
     * @param record
     * @return
     */
    public static List<String> resolvePair(List<String> type,
            List<String> record) {

        Boolean ipEqualFlag = false;
        Boolean typeEqualFlag = true;
        List<String> satisfiedEqualIPEvent = new ArrayList<String>();
        for (int i = 0; i < record.size(); i++) {
            typeEqualFlag = true;
            ipEqualFlag = false;
            String[] logArr = record.get(i).split("\t");
            List<String> singleType = new ArrayList<String>();
            List<String> ip = new ArrayList<String>();
            for (int j = 0; j < logArr.length - 1; j++) {
                String[] sublogArr = logArr[j - 1].split("_"); // sublogArr大小为2
                ip.add(sublogArr[0]);
                singleType.add(sublogArr[1]);
            }
            Set s = new HashSet(ip); // 观察每一项的ip是否相同
            if (s.size() > 1) {
                ipEqualFlag = false;
            } else {
                ipEqualFlag = true;
            }
            if (type.size() == singleType.size()) { // 在所有记录中提取所有相同类型
                for (int k = 0; k < type.size(); k++)
                    if (type.get(k).equals(singleType.get(k)) == false) {
                        ipEqualFlag = false;
                        break;
                    }
            }

            if (ipEqualFlag == true && typeEqualFlag == true) { // 若结果中同一条规则中事件的ip相同
                satisfiedEqualIPEvent.add(record.get(i));
            }
        }

        return satisfiedEqualIPEvent;

    }

}