python 对以空行作为分割的块文件进行读取的方法

来源：互联网发布：揭阳淘宝村在哪里编辑：程序博客网时间：2024/06/02 00:28

这几天一直在处理数据，也接触到了好几款不一样的库，pandas虽然好用但是却没有直接处理空行分块的txt文件，所以只能自己手写脚本对文件进行分块读取，然后每一块的信息存储为csv文件的一行。我处理的对象为DBLP的数据集，地址是http://cn.aminer.org/citation 采用的是v1数据集。

需要将形如#c，#！等分别代表的不同意思的信息提取出来

数据的格式如下;

数据每块的含义参见数据集主页给出的说明。

def exact_edges(path1,path2):    a = open(path1,'r')    file = a.read().splitlines()    b = open(path2,'wb')    csv_file2 = csv.writer(b)    KDD = 'ACM SIGKDD international conference on Knowledge discovery and data mining'    SIGIR = 'international ACM SIGIR conference on Research and development in information retrieval'    i = 0    num = 0    while True:        list = []        flag = 0        if num != 0:#对读取的file进行删除操作，读取完成的部分将在下一块读取之前删除掉            for x in range(0,num):                file.pop(0)        num = 0        for line in file:            num = num+1            if len(line) > 0:                if line.startswith('#index'):                    print line                    list.append(line)                if line.startswith('#%'):                    print line                    list.append(line)                if line.startswith('#c'):                    '''print line                    if ('conference on Knowledge discovery and data mining' in str(line)) or (                    'international ACM SIGIR conference on Research and development in information' in line):                        print '...................'                        flag = 1'''                    list.append(line)                if line.startswith('#!'):                    list.append(line)            else:                #print '................................'                break        csv_file2.writerow(list)

阅读全文

0 0