处理筛选CelebA人脸数据集
来源:互联网 发布:淘宝高仿鞋哪些店铺好 编辑:程序博客网 时间:2024/06/05 07:17
引
CalebA人脸数据集(官网链接)是香港中文大学的开放数据,包含10,177个名人身份的202,599张人脸图片,并且都做好了特征标记,这对人脸相关的训练是非常好用的数据集。
别看只是一堆人脸,他们很贴心地做好了特征标记,也就是说,你可以找到类似下面这些标签:
更贴心的是,他们除了Google盘的下载方式,还为国内研究人员提供了百度网盘的下载链接,这在他们官方都可以找到。
不过刚进入百度网盘的文件,可能有点迷,不知道什么文件是干嘛的,也不知道怎么处理,尤其是对于新手来说,这里就总结一下。
文件含义
进入百度网盘可以看到多个文件,但是都是干什么的呢?应该下载哪个来用呢?
在动手下载之前,最好先读读README文件,里面有比较详细的描述,这里只简单介绍一下:
- Img文件夹下是所有图片,图片又分三类文件:
其中“img_celeba.7z”文件夹是纯“野生”文件,也就是从网络爬取的没有做裁剪的图片,要解压的话需要整个文件夹一起解压;“img_align_celeba_png.7z”和“img_align_celeba.zip”是把“野生”文件裁剪出人脸部分之后的图片,其中“img_align_celeba_png.7z”是png格式的,比较大,也要整个文件夹一起解压,“img_align_celeba.zip”是jpg格式的,比较小,1G多,我采用的是这个文件,直接解压即可。
不过需要注意的是里面的图片并不是正方形的,所以如果你的网络需要方形图片输入,自己还得处理一遍,后文有这部分的代码。
图中可以看到,人脸图片的名字只是简单的编号,那肤色、发色、眼镜、性别等特征标签在哪呢,在之前的“Anno”文件夹中:
第一个“list_attr_celeba.txt”文本文件就记录了每一张图片的特征标签:
如图所示,第一行表示图片个数,第二行是特征类型,以空格分开,可以看到有超多特征,想想记录过程也真是个漫长的工作。下面的行就是每张图片的标记了,第一列是图片名,后面的每个数字对应每一个特征,1表示正例,-1表示反例。
这样我们就有了图片和特征描述了,那怎么筛选出我们要的人脸图片呢?
处理标签
假设我们要把所有人脸分成戴了眼镜的和没戴眼镜的两份集合,来训练从戴眼镜到不戴眼镜的转换。一个个地人眼去看去分类显然是不现实的,描述文件的意义就在于此。
我们可以写一份Python代码来遍历txt中每一张图片对应的“Eyeglasses”属性列,看是不是1,从而判断对应图片是否戴了眼镜。
数一数可以知道“Eyeglasses”是第16个属性,这样,我们可以读取这份属性描述txt,遍历每一行,看对应列是否是1,从而将图片名筛分到两个txt中去:
f = open("list_attr_celeba.txt")newTxt = "glass.txt"newf = open(newTxt, "a+")newNoTxt = "noGlass.txt"newNof = open(newNoTxt, "a+")line = f.readline() line = f.readline() line = f.readline() while line: array = line.split() if (array[0] == "000154.jpg"): print(array[16]) if (array[16] == "-1"): new_context = array[0] + '\n' newNof.write(new_context) else: new_context = array[0] + '\n' newf.write(new_context) line = f.readline()lines = len(newf.readlines()) print ("There are %d lines in %s" % (lines, newTxt)) lines = len(newNof.readlines()) print ("There are %d lines in %s" % (lines, newNoTxt))f.close()newf.close()newNof.close()
如上代码,我们读取”list_attr_celeba.txt”,并且创建两个新txt来分别存储有无戴眼镜的图片名。然后遍历每一行(跳过头两行),去判断眼镜属性是否是1,这里每一列用line.split()分隔开成数组,注意不能用line.split(” “),因为数字之间有时候是一个空格,有时候是两个空格,被坑了一下= =
当然你也可以像我一样先自己去图片集合中找一个戴了眼镜的图片,看看我们的代码是不是把对应的图片名下的1识别出来,我这里找的就是000154.jpg这张图来验证。
最后,我统计了一下有无戴眼镜的人脸的数量,结果是:
筛选图片
得到两个记录了有无戴眼镜的图片名集合txt后,我们就可以根据这个来筛选图片了。
图片共二十多万张,我们如果采用针对一个txt中每个图片名都去从头到尾到文件夹里找一次的方案,处理起来就太慢了。
这里我们采取更快速的方法,遍历文件夹中所有图片,对于遇到的每个图片名(当然,因为文件夹中不止图片,所以先判断是否是图片,也就是后缀是否是.jpg),去记录有无戴眼镜的两个txt中分别找是否包含该图片名,哪个包含,则把该图片移动到对应文件夹下去。
这里还可以优化的是,在txt中找图片名时,也不能每次要找都从头到尾找,而要记录上次找到的位置,因为图片名时按顺序排好的,所以下一张要找的图片名一定会在下面的行,而不会在之前出现过的行,这样也可以提速。
由于两个txt中行数不一致(有无戴眼镜的图片数量不同),所以要判断当一个txt全部找完后,之后就不要再去该txt中找了,更不要继续往后移动行,这样会出错的。
整体优化完成后代码如下:
import osimport shutilnof = open("noGlass.txt")hasf = open("glass.txt")noLine = nof.readline() hasLine = hasf.readline() list = os.listdir("./")hasGo = TruenoGo = Truefor i in range(0, len(list)): imgName = os.path.basename(list[i]) if (os.path.splitext(imgName)[1] != ".jpg"): continue noArray = noLine.split() if (len(noArray) < 1): noGo = False hasArray = hasLine.split() if (len(hasArray) < 1): hasGo = False if (noGo and (imgName == noArray[0])): oldname= "./"+imgName newname="./noGlass/"+imgName shutil.move(oldname, newname) noLine = nof.readline() elif (hasGo and (imgName == hasArray[0])): oldname= "./"+imgName newname="./hasGlass/"+imgName shutil.move(oldname, newname) hasLine = hasf.readline() if (i % 100 == 0): print(imgName)nof.close()hasf.close()
“no”开头的对应未戴眼镜相关变量,“has”开头的对应戴了眼镜相关变量。思路就是上面说的几个优化的地方了。
这样一套处理二十多万张图片的筛选移动,总共花了不到一分钟。之前未优化时,处理了两个小时还只处理了一万多张,而且是越处理越慢,显而易见,每次都要从头找的话,越到后面,不必要的从头遍历条目越多。
方形脸部截取
虽然CelebA帮我们把人脸部分裁剪出来了,但由于我要处理的网络需要方形图片,也就是宽高相等的图片,所以这里再处理一遍:
from PIL import Imageimport face_recognitionimport os# for (int i = 1; i <= 10; i++)list = os.listdir("./")for i in range(0, len(list)): imgName = os.path.basename(list[i]) if (os.path.splitext(imgName)[1] != ".jpg"): continue image = face_recognition.load_image_file(imgName) face_locations = face_recognition.face_locations(image) for face_location in face_locations: # Print the location of each face in this image top, right, bottom, left = face_location # print("A face is located at pixel location Top: {}, Left: {}, Bottom: {}, Right: {}".format(top, left, bottom, right)) # You can access the actual face itself like this: width = right - left height = bottom - top if (width > height): right -= (width - height) elif (height > width): bottom -= (height - width) face_image = image[top:bottom, left:right] pil_image = Image.fromarray(face_image) pil_image.save('face%s'%imgName)
这份代码就是遍历文件夹中的所有图片,用face_recognition库去识别出人脸位置的上下左右坐标,基本识别得出的坐标就已经是方形的了,特殊情况下会有一个像素的误差,所以我强制对比了一次宽高,不一样就改成一样的,对裁剪的影响也不会很大。需注意的是要运行这份代码需要安装face_recognition库和PIL库,如何安装就可以直接搜索教程了。
这里我们就得到了所有高宽相等的人脸二次裁剪图片。
还要注意的一点是这里只保证了每张图片自身高宽相等,图片之间的尺寸并不一定是同样大小的。
结
这样,就完成了针对一个维度去做二位类处理筛选数据集的工作。
版权所有:http://blog.csdn.net/cloudox_
- 处理筛选CelebA人脸数据集
- InfoGAN修改训练人脸数据集celebA的过程记录
- YOLOv2—更改CelebA数据集的bbox [by zhangzexuan][17.9.24updated]
- yolo-face 使用yolo v2 在CelebA上训练的人脸检测器
- 用faster rcnn对celebA的bbox重新标注,c++实现筛选,过滤无效bbox
- 数据筛选
- java 内存数据的条件筛选和分页处理
- 数据集的筛选和排序
- 筛选器异常处理
- awk处理筛选内容
- 20160527 数据分析与SAS7 筛选数据集
- 报表设计-筛选数据
- 一个数据筛选类
- DataSET数据筛选
- DataView数据筛选
- QSortFilterProxyModel实现数据筛选
- 使用Excel筛选数据
- Table中筛选数据
- 提高MySQL性能的7个技巧
- linux 笔记五 IF THEN FOR DO DONE 用户管理
- 用户
- ASCII码表
- hive2.1.1 + hadoop2.8.0 + windows7(不用cygwin)搭建Hive
- 处理筛选CelebA人脸数据集
- 日期时间工具类
- bzoj3124 [Sdoi2013]直径 树的直径
- HDU
- 浅谈 JDBC 中 CreateStatement 和 PrepareStatement 的区别与优劣。
- PHP自动加载机制[2]---spl_autoload_register操作详解
- 11. posix_mkfifo 有名管道
- 11.2.0.4RAC因内存紧张引起的数据库实例状态为Stuck Archiver
- Oracle 行转列总结 Case When,Decode,PIVOT 三种方式