Datasets for ADAS

分割算法：
facebook-deepmask:
https://github.com/facebookresearch/multipathnet

图像分割标注工具：

识别标注工具：lableimage：https://github.com/tzutalin/labelImg
https://www.cs.ubc.ca/~murphyk/Papers/labelmeIJCV08.pdf
在服务器上安装用ubuntu12.04，php5. 在ubuntu16.04下最低要求php7
MIT分割标定工具：http://labelme2.csail.mit.edu/Release3.0/index.php?message=1
python版本：https://github.com/wkentaro/labelme
1. windows下可以用anaconda安装方法

conda create --name=labelme python=2.7////conda create --name=labelme python=3.5source activate labelmeconda install pyqtpip install labelme

，ubuntu直接指令安装。
2. json要转换为单通道的image：
可得到一个文件夹，有四个文件，*.png, info.yaml , label.png, label_viz.png。
其中label.png即是我们要的label_data.

labelme_json_to_dataset <文件名>.json

for　understanding complex traffic scenes and driving scenarios

KITTI Vision Benchmark Suite，CamVid，Leuven，Daimler Urban Segmentation　datasets.
1. https://bitbucket.org/ueacomputervision/image-labelling-tool
2. http://kobus.ca/research/data/IJCV_08/semantic/semantic_label_tool.html

The Cityscapes

real-world inner-city traffic scenes
网址：https://www.cityscapes-dataset.com/
arXiv ：https://arxiv.org/abs/1604.01685
http://www.skillplot.com/sites/maze/cityscape-database
该数据集最好用学校的邮箱注册下载，普通用户只能下载图像数据，数据集还提供了视频场景，需要进一步申请权限才能够下载。
cityscapesScripts：https://github.com/mcordts/cityscapesScripts
In-factory calibration of multiocular camera systems
：https://pdfs.semanticscholar.org/2938/6b5153b653a5246b9bdeaa4e05c758a92174.pdf
该数据集是自动驾驶相关方面的数据集，重点关注于像素级的场景分割和实例标注。
　　数据场景包括５０个不同城市（主要在德国），春夏秋三个季节白天的场景，有大量的动态目标不同层次的场景和多样的背景。场景不包括下大雨的和下雪的，因为这种场景需要用特殊的技术处理。
　　图像数据分为３０类：除了有 5 000帧细标注的（像素级别的），标注一张图时间控制在１.5h左右，精细标注的数据划分成如下图训练验证测试集，不是随机划分的，而是确保每个划分的数据集里面包含各种场景。最终有２９７５张用来训练，５００张用来验证，１５２５张用来测试。

此外，还有２００００张弱标注的帧，只用来训练，标注一张图控制在７ｍｉｎ内。

精细标注:https://www.cityscapes-dataset.com/examples/#fine-annotations

弱标注的：https://www.cityscapes-dataset.com/examples/#coarse-annotations

３０个类别：https://www.cityscapes-dataset.com/dataset-overview/#class-definitions

{"palette":[[128,64,128],[244,35,232],[70,70,70],[102,102,156],[190,153,153],[153,153,153],[250,170,30],[220,220,0],[107,142,35],[152,251,152],[70,130,180],[220,20,60],[255,0,0],[0,0,142],[0,0,70],[0,60,100],[0,80,100],[0,0,230],[119,11,32]],"mean":[72.39,82.91,73.16],"dilation":10, "zoom":1 }

labels = [    #       name                     id    trainId   category            catId     hasInstances   ignoreInEval   color    Label(  'unlabeled'            ,  0 ,      255 , 'void'            , 0       , False        , True         , (  0,  0,  0) ),    Label(  'ego vehicle'          ,  1 ,      255 , 'void'            , 0       , False        , True         , (  0,  0,  0) ),    Label(  'rectification border' ,  2 ,      255 , 'void'            , 0       , False        , True         , (  0,  0,  0) ),    Label(  'out of roi'           ,  3 ,      255 , 'void'            , 0       , False        , True         , (  0,  0,  0) ),    Label(  'static'               ,  4 ,      255 , 'void'            , 0       , False        , True         , (  0,  0,  0) ),    Label(  'dynamic'              ,  5 ,      255 , 'void'            , 0       , False        , True         , (111, 74,  0) ),    Label(  'ground'               ,  6 ,      255 , 'void'            , 0       , False        , True         , ( 81,  0, 81) ),    Label(  'road'                 ,  7 ,        0 , 'flat'            , 1       , False        , False        , (128, 64,128) ),    Label(  'sidewalk'             ,  8 ,        1 , 'flat'            , 1       , False        , False        , (244, 35,232) ),    Label(  'parking'              ,  9 ,      255 , 'flat'            , 1       , False        , True         , (250,170,160) ),    Label(  'rail track'           , 10 ,      255 , 'flat'            , 1       , False        , True         , (230,150,140) ),    Label(  'building'             , 11 ,        2 , 'construction'    , 2       , False        , False        , ( 70, 70, 70) ),    Label(  'wall'                 , 12 ,        3 , 'construction'    , 2       , False        , False        , (102,102,156) ),    Label(  'fence'                , 13 ,        4 , 'construction'    , 2       , False        , False        , (190,153,153) ),    Label(  'guard rail'           , 14 ,      255 , 'construction'    , 2       , False        , True         , (180,165,180) ),    Label(  'bridge'               , 15 ,      255 , 'construction'    , 2       , False        , True         , (150,100,100) ),    Label(  'tunnel'               , 16 ,      255 , 'construction'    , 2       , False        , True         , (150,120, 90) ),    Label(  'pole'                 , 17 ,        5 , 'object'          , 3       , False        , False        , (153,153,153) ),    Label(  'polegroup'            , 18 ,      255 , 'object'          , 3       , False        , True         , (153,153,153) ),    Label(  'traffic light'        , 19 ,        6 , 'object'          , 3       , False        , False        , (250,170, 30) ),    Label(  'traffic sign'         , 20 ,        7 , 'object'          , 3       , False        , False        , (220,220,  0) ),    Label(  'vegetation'           , 21 ,        8 , 'nature'          , 4       , False        , False        , (107,142, 35) ),    Label(  'terrain'              , 22 ,        9 , 'nature'          , 4       , False        , False        , (152,251,152) ),    Label(  'sky'                  , 23 ,       10 , 'sky'             , 5       , False        , False        , ( 70,130,180) ),    Label(  'person'               , 24 ,       11 , 'human'           , 6       , True         , False        , (220, 20, 60) ),    Label(  'rider'                , 25 ,       12 , 'human'           , 6       , True         , False        , (255,  0,  0) ),    Label(  'car'                  , 26 ,       13 , 'vehicle'         , 7       , True         , False        , (  0,  0,142) ),    Label(  'truck'                , 27 ,       14 , 'vehicle'         , 7       , True         , False        , (  0,  0, 70) ),    Label(  'bus'                  , 28 ,       15 , 'vehicle'         , 7       , True         , False        , (  0, 60,100) ),    Label(  'caravan'              , 29 ,      255 , 'vehicle'         , 7       , True         , True         , (  0,  0, 90) ),    Label(  'trailer'              , 30 ,      255 , 'vehicle'         , 7       , True         , True         , (  0,  0,110) ),    Label(  'train'                , 31 ,       16 , 'vehicle'         , 7       , True         , False        , (  0, 80,100) ),    Label(  'motorcycle'           , 32 ,       17 , 'vehicle'         , 7       , True         , False        , (  0,  0,230) ),    Label(  'bicycle'              , 33 ,       18 , 'vehicle'         , 7       , True         , False        , (119, 11, 32) ),    Label(  'license plate'        , -1 ,       -1 , 'vehicle'         , 7       , False        , True         , (  0,  0,142) ),]

８大类别，每个类别又细分多个小类别。中每个类别给出了详细的说明。

视频数据：
　　有３个场景的，一个是ｆｉｎｅ　ａｎｎｏｔａｔｉｏｎ　ｅｘａｍｐｌｅｓ，一个是ｄｅｐｔｈ　ｍｅｔａｄａｔａ（3D scene understanding），一个是ｖｉｄｅｏ　ａｎｄ　ＧＰＳ　ｍｅｔａ　ｄａｔａ。

数据标定：http://www.faculty.idc.ac.il/arik/seminar2010/papers/Databases/LabelMe.pdf
https://www.jiqizhixin.com/articles/2017-08-01-7
数据标定是采用多边形标定工具ｌａｂｅｌｍｅ，http://labelme.csail.mit.edu/Release3.0/

每个多边形必须只有一个ｌａｂｅｌ，细标的时候要仔细检查有没有像素是重复标注的，或者没有标注的。不明确ｌａｂｅｌ的时候重ｖｏｉｄ里面选择一个。标注的时候先标注远处的物体，再标注近处的物体，这样可以使得两个物体的边界能够被共享和连续。

1. Instance-Level Semantic Labeling实例分割
   语义分割并没有区分出单个物体，相比而言在实例分割中标注的人物在于检测出物体并分割。这是传统分割任务的延伸。由于每个实例都要分割出来，所有每个实例都需要单独的标签。

现在的方法可以分为３类：
１。先分割再检测。主要方法包括ＲＣＮＮ，基于Selective Search ， MCG。对每一个分割出来的ｂｂ计算分类得分。
２。先检测再分割。将边框检测精细到实例分割级别。比如先用ｆａｓｔｅｒｒｃｎｎ检测出边框，再对每个边框进行分割。
３。检测和分割同时进行。　早期的方法包括Hough　voting，最近用 CRFs

pascal_voc
http://host.robots.ox.ac.uk/pascal/VOC/voc2012/

{"palette":[[0,0,0],[128,0,0],[0,128,0],[128,128,0],[0,0,128],[128,0,128],[0,128,128],[128,128,128],[64,0,0],[192,0,0],[64,128,0],[192,128,0],[64,0,128],[192,0,128],[64,128,128],[192,128,128],[0,64,0],[128,64,0],[0,192,0],[128,192,0],[0,64,128],[128,128,128]],"mean":[102.93,111.36,116.52],"dilation":8, "zoom":8}

类别名称 R G B background 0 0 0 背景 aeroplane 128 0 0 飞机 bicycle 0 128 0 bird 128 128 0 boat 0 0 128 bottle 128 0 128 瓶子 bus 0 128 128 大巴 car 128 128 128 cat 64 0 0 猫 chair 192 0 0 cow 64 128 0 diningtable 192 128 0 餐桌 dog 64 0 128 horse 192 0 128 motorbike 64 128 128 person 192 128 128 pottedplant 0 64 0 盆栽 sheep 128 64 0 sofa 0 192 0 train 128 192 0 tvmonitor 0 64 128 显示器

camvid
http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/

{"palette":[[128,0,0],[128,128,0],[128,128,128],[64,0,128],[192,128,128],[128,64,128],[64,64,0],[64,64,128],[192,192,128],[0,0,192],[0,128,192]],"mean":[110.70313206,108.77808759,105.41212523],"dilation":8, "zoom":8}

KITTI
官网：
http://www.cvlibs.net/datasets/kitti/index.php
AnnieWAY团队做智能驾驶的：
http://www.mrt.kit.edu/annieway/

For the stereo 2012, flow 2012, odometry, object detection or tracking benchmarks：
http://www.cvlibs.net/datasets/kitti/index.php

raw dataset：
http://www.mrt.kit.edu/z/publ/download/2013/GeigerAl2013IJRR.pdf

road benchmark：
http://w.cvlibs.net/publications/Fritsch2013ITSC.pdf

stereo 2015, flow 2015 and scene flow 2015 benchmarks：

http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Menze_Object_Scene_Flow_2015_CVPR_paper.pdf
KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办。该数据集用于评测 立体图像(stereo)，光流(optical flow)，视觉测距(visual odometry)，3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮挡与截断。整个数据集由389对立体图像和光流图，39.2 km视觉测距序列以及超过200k 3D标注物体的图像组成[1] ，以10Hz的频率采样及同步。总体上看，原始数据集被分类为’Road’, ’City’, ’Residential’, ’Campus’ 和 ’Person’。对于3D物体检测，label细分为car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc组成。

KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne 64线3D激光雷达，4个光学镜头，以及1个GPS导航系统

数据采集平台

3D标注，3D bounding box

http://adas.cvc.uab.es/s2uad/
KITTI数据集简介与使用：
http://blog.csdn.net/solomon1558/article/details/70173223

{"palette":[[128,0,0],[128,128,0],[128,128,128],[64,0,128],[192,128,128],[128,64,128],[64,64,0],[64,64,128],[192,192,128],[0,0,192],[0,128,192]],"mean":[96.19429688,95.55136972,91.34692262],"dilation":7, "zoom":8}

KITTI数据集的典型样本，分为 ’Road’, ’City’, ’Residential’, ’Campus’ 和’Person’五类。原始数据采集于2011年的5天，共有180GB数据。

Road：
http://kitti.is.tue.mpg.de/kitti/data_road.zip
http://kitti.is.tue.mpg.de/kitti/data_road_right.zip
http://kitti.is.tue.mpg.de/kitti/data_road_gray.zip
http://kitti.is.tue.mpg.de/kitti/data_road_velodyne.zip
http://kitti.is.tue.mpg.de/kitti/data_road_oxts.zip