论文读后总结1:一种对多元数据非监督异常点检测算法的对比评估
来源:互联网 发布:马士兵js视频教程 编辑:程序博客网 时间:2024/05/18 03:55
论文标题:A Comparative Evaluation of Unsupervised Anomaly Detection Algorithms for Multivariate Data
对比的算法:
Abstract:
1. 异常检测只应用于无标签的数据,也就是说,只能运用非监督学习算法。
2. 异常检测应用领域有:网络入侵检测(network intrusion detection)、欺诈检测(fraude detection)、生命科学和医学领域
3. 此论文评估的能反映:不同方法的优势和劣势、性能、计算量(computational efforts)、参数设置的影响、全局/局部异常的检测行为
4. 此论文最后给出了:典型实战任务中算法选择的建议
Introduction:
1. anomaly detection=outlier detection
2. 异常检测的原始用途是data cleansing,后者的定义是:消除outliers,因为模式识别算法(pattern recognition algorithm)对其非常敏感
3. 异常检验在入侵检验中的应用:应用最多,此时的异常检验被称为行为分析(behavioral analysis),为了实时处理海量数据,往往采用的是简单而快速的异常检验算法。通常使用模式匹配来检测已知的威胁,用额外的异常检验模块尝试识别未知的可疑行为
4. 异常检验在欺诈检验中的应用:通常分析日志数据,主要应用于金融领域,网络支付系统
5. 异常检验在数据防泄密(data leakage prevention, DLP)的应用: 类似于欺诈检验,但要求准实时分析用以预防措施
6. 异常检验在医学应用领域和生命科学的应用:病人监护、分析医学图像(如CT)以检测畸形细胞或肿瘤。寻找异常状态或突变体。
7. 异常检验也可以依据检测出异常的时间点来分类:事后分析(post-incident analysis)、准实时监测、预先警告
Categorization of Anomaly Detection:
1. 异常检验设置
不同于分类设置,取决于可获得的标签,可分为三大类:
1.1 监督异常检测:
类似于模式识别,但他的类通常极其不平衡。决策树分类算法不适用,但SVM和ANN不错。但由于通常异常不是提前知道的,或者是测试阶段实时产生的,这种设置通常意义不大。
1.2 半监督异常检测:
1.3 无监督异常检验:
2. 异常检测算法输出
3. 异常类型
4. 标准化
Related Work
Unsupervised Anomaly Detection Algorithms
1. k-NN全局异常检测
2. LOF局部异常因子
3. COF基于连通性的异常因子
类似于LOF,但密度估计不一样。LOF是基于欧氏距离的,即默认数据是以球形分布的,假设是特征是线性相关的,LOF就无能为力。
COF中,近邻的局部密度是基于最短路径方法求得的,亦称链式距离(链接当前实例和所有k个近邻的最短距离之和)。
4. INFLO受影响的异常
算法使用k近邻和反向近邻集
(待续...)
5. LoOP局部异常概率
6. LOCI局部关联积分
7. aLOCI近似局部关联积分
8. CBLOF基于聚类的局部异常因子
9. LDCOF基于聚类的局部密度异常因子
- 论文读后总结1:一种对多元数据非监督异常点检测算法的对比评估
- 利用有监督的离散算法对数据集的属性进行离散,并保存离散后的数据集
- 异常数据点检测
- 论文共读 | “阳奉阴违”的半监督学习算法
- 机器学习----无监督学习算法之异常检测
- 非监督神经网络的wake-sleep算法
- 读论文笔记:无监督的卷积神经网络对单目视图的深度估计
- 显著性检测算法学习阶段论文总结(1)
- 非监督算法
- OpenCV特征点检测算法对比
- Opencv--特征点检测算法对比
- OpenCV特征点检测算法对比
- OpenCV特征点检测算法对比
- 关于几种经典的非监督极化SAR分类算法的个人总结
- 论文回顾之一 一种新的直线段检测算法---LSD:a Line Segment Detector
- 角点检测算法及其描述子评估介绍
- 论文总结1:关于图结构优化的无监督特征选择
- [数据挖掘]离群点检测---基于kNN的离群点检测、LOF算法和CLOF算法
- 关于递归 return none的问题
- CherryPy中文文档-基础知识2
- 欢迎使用CSDN-markdown编辑器
- 深入理解计算机系统笔记
- 两个合并两个字符串的稳定算法
- 论文读后总结1:一种对多元数据非监督异常点检测算法的对比评估
- 学习java的一些记录
- Hadoop实战学习(2)-日志清洗
- IOS Ui控件 修改位置和尺寸,代码添加控件
- 过滤器filter和拦截器interceptor的区别
- 面试题16:反转链表
- String字符串拼接应该使用哪种方式?
- DateUtil日期工具类
- Excel VBA高效办公应用-第九章-VBA文秘办公技巧-Part1 (每日行程安排提醒)