nifi初识---概念 、特性、面临挑战

nifi用来解决不同系统之间的自动化数据流处理。dataflow的概念在很多的地方都有使用到，在这里我们用dataflow作为不同系统之间的流信息的自动化和管理。其实这是一个企业都面临的大问题，不同系统之间，有的产生流，有的消费流，如果将他们有机统一起来，形成一个复杂的解决所有问题的模板工具，很重要。

nifi的特性：

• 基于Web的用户界面
  设计，控制，反馈和监测之间的无缝体验
• 高度可配置
  损失容忍与保证交付
  低延迟vs高吞吐量
  动态优先
  流可以在运行时修改
  背压
• 数据血缘
  跟踪数据流从头到尾
• 为扩展而设计
  建立自己的处理器或者其他很多高级的操作
  快速的开发和高效的测试
• 安全
  SSL，SSH，HTTPS，加密内容等
  多租户授权和内部授权/策略管理

nifi 面临的一些挑战：

• 系统故障
  网络故障，磁盘故障，系统宕机，人为失误。
• 数据访问超过了消耗的能力
• 边界问题很难解决
  你可能总是遇到一些，譬如，数据，量太大，太小，太快，太慢，破坏了的，或者格式错误。
• 系统不同频率的迭代
  一些系统的协议和格式总是在不断地变化，而且他总是和周围的系统无关联，数据流的存在是为了将本质上是大规模分布式系统的组件松散地或非一般地设计成一起工作。
• 合法性安全性
  系统到系统和系统到用户的交互必须是安全的，可信的，负责任的。
• 生产中持续改进
  实验室环境总是无法完全模拟生产环境中的各种问题。