Apache NiFi大数据处理和分发系统

此文档源于在2018年2月做Apache NiFi大数据处理和分发系统培训整理的文档。培训版本基于Nifi1.5,同时附有Nifi安装配置和常用Processor使用的PDF文档。 nifi配置及操作 常见的组件使用 1.NiFi功能概述、原理和架构 1.1 NiFi的功能概述 ​ Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发

异常解决:org.apache.avro.AvroRuntimeException: Malformed data. Length is negative: -40

标题中这个错误是在apache nifi中使用avro序列化后结果发送到kafka中,然后从kafka中反序列化数据时出现的异常错误。通过各种调试,发现是由于Avro序列化后把schema信息也包含在datafile中,因此需要在发送数据之前将schema去掉,在Nifi中可以利用SplitAvro Processor将with schema选项置为fa