异常解决:org.apache.avro.AvroRuntimeException: Malformed data. Length is negative: -40

标题中这个错误是在apache nifi中使用avro序列化后结果发送到kafka中,然后从kafka中反序列化数据时出现的异常错误。通过各种调试,发现是由于Avro序列化后把schema信息也包含在datafile中,因此需要在发送数据之前将schema去掉,在Nifi中可以利用SplitAvro Processor将with schema选项置为fa

Oracle GoldenGate配置过程中的一点问题总结

Oracle GoldenGate(简称OGG) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。目前我的使用场景是将现有的系统数据库中的实时数据(主要是Insert数据)发送到的Kafka中,来实现即时数据比对。当然OGG还支持除Oracle之外的其他主流数据库,同时OGG For Big Data组件也支持实时数据发布到除Kafka之