首先ElasticSearch5和ElasticSearch7的主子表结构存储结构不一样,logstash本身就不支持主子表的数据同步,更何况跨版本了,只能自己用java程序写,利用rabbitMQ做中间数据的传输,设计思路如下
一 生产者有两个,一个是查主表的数据,一个是查子表的数据,分别插入parent-mq和child-mq,其中查子表的时候必须要把_routing查出来,这是用于关联父ID的重要字段
二 消费者同时也需要两个,一个是消费parent-mq,另一个消费child-mq,主要是在子表插入的时候记得join_字段和parent_id的插入,主表也需要插入join_字段的值为主表的type
三 启动消费者,启动生产者,插入es7中,数据自动会关联上,不分先后顺序,效率还可以
保存子表数据时的parentID需要赋值,这个对应es7建立索引时的join_字段
JoinField joinField = new JoinField();joinField.setName("child");joinField.ParentId());rule.setRelation_field(joinField);service.add(ParentId());
本文发布于:2024-02-01 15:45:52,感谢您对本站的认可!
本文链接:https://www.4u4v.net/it/170677355237688.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
留言与评论(共有 0 条评论) |