ElasticSearch5 升级到 ElasticSearch7 主子表结构索引迁移的解决方案

阅读: 评论:0

ElasticSearch5 升级到 ElasticSearch7 主子表结构索引迁移的解决方案

ElasticSearch5 升级到 ElasticSearch7 主子表结构索引迁移的解决方案

首先ElasticSearch5和ElasticSearch7的主子表结构存储结构不一样,logstash本身就不支持主子表的数据同步,更何况跨版本了,只能自己用java程序写,利用rabbitMQ做中间数据的传输,设计思路如下

一 生产者有两个,一个是查主表的数据,一个是查子表的数据,分别插入parent-mq和child-mq,其中查子表的时候必须要把_routing查出来,这是用于关联父ID的重要字段

二 消费者同时也需要两个,一个是消费parent-mq,另一个消费child-mq,主要是在子表插入的时候记得join_字段和parent_id的插入,主表也需要插入join_字段的值为主表的type

三 启动消费者,启动生产者,插入es7中,数据自动会关联上,不分先后顺序,效率还可以

 

保存子表数据时的parentID需要赋值,这个对应es7建立索引时的join_字段

                JoinField joinField = new JoinField();joinField.setName("child");joinField.ParentId());rule.setRelation_field(joinField);service.add(ParentId());

 

本文发布于:2024-02-01 15:45:52,感谢您对本站的认可!

本文链接:https://www.4u4v.net/it/170677355237688.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:主子   升级到   索引   解决方案   结构
留言与评论(共有 0 条评论)
   
验证码:

Copyright ©2019-2022 Comsenz Inc.Powered by ©

网站地图1 网站地图2 网站地图3 网站地图4 网站地图5 网站地图6 网站地图7 网站地图8 网站地图9 网站地图10 网站地图11 网站地图12 网站地图13 网站地图14 网站地图15 网站地图16 网站地图17 网站地图18 网站地图19 网站地图20 网站地图21 网站地图22/a> 网站地图23