使用Coral将HiveView转为PrestoSQL

使用Coral将HiveView转为PrestoSQL

文章目录

• 前言
• 环境准备
• 使用Coral
• 总结

前言

随着技术的发展，Hive的计算逐渐被新生的引擎Spark、Presto这些取代。但是数据仓库元数据的管理依旧是交给HiveMetaStore，一些留存的View可能也需要使用新的引擎执行。
Spark对Hive的语法兼容较好，不用担心ViewSQL的转换问题；Presto则严格地遵循ANSI标准，对Hive的兼容较差。
于是有了一些项目将Hive的SQL转为其他引擎的SQL，Coral就是其中之一。

环境准备

已经有hive环境的可以直接使用自己的Hive环境

如果没有hive的话，可以使用docker迅速搭建起一套Hive环境

git clone .git

按照docker-hive项目的README.md准备好后，建立一个view准备之后使用

CREATE VIEW IF NOT EXISTS pmod_view AS 
SELECT pmod(-9, 4) FROM pokes

使用Coral

• 引入依赖

1. hive-jdbc用于查询
2. coral-trino转换SQL
3. junit用于编写单元测试

  <dependency><groupId>org.apache.hive</groupId><artifactId>hive-metastore</artifactId><version>2.3.2</version></dependency><!-- .al/coral-trino --><dependency><groupId>al</groupId><artifactId>coral-trino</artifactId><version>1.0.89</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.13</version><scope>test</scope></dependency>

• 简单演示

使用Coral将HiveSQL转为PrestoSQL

  @Testpublic void testHive2Trino() throws Exception {//连接HMSHiveConf hiveConf = new HiveConf();hiveConf.set(&#astore.uris", "thrift://127.0.0.1:9083");HiveMetaStoreClient hiveMetaStoreClient = new HiveMetaStoreClient(hiveConf);//获得view的原始SQL即HiveSQLString dbName = "test";String viewName = "pmod_view";String viewSql = Table(dbName, viewName).getViewOriginalText();System.out.println(viewSql);//将HiveView转为PrestoSQLHiveToRelConverter hiveToRelConverter = ate(new HiveMscAdapter(hiveMetaStoreClient));RelNode relNode = vertView(dbName, viewName);RelToTrinoConverter relToTrinoConverter = new RelToTrinoConverter();String prestoSql = vert(relNode);System.out.println(prestoSql);}

转换成功：Presto没有Hive的pmod，但是可以通过改写实现相同的语义。

总结

Coral目前还只支持部分SQL的转换，但是也极大的方便了分析师们。因为只需要编写HMS的客户端，将其交给Coral就能拿到符合其他引擎语法的SQL。