Jdbc连接池在kyuubi下的最佳实践

[imperio-wxm]

想用jdbc连接池维护kyuubi的jdbc连接，有没有最佳实践
每个用户利用subdomain绑定多个实例，希望用户在多个subdomain之间负载均衡请求
subdomain参数及其他信息都是通过jdbcurl传入，如果要利用连接池则一个用户需要创建多个DataSource，很不好维护

1. kyuubi是否建议利用连接池，还是每次查询只建立connection单连用完就关闭？
2. 一个用户想要拥有多driver，并且在多driver间负载均衡用subdomain是否是合理选择？

[yaooqinn]

想用jdbc连接池维护kyuubi的jdbc连接，有没有最佳实践

连接池是可以支持的，不过同时需要注意 Kyuubi 对于连接和后端engine的共享关系。比如sharelevel=connection，在这种模式下，engine是跨连接共享的，这时候的连接池单单表现为占用服务端多个线程。而要实现engine的共享则需要 sharelevel>=user。

每个用户利用subdomain绑定多个实例，希望用户在多个subdomain之间负载均衡请求

Kyuubi支持engine pool，这个pool里可以设置engine的个数，无论是客户端连接池方式，还是临时性的连接，都可以对应到一个pool进行负载均衡。
其中，engine pool是基于subdomain实现的。相当于一个subdomain组。

kyuubi是否建议利用连接池，还是每次查询只建立connection单连用完就关闭？

具体场景问题具体分析吧，连接的保持对于kyuubi 来讲也就是engine的常驻，连接池和engine的常驻等能力可以保证性能最大化，但同时 Spark 等计算框架在常驻模式下的稳定性也是一个重要的挑战

一个用户想要拥有多driver，并且在多driver间负载均衡用subdomain是否是合理选择？

driver 是指jdbc driver，以及同个进程还是多个？ 还是spark driver？

[pan3793]

Kyuubi Engine 即一个 Spark Application，每个 Spark Application 由一个 Driver 和多个 Executor 组成。部分语境中，Kyuubi Engine、Spark App、Spark Driver 可以等价互换

[pan3793]

val url = "jdbc:kyuubi://127.0.0.1:10009/default;user=tom;?kyuubi.engine.pool.size=3"
val c1 = Driver.getConnection(url) // randomly get or create one engine from pool (size=3)
// at this time, there is one engine launched in the pool
val c2 = Driver.getConnection(url) // randomly get or create one engine from pool (size=3)
// at this time, there is AT MOST two engines launched in the pool
val c3 = Driver.getConnection(url) // randomly get or create one engine from pool (size=3)
// at this time, there is AT MOST three engines launched in the pool
val c4 = Driver.getConnection(url) // randomly get or create one engine from pool (size=3)
// at this time, there is AT MOST three engines launched in the pool

[imperio-wxm]

感谢解答！

[imperio-wxm]

你好，再问下jdbc方式是否支持spark job 的cancel？某些情况下我希望主动cancel掉某个jobGroup下的code或者sql，而不是通过timeout被动kill掉。

[pan3793]

可以使用标准 JDBC API cancel statement