如何使用go连接clickhouse
这篇文章主要介绍“如何使用go连接clickhouse”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“如何使用go连接clickhouse”文章能帮助大家解决问题。
近段时间业务在一个局点测试clickhouse,用java写的代码在环境上一直连接不上clickhouse服务,报错信息也比较奇怪,No client available
,研发查了一段时间没查出来,让运维这边继续查:
运维同学查了各种监听配置,防火墙这些,都没什么问题,但是没有明确证据能够提供证明通过http方式能访问到数据库,时间拖得比较久,项目上就急了,让尽快找到问题,所以就用go写了个小工具拉到集群上试试看8123这个端口到底能不能正常提供服务。
正文
先安装必要的库,clickhouse官方提供了2个版本的库,v1和v2,v1版本已经明确不会继续更新了,所以用新不用旧哈,可以用官方库的方式或者用dsn的方式,这个我下面一起说,安装库的命令:
gogetgithub/ClickHouse/clickhouse-go/v2
构造结构体
编写结构体,存放基本信息:
typeClickhousestruct{Hoststring//服务端主机Portint//端口DBstring//数据库Userstring//用户名Passwordstring//密码Connection*sql.DB//建立连接后存放连接Rows*sql.Rows//运行sql后的结果存放}
Connection
主要是用来建立连接后把相关信息存放,这样方便继续调用其他的方法,因为我的主要目的是测试数据库能否连通和运行Sql,所以这里Rows
用来存放测试的select语句的结果。
参数读取
这块没什么好说的,连接的参数直接从命令行读取,用flag包就好:
var(host=flag.String("host","localhost","clickhousehost")port=flag.Int("port",8123,"clickhouseport")user=flag.String("user","default","clichouseuser")pass=flag.String("password","","clickhousepassword")db=flag.String("db","default","clickhousedatabase")query=flag.String("query","showtables","queryyouwillrun")mode=flag.String("mode","driver","driverordsn"))
前面几个参数不用解释,主要是query
和mode
,query
是要运行的sql语句,我们默认就认为跑的是select语句,然后是mode
,允许选择模式,用户可以使用driver
或者dsn
两种模式进行连接,我写了两个不同的方法,其实也可以在一个Connect方法里做判断,看个人习惯;
建立连接
接下来我们建立数据库连接:
//func(c*Clickhouse)Conn(){c.Connection=clickhouse.OpenDB(&clickhouse.Options{Addr:[]string{fmt.Sprintf("%s:%d",c.Host,c.Port)},Auth:clickhouse.Auth{Database:c.DB,Username:c.User,Password:c.Password,},Settings:clickhouse.Settings{"max_execution_time":60,},DialTimeout:5*time.Second,pression:&clickhousepression{Method:clickhousepressionBrotli,Level:5,},//必须添加协议方式Protocol:clickhouse.HTTP,})}func(c*Clickhouse)ConnDsn(){conn,err:=sql.Open("clickhouse",fmt.Sprintf("%s:%d/%s?username=%s&password=%s",c.Host,c.Port,c.DB,c.User,c.Password))iferr!=nil{log.Printf("Connecttotheserverfailed,%s.\n",err.Error())return}c.Connection=conn}
参考官网的实例,实现两种连接方式,关闭方法就直接把sql.DB和sql.Rows都关闭就可以了:
func(c*Clickhouse)Close(){c.Connection.Close()c.Rows.Close()}
发起查询
查询使用Query方法进行:
func(c*Clickhouse)Select(querystring){rows,err:=c.Connection.Query(query)iferr!=nil{log.Printf("Queryselectfailed,%s.\n",err.Error())return}c.Rows=rows}
查询的结果我保存到Rows里,方便后面的解析
结果解析
比较麻烦的就是结果的解析了,用过database/sql
库的哥们都知道,这个库只提供了基础的一些接口,查询出来一般用Scan去获取数据,用法类似这样:
问题就在于,Scan要指定和sql查询出来一样多的变量,对于我们这个小工具来说,sql是不一定的,所以查询出来的字段数量肯定yes不定的,如何动态处理这个问题,肯定是不能直接写一个结构体解决的,先看我的代码:
func(c*Clickhouse)Show(){cols,err:=c.Rows.Columns()iferr!=nil{log.Printf("Failedtogettablecolumns,%s.\n",err.Error())return}//一行数据,使用any是为了避开数据类型的问题varrows=make([]any,len(cols))//存实际的值,是byte数组,长度以列的数量为准varvalues=make([][]byte,len(cols))fori:=0;i<len(cols);i++{rows[i]=&values[i]}//打印表头fmt.Println(strings.Join(cols,","))forc.Rows.Next(){iferr=c.Rows.Scan(rows...);err!=nil{fmt.Println(err)return}varvString[]stringfor_,v:=rangevalues{vString=append(vString,string(v))}//逐行打印出来fmt.Println(strings.Join(vString,","))}}
大概思路是这样:
Scan需要传入每个用来绑定单行数据值的变量,所以values是实际存储数据的byte数组,然后把数组的每个元素的地址再存入到rows数组中;
现在可以用rows[index]这样的方式来访问values中的值了,把rows直接作为入参传入到Scan,在每次循环中,把values的值转成逗号分割的字符串,直接打印
结果验证
OK,现在逻辑完成了,我们运行测试一下,
gorunmain.go-hosthostname-passwordpaswword-query"select*fromclusters"-dbsystem-modedsn
只查询2个字段,2行数据:
关于“如何使用go连接clickhouse”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注主机评测网行业资讯频道,小编每天都会为大家更新不同的知识点。
下一篇:Go语言的变量与常量怎么定义