擎创技术流 | ClickHouse实用工具—ckman教程(1)部署安装

news/2024/5/17 1:02:13/文章来源:https://blog.csdn.net/qq_37641528/article/details/127653268

前言:

在数据量日益增长的当下,传统数据库的查询性能已满足不了业务需求。而Clickhouse在OLAP(On-Line Analysis Processing——即一种在线分析处理的,用于数据分析的计算方法)领域的应用,可以助力企业打造完备的运维管理平台,从而实现降本增效的目标。

●注解:ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。

一、为什么选择Clickhouse

  • 写入吞吐量大。单服务器日志写入量在50MB到200MB/s,每秒写入超过60w记录数,是ES的5倍以上。在ES中比较常见的写Rejected导致数据丢失、写入延迟等问题,在ClickHouse中不容易发生。

  • 支持快速即时查询。官方宣称数据在pagecache中,单服务器查询速率大约在2-30GB/s;没在pagecache的情况下,查询速度取决于磁盘的读取速率和数据的压缩率。经测试ClickHouse的查询速度比ES快5-30倍以上。

  • 相较于其他服务器成本更低。一方面ClickHouse的数据压缩比比ES高,相同数据占用的磁盘空间只有ES的1/3到1/30,节省了磁盘空间的同时,也能有效的减少磁盘IO,这也是ClickHouse查询效率更高的原因之一;另一方面ClickHouse比ES占用更少的内存,消耗更少的CPU资源。预估用ClickHouse处理日志可以将服务器成本降低一半。

二、Clickhouse特点

1.列式储存,以下表为例

  • 如果为行式存储,在磁盘上的结构为:

适合查某个人所有的属性,通过一次磁盘查找+顺序读取就可以;如果查所有人的年龄,则需要全表扫描或者不停的查找,遍历很多不需要的数据。

  • 如果为列式存储,在磁盘上的结构为:

Clickhouse列式存储的好处:

  • 对列的聚合、计数、求和等统计操作优于行式存储

  • 由于某一列的数据类型是相同的,针对数据存储更容易压缩。每一列选择更优的数据压缩算法,大大提高了数据的压缩比重。

  • 数据压缩比更好,节省了磁盘空间,另一方面对于cache有了更大的发挥空间。

2.完备的DBMS 功能

涵盖了大部分标准SQL的语法,包括DDL和DML,以及配套的函数,用户管理及权限管理,数据备份和恢复。

3.支持多样化引擎

clickhouse 和 mysql 类似,把表及存储引擎插件化,根据表不同的需求可以设置不同存储引擎。包括合并树、日志、接口和其他20多种引擎。

三、好用的ClickHouse管理工具

目前,ClickHouse虽陆续被众多商业公司或研究机构应用到了其生产环境。但它也有不足之处,比如:

  • 不支持事务、异步删除与更新。
  • 不擅长根据主键按行粒度进行查询(虽然支持)。
  • 不适用高并发场景。

为了方便企业更好地对ClickHouse进行管理,擎创科技自主研发了一款管理工具——ClickHouse CKman(ClickHouse Manager)。它的前端采用Vue框架,后端使用Go语言编写,主要用来管理ClickHouse集群、节点以及数据监控等,致力于服务ClickHouse分布式的操作以及管理,同时提供简单的数据查询窗口。(下附安装视频)

本系列文章将逐步介绍ckman从安装到使用的详细教程,如果您感兴趣或有任何问题,欢迎随时联系我们~

系列教程1


擎创科技,Gartner连续推荐的AIOps领域标杆供应商。公司致力于协助企业客户提升对运维数据的洞见能力,优化运维效率,充分体现科技运维对业务运营的影响力。

行业龙头客户的共同选择

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_411555.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2022爱分析·虚拟化活动实践报告

报告编委 张扬 爱分析联合创始人&首席分析师 文鸿伟 爱分析高级分析师 **王鹏 ** 爱分析分析师 外部专家**(按姓氏拼音排序)** 梁瑛玮 保利威技术副总裁 于颢 tatameCEO 特别鸣谢(按拼音排序) 报告摘要 新冠疫…

Linux基础(yum,vim,gcc,gdb)

Linux基本的命令我们会敲了,基本的文件概念以及权限概念我们也都了解了,接下来该学一些好用的工具,用Linux完成一些工作了 目录 yum yum的作用 yum基本操作 vim vim的基本模式 命令模式 插入模式 底行模式 可视化模式 gcc gcc…

Drag-MoveMent

目录UGUI-OnDrag事件如何使用PointerEventDataposition屏幕空间->世界坐标/局部坐标空间(转换)参考文章UGUI-OnDrag事件 示例代码: using UnityEngine.EventSystems;public class TestOnDrag : MonoBehaviour, IDragHandler, IBeginDragHandler, IEndDragHandler {public v…

java计算机毕业设计基于安卓Android的教学考勤系统APP

项目介绍 首先,论文一开始便是清楚的论述了系统的研究内容。其次,剖析系统需求分析,弄明白“做什么”,分析包括业务分析和业务流程的分析以及用例分析,更进一步明确系统的需求。然后在明白了系统的需求基础上需要进一步地设计系统,主要包罗软件架构模式、整体功能模块、数据库…

二叉查找树、平衡二叉树、红黑二叉树简单概念

二叉查找树(二叉排序树、二叉搜索树): 性质: 1.若其左子树非空,则左子树上所有节点的值都小于根节点的值; 2.若其右子树非空,则右子树上所有节点的值都大于根节点的值; 3.其…

Kubectl

目录 一、资源管理 1.kubernetes集群管理 2.kubectl 3.kubectl 的命令 (1)查看版本信息 (2)查看资源对象简写信息 (3)查看集群信息 (4)配置kubectl自动补全 (5)node节点查看日志 (6)K8s核心组件日志 二、基本信息查看 1.查看master节点状态 2.查看命令空间 3.查看…

系统学习SpringFrame:SpringBean的注入方式

本篇内容包括:Spring 容器简介(什么是容器、容器如何工作)、SpringBean 注入方式(SpringBean 注入方式分类、Autowiring 自动绑定)以及 获取 Spring Bean 的工具类! 一、Spring 容器 1、什么是容器 Sprin…

企业电子文档管理系统哪个好?怎么选?

选择一款企业电子文档管理系统(EDMS)时应该关注什么? 这完全取决于你需要实现的控制、协作和灵活性水平。 然而,有两个关键的电子文档管理系统功能是你应该要关注的。 ● 简单配置的工作流程 你可以更轻松地进行协作&#xff…

算法6 排序算法 QuickSort 快速排序

Quick sort 快速排序快算排序 Quick Sort ,可能是应用最为广泛的算法,被视为20世纪科学和工程领域的十大算法之一。其流行的原因是因为它实现简单,可适用于不同数据,并且在一般场景下比其他算法要更快。其优点是: 可借…

JSP声明:变量、方法和类的声明

在 JSP 页面中可以声明变量、方法和类&#xff0c;其声明格式如下&#xff1a; <%!声明变量、方法和类的代码&#xff05;>特别要注意&#xff0c;在“<%“与“!”之间不要有空格。声明的语法与在 Java 语言中声明变量和方法时的语法是一样的。 声明变量 在“<%!…

面试官视角总结的测开面试题(付答案)

背景 leader让胖虎当回面试官, 招一位合适的测开同学. 由于是第一次当面试官, 肯定要认真对待一下, 所以精心准备了一些面试题. 讲道理胖虎经历过很多次面试了, 不过都是以面试者的角度, 首次以面试官的身份来面试别人还是有点期待的! 制定评判标准 首先我列了个能力需求和…

python自带的idle以及pycharm使用

作者介绍&#xff1a; ♥️作者&#xff1a;小刘在C站 ♥️每天分享课堂笔记&#xff0c;一起努力&#xff0c;共赴美好生活&#xff01; ♥️夕阳下&#xff0c;是最美的绽放。 目录 一.python自带的idle 二.ipython ipython介绍 ipython安装步骤 ipython使用 三.pycharm…

Uniapp零基础开发学习笔记(11)-安装扩展组件uni-ui/uView及微信小程序开发环境

Uniapp零基础开发学习笔记(11)-安装扩展组件uni-ui/uView及微信小程序开发环境 1.安装扩展组件uni-ui uni-ui是uni-app团队开发的官方扩展组件&#xff0c;比基础组件的能力更强更好用。 介绍文档: https://uniapp.dcloud.net.cn/component/uniui/uni-ui.html 使用方法: 按照…

SCALA基础

若没有安装scala&#xff0c;则参考博客链接&#xff1a;http://t.csdn.cn/mF7tx 1、Scala的常用数据类型 注意&#xff1a;在Scala中&#xff0c;任何数据都是对象。例如&#xff1a;scala> 1 res0: Int 1scala> 1.toString res1: String 1scala> "1".t…

2024年浙江大学金融硕士专业报考分析

全国经济类联考专业之一的金融硕士&#xff0c;近年来成为不少考生报考的热点&#xff0c;特别是浙江大学金融硕士每年的报考竞争压力都非常大&#xff0c;今天专注于经管类联考的达立易考教育针对浙大金融硕士这个专业做简单报考分析&#xff0c;帮助2024年考生成功完成专业的…

微服务注册中心技术选型:5种主流注册中心,哪个最香?

讲解5种常用的注册中心&#xff0c;对比其流程和原理&#xff0c;无论是面试还是技术选型&#xff0c;都非常有帮助。 对于注册中心&#xff0c;在写这篇文章前&#xff0c;我其实只对ETCD有比较深入的了解&#xff0c;但是对于Zookeeper和其它的注册中心了解甚少&#xff0c;甚…

样板间虚拟现实定制让看房者有一种自己设计家自主交互体验-深圳华锐视点

为了完成销售目标,扩大市场销售面积,各大房企必将加大楼盘推出,降价冲销量已成常态。房企更多的是需要采用创意化的营销策略,方能在激烈的竞争中脱颖而出。精细化场景还原,提升用户好感度,相比有趣的交互方式,VR虚拟样板间本身的质量更为重要。在这方面,VR虚拟样板间必…

如何使用Jupyter Notebook

1、首先安装 Jupyter Notebook winr输入cmd点击确定 弹出命令提示符窗口后输入命令 pip install Jupyter Notebook2、打开Jupyter Notebook 同样在命令提示符窗口&#xff0c;只需输入Jupyter Notebook 或者在一个文件夹里面按住shirt鼠标右键&#xff0c;选择powershell 然…

适合学生的蓝牙耳机哪款平价?学生平价蓝牙耳机推荐

对学生来说&#xff0c;耳机的使用场合还是比较多的&#xff0c;蓝牙耳机对他们来说是比较重要的。比如&#xff0c;在宿舍自习时需要戴耳机&#xff0c;以免吵到其他舍友&#xff1b;玩游戏时要戴耳机&#xff0c;去图书馆自习要戴耳机…… 1、南卡小音舱蓝牙耳机 综合得分&…

FDbus NDK以及QNX交叉编译

1. 背景 fdbus 可以这讲&#xff0c;就是一个定制化的RPC&#xff0c;可以用于进程间通信&#xff0c;以及双系统间通信。 TODO 2. 下载资源 fdbus镜像地址&#xff1a;fdbus Android ndk下载&#xff1a;Android ndk QNX tools下载&#xff1a; prebuilt_QNX700 下载完…