Elasticsearch架构篇 - terms aggregation

news/2024/4/19 13:29:10/文章来源:https://blog.csdn.net/qq_34561892/article/details/129183161

terms aggregation

即词项分桶聚合。它是 Elasticsearch 最常用的聚合，类同于关系型数据库依据关键字段做 group。

  • size：返回的词项分桶数量，默认 10。阈值 65535。默认情况下，协调节点向每个分片请求 top size 数量的词项桶，并且在所有分片都响应后，将结果进行缩减并返回给客户端。如果实际词项桶的数量大于 size，则返回的词项桶可能会存在偏差并且不准确。

  • shard_size：每个分片返回的词项分桶数量，默认为 size * 1.5 + 10。shard_size 越大，结果越准确，但是最终计算结果的成本也越高（每个分片上的优先级队列会更大，并且节点与客户端之间的数据传输量也更大）。shard_size  不能比 size 小，否则 Elasticsearch 会覆盖该属性值，将其设置为和 size 一样的值。

  • min_doc_count：限制返回的词项分桶中对应文档的命中数量必须满足的最小值，默认 1。

  • shard_min_doc_count：限制每个分片返回的词项分桶中对应文档的命中数量必须满足的最小值，默认 0。必须小于 min_doc_count。建议为 min_doc_count / 分片数。

  • show_term_doc_count_error：显示词项分桶统计数据的错误信息，默认 false。用来显示聚合返回的每个词项的错误值，错误值表示文档计数在最差情况下的错误。这个错误值在决定 shard_size 参数值时非常有用。

  • order：指定排序规则。默认按照 doc_count 逆序排序。

  • missing：指定字段的值不存在时，给予文档的缺省值。默认会忽略。

修改返回的词项分桶的数量的阈值。

PUT _cluster/settings
{"transient": {"search.max_buckets": 10}
}

查询航班目的地最多的 Top 10 国家。

GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10}}}
}

结果输出如下：

{"took" : 38,"timed_out" : false,"_shards" : {"total" : 1,"successful" : 1,"skipped" : 0,"failed" : 0},"hits" : {"total" : {"value" : 10000,"relation" : "gte"},"max_score" : null,"hits" : [ ]},"aggregations" : {"DestCountry" : {"doc_count_error_upper_bound" : 0,"sum_other_doc_count" : 3187,"buckets" : [{"key" : "IT","doc_count" : 2371},{"key" : "US","doc_count" : 1987},{"key" : "CN","doc_count" : 1096},{"key" : "CA","doc_count" : 944},{"key" : "JP","doc_count" : 774},{"key" : "RU","doc_count" : 739},{"key" : "CH","doc_count" : 691},{"key" : "GB","doc_count" : 449},{"key" : "AU","doc_count" : 416},{"key" : "PL","doc_count" : 405}]}}
}

词项分桶聚合返回的 doc_count 值是近似的。可以使用参考如下两个指标来判断 doc_count 值是否是准确的。

  • sum_other_doc_count：查询结果中没有出现的所有词项的文档总数。

  • doc_count_error_upper_bound：查询结果中没有出现的词项的最大可能文档数。它的值是所有分片返回的最后一个词项的文档数量的和。当 show_term_doc_count_error 参数设置为 true，可以查看每个词项对应的文档数量的误差。这些误差只有当聚合结果按照文档数降序排序时才会被统计。此外，如果按照词项值本身排序、按照文档数升序或者按照子聚合结果排序都无法统计误差，doc_count_error_upper_bound 会返回 -1。

GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"show_term_doc_count_error": true}}}
}

结果输出如下：

{"took" : 5,"timed_out" : false,"_shards" : {"total" : 1,"successful" : 1,"skipped" : 0,"failed" : 0},"hits" : {"total" : {"value" : 10000,"relation" : "gte"},"max_score" : null,"hits" : [ ]},"aggregations" : {"DestCountry" : {"doc_count_error_upper_bound" : 0,"sum_other_doc_count" : 3187,"buckets" : [{"key" : "IT","doc_count" : 2371,"doc_count_error_upper_bound" : 0},{"key" : "US","doc_count" : 1987,"doc_count_error_upper_bound" : 0},{"key" : "CN","doc_count" : 1096,"doc_count_error_upper_bound" : 0},{"key" : "CA","doc_count" : 944,"doc_count_error_upper_bound" : 0},{"key" : "JP","doc_count" : 774,"doc_count_error_upper_bound" : 0},{"key" : "RU","doc_count" : 739,"doc_count_error_upper_bound" : 0},{"key" : "CH","doc_count" : 691,"doc_count_error_upper_bound" : 0},{"key" : "GB","doc_count" : 449,"doc_count_error_upper_bound" : 0},{"key" : "AU","doc_count" : 416,"doc_count_error_upper_bound" : 0},{"key" : "PL","doc_count" : 405,"doc_count_error_upper_bound" : 0}]}}
}

排序

默认按照 doc_count 逆序排序。不推荐按照 doc_count 升序排序或者在子聚合中排序，这会增加统计文档数量的错误。但是如果在单一分片或者聚合使用的字段在索引时用做路由键，这两种情况下却是准确的。

_count：按照数量排序，默认的排序方式。

_key：按照词项排序。

_term： 按照词项排序。

按照文档数量的升序排序。

GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"show_term_doc_count_error": true,"order": {"_count": "asc"}}}}
}

按照 key 的字母顺序升序排序。

GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"show_term_doc_count_error": true,"order": {"_key": "asc"}}}}
}

查询航班飞行最短的 Top 10 国家。

GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"order": {"min_FlightTimeMin": "desc"}},"aggs": {"min_FlightTimeMin": {"min": {"field": "FlightTimeMin"}}}}}
}

GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"order": {"stats_FlightTimeMin.max": "desc"}},"aggs": {"stats_FlightTimeMin": {"stats": {"field": "FlightTimeMin"}}}}}
}

词项嵌套分桶

嵌套深度建议不要超过三层。

GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"show_term_doc_count_error": true},"aggs": {"OriginCountry": {"terms": {"field": "OriginCountry","size": 10}}}}}
}

脚本方式

GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"script": {"source": """doc['DestCountry'].value + "-DEMO";""","lang": "painless"},"size": 10}}}
}

结果输出如下：

{"took" : 56,"timed_out" : false,"_shards" : {"total" : 1,"successful" : 1,"skipped" : 0,"failed" : 0},"hits" : {"total" : {"value" : 10000,"relation" : "gte"},"max_score" : null,"hits" : [ ]},"aggregations" : {"DestCountry" : {"doc_count_error_upper_bound" : 0,"sum_other_doc_count" : 3187,"buckets" : [{"key" : "IT-DEMO","doc_count" : 2371},{"key" : "US-DEMO","doc_count" : 1987},{"key" : "CN-DEMO","doc_count" : 1096},{"key" : "CA-DEMO","doc_count" : 944},{"key" : "JP-DEMO","doc_count" : 774},{"key" : "RU-DEMO","doc_count" : 739},{"key" : "CH-DEMO","doc_count" : 691},{"key" : "GB-DEMO","doc_count" : 449},{"key" : "AU-DEMO","doc_count" : 416},{"key" : "PL-DEMO","doc_count" : 405}]}}
}

词项分桶键值过滤

支持精确键值过滤与模糊匹配方式（通过正则表达式）过滤。个人发现 Elasticsearch 7.14 版本模糊匹配方式实际操作中不生效。

  • include：包括指定的词项分桶值。
  • exclude：不包括指定的词项分桶值。
GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"show_term_doc_count_error": true,"include": ["US", "IT", "CN"]}}}
}

结果输出如下：

{"took" : 2,"timed_out" : false,"_shards" : {"total" : 1,"successful" : 1,"skipped" : 0,"failed" : 0},"hits" : {"total" : {"value" : 10000,"relation" : "gte"},"max_score" : null,"hits" : [ ]},"aggregations" : {"DestCountry" : {"doc_count_error_upper_bound" : 0,"sum_other_doc_count" : 0,"buckets" : [{"key" : "IT","doc_count" : 2371,"doc_count_error_upper_bound" : 0},{"key" : "US","doc_count" : 1987,"doc_count_error_upper_bound" : 0},{"key" : "CN","doc_count" : 1096,"doc_count_error_upper_bound" : 0}]}}
}

词项分桶分区聚合

很多时候需要统计的分桶数量太多，导致一次运行很慢。可以借助分区机制，在客户端进行合并。对所有可能的分桶进行分区。

partition：分区编号。从 0 开始。

num_partitions：分区数量。

GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"show_term_doc_count_error": true,"include": {"partition": 2,"num_partitions": 5}}}}
}

个人在实际操作中，发现每次调整 partition的值，返回的桶的数量可能会不同。比如partition设置为2，结果返回8个桶；parition设置为1，结果返回6个桶，

词项分桶统计收集模型

  • collect_mode：词项分桶统计收集模型。
    • depth_first：（默认值）深度优先。适用于分桶数据量小的，分桶比较固定的，建议 10000 以内。
    • breadth_first：广度优先。适用于分桶数据量大的。
GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"show_term_doc_count_error": true,"collect_mode": "depth_first"}}}
}

词项分桶存储选择

  • execution_hint：词项分桶临时存储设置。
    • map：使用 map 结构。适用于少量分桶的聚合统计。
    • global_ordinals：（默认值）使用全局序号结构。适用于大量分桶的聚合统计。
GET kibana_sample_data_flights/_search
{"size": 0,"aggs": {"DestCountry": {"terms": {"field": "DestCountry","size": 10,"show_term_doc_count_error": true,"execution_hint": "map"}}}
}

提前加载全局序号

Elasticsearch 在使用全局序号时，第一次需要从 doc_values 读取所有值来构建全局序号。可以设置提前加载到内存中，避免查询响应慢。

  • eager_global_ordinals：设置 true，提前加载并构建全局序号。
PUT my-index-000001/_mapping
{"properties": {"tags": {"type": "keyword","eager_global_ordinals": true}}
}

指标聚合进行子聚合

stats 指标聚合作为子聚合。

GET kibana_sample_data_ecommerce/_search
{"size": 0,"aggs": {"city_name": {"terms": {"field": "geoip.city_name","size": 10},"aggs": {"taxful_total_price": {"stats": {"field": "taxful_total_price"}}}}}
}

top_hits 指标聚合作为子聚合。

GET kibana_sample_data_ecommerce/_search
{"size": 0,"aggs": {"aggs_customer_id": {"terms": {"field": "customer_id","size": 10},"aggs": {"top_hits": {"top_hits": {"size": 2, "_source": {"includes": ["customer_id", "order_date", "products"]},"sort": [{"order_date": {"order": "desc"}}  ]}}}}}
}

top_metrics 指标聚合作为子聚合。

GET kibana_sample_data_ecommerce/_search
{"size": 0, "aggs": {"aggs_customer_id": {"terms": {"field": "customer_id","size": 2},"aggs": {"top_metrics_total_price": {"top_metrics": {"metrics": {"field": "taxful_total_price"},"sort": {"order_date": "desc"},"size": 1}}}}}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.luyixian.cn/news_show_73096.aspx

如若内容造成侵权/违法违规/事实不符，请联系dt猫网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

xselect 实现已用数据禁止选择

xselect 实现已用数据禁止选择

function queryExamtemplate() {layui.$.ajax({url: 接口地址,type: "get",data: {id: id, name: name},//传参数方式 无参[]dataType: "json",contentType: "application/json",success: function (res) {if (res.code 0) {let data [];res.…
阅读更多...
滤波算法：经典卡尔曼滤波

滤波算法：经典卡尔曼滤波

卡尔曼滤波实质上就是基于观测值以及估计值二者的数据对真实值进行估计的过程。预测步骤如图1所示： ​图1 卡尔曼滤波原理流程图 假设我们能够得到被测物体的位置和速度的测量值 ​，在已知上一时刻的最优估计值 ​以及它的协方差矩阵 的条件下&#xff…
阅读更多...
【数据结构】时间复杂度

【数据结构】时间复杂度

🚀write in front🚀 📜所属专栏：初阶数据结构 🛰️博客主页：睿睿的博客主页 🛰️代码仓库：🎉VS2022_C语言仓库 🎡您的点赞、关注、收藏、评论，是对…
阅读更多...
Nordic nRF芯片FDS模块学习

Nordic nRF芯片FDS模块学习

FDS系统学习 文章目录FDS系统学习一、ROM，RAM，FLASH作用二、ROM,RAM和FLASH在单片中的运作原理三、Flash访问模块FDS用法1. FDS在sdk_config.h中的配置2. fds_register()注册3. fds_record_write()写记录4. fds_record_find()查找5. fds_record_open()读…
阅读更多...
常见的排序算法 | 直接插入排序 | 希尔排序 | 选择排序 | 堆排序 | 冒泡排序 | 快速排序 | 归并排序 |（详解，附动图，代码）

常见的排序算法 | 直接插入排序 | 希尔排序 | 选择排序 | 堆排序 | 冒泡排序 | 快速排序 | 归并排序 |（详解，附动图，代码）

思维导图： 一.插入排序 1.直接插入排序（InsertSort） ①手机通讯录时时刻刻都是有序的，新增一个电话号码时，就是使用插入排序的方法将其插入原有的有序序列。 ②打扑克 步骤： ①如果一个序列只有一个数&am…
阅读更多...
报表开发难上手？这里有一份 Fastreport 最新中文用户指南，请查收

报表开发难上手？这里有一份 Fastreport 最新中文用户指南，请查收

Fast Reports,Inc.成立于1998年，多年来一直致力于开发快速报表软件，包括应用程序、库和插件。FastReport的报表生成器（VCL平台和.NET平台）、跨平台的多语言脚本引擎FastScript、桌面OLAP FastCube，如今都受到世界各地开…
阅读更多...
工赋开发者社区 | 工业数字孪生:西门子工业网络与设备虚拟调试案例（TIA+MCD+SINETPLAN)

工赋开发者社区 | 工业数字孪生:西门子工业网络与设备虚拟调试案例（TIA+MCD+SINETPLAN)

PART1案例背景及基本情况新生产系统的设计和实施通常是耗时且高成本的过程，完成设计、采购、安装后，在移交生产运行之前还需要一个阶段，即调试阶段。如果在开发过程中的任何地方出现了错误而没有被发现，那么每个开发阶段的错误成本…
阅读更多...
建议收藏！数据可视化大屏设计必备步骤

建议收藏！数据可视化大屏设计必备步骤

相信对于从事大数据相关的人员来说，数据的可视化大屏是最能展现自己工作价值的一个途径。可视化大屏就是数据分析的最后成果的展示，而如果能设计出更直观、更酷炫、更具有科技感的大屏，更能获得客户的青睐。 那么客户喜欢的究竟是怎样的可视化…
阅读更多...
嵌入式开发：在嵌入式应用程序中混合C和C++

嵌入式开发：在嵌入式应用程序中混合C和C++

许多嵌入式应用程序仍使用c语言编写，但越来越多的嵌入式开发人员现在使用C语言编写程序。某些应用程序甚至共享这两种语言。这有意义吗?C是嵌入式应用中最常用的编程语言。多年来，人们一直期待着向C过渡，但过渡速度相当缓慢。但是&#xff0…
阅读更多...
Appium自动化测试 Inspector定位Webview/H5页面元素

Appium自动化测试 Inspector定位Webview/H5页面元素

目录操作步骤Python操作该混合App代码Appium在操作混合App或Android App的H5页面时, 常常需要定位H5页面中的元素, 传统方式是 FQ 使用Chrome://inspect来定位元素, 环境准备相当繁琐, 不仅需要想办法FQ, 而且还需要Android设备安装Google框架以及手机版Chrome浏览器以及相应的…
阅读更多...
问题记录-网卡丢失导致Temporary failure in name resolution

问题记录-网卡丢失导致Temporary failure in name resolution

没网了，ifconfig查看一下 发现是网卡丢失 使用如下命令： sudo ifconfig eth0 up sudo dhclient解决
阅读更多...
postgresql 数据库 主从切换 测试

postgresql 数据库 主从切换 测试

postgresql 数据库 主从切换 测试 文章目录postgresql 数据库 主从切换 测试前言环境：主从切换1. 查看数据库状态：2. 备库切换主库3. 旧主库切换成备库；4 查看状态后记前言 因数据库等保需要，需要对老系统的数据库进行主从切换来…
阅读更多...
考出PMP证书到底有没有用?

考出PMP证书到底有没有用?

我们将从三方面分享： 1. PMP 证书在国内的含金量怎么样？ 2. HR 如何看待 PMP 证书？ 3. 拿到 PMP 证书后，有哪些变化？ 一，PMP证书的含金量 说到 PMP 证书的含金量，相信这个问题是所有学员都…
阅读更多...
JS语法让人困惑的点 “==与===”

JS语法让人困惑的点 “==与===”

在JS中有很多神奇的语法，非常让人困惑，我们就先一一道来，相信你在开发中或多或少都踩过这些坑，或者让人无法理解。 今天我们就来说下【】和【】 这题对于很多没有系统学过前端开发的技术人员来说，算个重点&#xff0c…
阅读更多...
Spring+MVC+MYbatis注解开发

Spring+MVC+MYbatis注解开发

Spring常见注解 注解一：Configuration 用在类上面，加上这个注解的类可以成为一个spring的xml配置文件，使用的是java代码的配置 注解二：ComponentScan 用在类上，加上注解可以指定扫描路径 注解三：创建对…
阅读更多...
面试 | 递归乘法【细节决定成败】

面试 | 递归乘法【细节决定成败】

不用[ * ]如何使两数相乘❓一、题目明细二、思路罗列 & 代码解析1、野蛮A * B【不符合题意】2、sizeof【可借鉴】解析3、简易递归【推荐】① 解析&#xff08;递归展开图&#xff09;② 时间复杂度分析4、移位<<运算【有挑战性&#x1f4aa;】① 思路顺理② 算法图解…
阅读更多...
啥是原神？女友说想要全角色语音+表情包，顺手用python把高清图也整下来了

啥是原神？女友说想要全角色语音+表情包，顺手用python把高清图也整下来了

原神全角色中日语音表情包高清图人生苦短 我用python表情包部分&#xff1a;1. 素材来自&#xff1a;2. 准备模块3. 调用浏览器驱动4. 页面滚动5. 保存数据5. 效果全角色语音高清彩图部分1.准备工具2. 准备模块3. 请求链接4. 本次目标5. 分析数据来源6. 开始代码7. 执行结果8. …
阅读更多...
Revit操作 | 门和窗的载入与放置。

Revit操作 | 门和窗的载入与放置。

想要系统性掌握BIM技能&#xff0c;不能只停留在理论知识上&#xff0c;实操也是关键一步。 拒绝纸上谈兵&#xff0c;提升操作技巧&#xff0c;从点滴开始积累。今天我们来学习Revit实操小技巧之门和窗的载入与放置。 门和窗的载入与放置 门和窗是建筑中最常用的构件。在 Re…
阅读更多...
单通道说话人语音分离——Conv-TasNet(Convolutional Time-domain audio separation Network)

单通道说话人语音分离——Conv-TasNet(Convolutional Time-domain audio separation Network)

单通道说话人语音分离——Conv-TasNet模型(Convolutional Time-domain audio separation Network) 参考文献&#xff1a;《Conv-TasNet: Surpassing Ideal Time-FrequencyMagnitude Masking for Speech Separation》 1.背景 在真实的声学环境中&#xff0c;鲁棒的语音处理通常…
阅读更多...
Unity（二）--通过简单例子了解UGUI几个常用对象操作(Text，Image，Button)

Unity（二）--通过简单例子了解UGUI几个常用对象操作(Text，Image，Button)

目录 文本框等UI对象的添加Canvas 画布给Canvas添加脚本，绑定要操作的对象文本框Text的使用图像Image的使用更换图片Type:显示图片相关按钮Button的使用过渡导航事件绑定文本框等UI对象的添加 Canvas 画布 当创建一个UI元素的时候，如果没有Canvas 画布，就会自动创建一个画布…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023