ArgoDB 5.1 正式发布:多模融合、实时分析和数据安全多重升级

news/2024/5/18 15:59:50/文章来源:https://blog.csdn.net/mkt_transwarp/article/details/128202126


Transwarp ArgoDB是星环科技自主研发的高性能分布式分析型数据库,在PB级数据量上提供极致的数据分析能力。ArgoDB支持标准SQL语法和分布式事务,提供高并发高速数据写入、复杂查询、多模分析、数据联邦、隐私计算和动态脱敏等能力。基于星环科技ArgoDB数据库,可以打造一站式离线数据仓库、实时数据仓库、数据集市和联邦计算平台等数据分析系统,为企业提供全面、便捷、智能和安全的数据服务能力。
2022年7月中国信通院发布《数据库发展研究报告(2022年)》,报告指出未来五年,数据库技术有九大细分发展方向,其中就包括多模数据管理。此外,报告还指出当前的技术特征除了多模数据处理实时性等方面,更加注重数据共享与安全。星环科技ArgoDB的技术演进方向与该发展方向不谋而合。
近日,ArgoDB 5.1正式发布,重点围绕多模型数据处理能力、实时分析能力和数据安全防护能力进行迭代增强与优化升级。
增强多模型数据处理能力,构建关系型数据与图数据的连接桥梁


图数据库使用图模型对关联数据中的实体、关系进行建模,擅长处理海量数据下的复杂关联分析,因此非常适用于反欺诈、风控检测、知识图谱、社交网络等数据高度互联的场景。

ArgoDB 5.1 基于“天然的”多模型统一架构进一步增强多模型数据处理能力,将关系型数据库和图数据等模型数据进行统一存储,并实现关系型数据和图数据的关联查询分析,满足更多跨模型数据处理分析需求。
反欺诈一直都是金融行业重点关注的业务之一。传统反欺诈解决方案由于不同数据模型分散存储在不同的数据库(例如关系型数据库和图数据库)等原因,在实际业务中需要大量数据转换操作,应用实施成本高,实时性有待提高。ArgoDB 5.1为解决此类业务中的数据关联难问题,将多模型数据存储、数据融合处理能力进行迭代加强,用户可将关系型数据和图数据库进行统一存储,用户只需通过一个SQL即可关联查询分析关系型数据和图数据,在数据免搬迁、减少人工操作的同时,提升业务效率。


例如,当需要判断某人是否存在金融欺诈行为时,可以先查询存储在关系型数据库中的消费情况,并结合图数据库中的关联转账关系,分析是否有异常转账行为,从而精确识别欺诈行为。

为了完成这个业务,用户需要搭建2个以上独立的数据库,并在应用适配多种数据库的连接方式和查询语言,同时还要求开发人员同时了解这几种数据库的开发技术,整个流程非常复杂,技术要求非常高。此外,由于这些都是独立的系统,数据和可能存在不一致,导致分析语句的结果不准确。
而基于星环科技ArgoDB多模型统一技术架构,用户只需用一句SQL就能同时访问这几种存储模型进行联合分析,替代了之前多段代码。一句SQL里,同时对关系型数据消费记录表、图数据转账关系表等多个表进行了跨模型关联,一次操作完成了之前三次操作才能完成的业务,大大简化了开发复杂度,简化用户操作。同时数据也仍保留在原存储引擎中,也不用对数据进行导入导出或者转换,不会存在数据不一致或数据冗余存储的问题。
作为一款领先的多模型数据库,ArgoDB支持关系型、搜索、文本、对象、图等10种数据模型,能够帮助用户简化系统架构、减少开发运维成本、提升用户体验和数据洞察力,满足更多复杂业务需求


ArgoDB多模型统一架构:
统一的SQL编译引擎,支持SQL 99/2003 标准语法,兼容TD,Oracle,DB2等多种方言,对不同模式的数据提供统一接口,将多个操作访问入口变为一个入口,将多种数据库语言变为一种语言,降低开发和迁移成本,简化用户操作。

统一的计算引擎,将多套计算引擎变为一套引擎,将多份计算资源变为一份资源,提供高性能的分析计算和执行效率,满足跨模型数据复杂关联分析场景。

统一的存储管理系统,同时支持分析型行列混合存储、支持具有搜索功能的文本存储等多模异构存储,并保证数据的强一致性,数据只需一次入库,即可通过异构存储的访问能力支撑多样化复杂分析场景,降低运维成本,将分散存储管理变为统一存储管理,极大简化系统架构,减少开发运维成本。

统一的星环云原生操作系统,支持 ARM+X86的混合架构,用户可以利旧硬件,大幅降低成本。实时分析性能数倍提升,构建高性能一站式实时数仓

随着业务的快速发展以及企业内部决策的响应要求不断提高,用户对数据实时性的要求越来越迫切。传统离线数仓的数据时效性T+1,调度频率以天为单位,无法满足实时场景的响应需求。
ArgoDB 5.1通过优化算法,在性能上有大幅度的提升,例如一定场景下,在Where in用法性能方面提升10倍以上。通过列式存储Holodesk Native重构存储格式,表批量Scan性能也提升5-10倍。对于实时数仓场景,数据延迟控制在毫秒级,并且支持高并发分析。在OLAP分析场景下,无论是单表查询还是多表关联场景,ArgoDB都具备明显的性能优势,整体上是Clickhouse、Greenplum的2-10倍以上,可帮助用户更及时地应对复杂多变的业务需求。此外,ArgoDB 5.1提升了全局事务管理能力,有效提升元数据存取、元数据调用、全局事务管理等效率,进一步提升大规模实时数仓场景下的稳定性

某商业银行基于ArgoDB和实时流计算引擎Slipstream构建了新一代实时数据仓库,满足了业务系统高吞吐、低延时需求,业务数据实时入库,入库即分析,从数据同步到输出结果全流程十余秒内完成,为银行商户风控系统提供实时OLAP支撑。此外,该解决方案整合了所有终端实时数据进行业务指标分析,达到秒级响应。

《数据库发展研究报告(2022年)》中指出,分析型数据库迈入实时湖仓集约阶段。ArgoDB切合数据库关键技术的发展趋势,基于ArgoDB构建的实时湖仓一体化方案,能够在同一平台中,将原始的、加工清洗的、模型化的数据,共同存储于一体化的“湖仓集”中,避免数据移动。既能面向业务实现高并发、精准化、高性能的历史数据、实时数据的查询服务,又能承载分析报表、批处理、数据挖掘等分析型数据集市业务,真正意义上为用户提供湖仓集一体化的场景解决方案。新增动态脱敏能力,为数据共享铸造安全“盾牌”

随着数字经济的飞速发展,我国数字经济开始转向深化应用、规范发展、普惠共享的新阶段。越来越多的企业与组织开始推动对内和对外数据共享。与此同时,法律法规日臻完善、监管日趋严格。这就要求企业与组织在进行数据共享的同时,需要满足数据安全与合规要求。例如银行、证券等金融机构为内部不同部门以及外部政府机构、个人等提供数据访问时,根据不同访问者设置不同的脱敏策略。ArgoDB 5.1 新增动态脱敏功能,能够在保留原始数据的前提下解决非授权用户对敏感数据的访问问题。在执行SQL时,SQL编译器会解析SQL内容和用户身份,通过对比字段血缘库和脱敏规则库,改写SQL并生成“脱敏查询树”,从而实现数据动态脱敏。与传统脱敏方法相比,ArgoDB能够通过分析不同字段之间的血缘关系自动发现并识别隐藏敏感数据,避免敏感数据导入新表后,因命名不规范而导致无法被发现和识别。ArgoDB不仅提供完整的SQL支持,具备复杂语句脱敏能力,而且能够结合联邦计算能力,无需重新改造系统,即可实现第三方数据库动态脱敏。通过ArgoDB的动态脱敏能力,当不同用户进行数据访问时,可实现实时数据脱敏,满足企业数据共享需求的同时,保护隐私数据信息,防止数据泄露和恶意窥探以达到数据安全与合规要求和信创要求。此外,分布式分析型数据库ArgoDB自主研发,通过了工信部电子第五研究所代码扫描测试,代码自主率(行数)超过90%,安全可控。同时,ArgoDB已与国内主流软硬件信创厂商完成了兼容适配互认证,已经完成和飞腾、鲲鹏等国产硬件及麒麟、UOS等国产操作系统的深度适配,并取得了认证证书,满足信创验收要求,助力企业打造自主可控、高性能、安全的数据分析平台

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_231204.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PacBio HiFi 测序动植物基因组项目真实案例测评

HiFi Reads全称High fidelity reads, 是PacBio公司基于Sequel II平台产出的兼具长读长和高准确度的测序序列,该测序模式(CCS测序模式)一经问世,备受广大组学科研用户关注——其超长读长完美规避了二代测序short reads的天生不足&a…

PWN利器-pwntools安装、调试教程一览

关于pwntools Documentation: pwntools — pwntools 4.10.0dev documentation Github: https://github.com/Gallopsled/pwntools#readme GitHub - Gallopsled/pwntools-tutorial: Tutorials for getting started with Pwntools pwntools是一个CTF框架和漏洞利用的python开发…

基于java(ssm)学生在线课程学习系统源码(java毕业设计)

基于java(ssm)学生在线课程学习系统 学生在线课程学习系统是基于java编程语言,mysql数据库,ssm框架,和idea工具开发,本项目主要分为学生,管理员两个角色,学生的功能是登陆&#xff…

5款高效率,但是名气不大的小众软件

今天推荐5款十分小众的软件,但是每个都是非常非常好用的,用完后觉得不好用你找我。 1.多窗口文件整理——Q-Dir Q-Dir 是一款多窗口文件整理工具,特别适合用户频繁在各个文件夹中跳转进行复制粘贴的文件归档操作。如果你的电脑硬盘中文件已经…

红队渗透靶场之SickOs1.1

靶场考察知识 shellshock漏洞 shellshock即unix系统下的bash shell的一个漏洞, Bash 4.3以及之前的版本在处理某些构造的环境变量时存在安全漏洞, 向环境变量值内的函数定义后添加多余的字符串会触发此漏洞, 攻击者可利用此漏洞改变或绕过环境限制,以执行任意的sh…

vue中pc端大屏怎么进行rem适配(lib-flexible + postcss-plugin-px2rem)

npm i lib-flexible -Spostcss-plugin-px2rem在main.js中引入 import lib-flexible/flexible.js找到node_modules里找到lib-flexible,修改flexible.js 搜索540找到refreshRem函数修改 function refreshRem() {var width docEl.getBoundingClientRect().width;if (…

电脑e盘不见了怎么恢复?6个步骤找回e盘

电脑e盘不见虽然不是一件常见的事,但是也会有发生的情况。虽然我们还有其他磁盘,平时也会经常忽略e盘。但是e盘也是一个存储磁盘,当电脑e盘不见了,我们也会想要找回来。那么电脑里的e盘丢失了怎么找回呢?下面我们就一起…

【历史上的今天】12 月 6 日:微波炉问世;多媒体格式 Mkv 诞生;日立环球存储科技公司成立

整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。 今天是 2022 年 12 月 6 日,在 1892 年的今天,世界著名电子电器之父西门子逝世。西门子(Siemens)是全球领先的科技企业&#xf…

使用RMI实现RPC

1 RMI简介 RMI(Remote Method Invocation) 远程方法调用。 RMI是从JDK1.2推出的功能,它可以实现在一个Java应用中可以像调用本地方法一样调用另一个服务器中Java应用(JVM)中的内容。 RMI 是Java语言的远程调用,无法实现跨语言。…

元宇宙工程系,来了一位“吃螃蟹”者

转自《中国科学报》 记者 温才妃 潘志庚(右)给学生讲授元宇宙技术。受访者供图 元宇宙办学潮正在高校中暗涌。 不久前,南京信息工程大学人工智能学院(未来技术学院)信息工程系正式更名为元宇宙工程系,成为…

Kubernetes v1.25 搭建单节点集群用于Debug K8S源码

参考说明 参考自:v1.25.0-CentOS-binary-install-IPv6-IPv4-Three-Masters-Two-Slaves.md,按照自己的理解修改了下。 搭建好的单节点v1.25.4版本集群 1. 集群环境准备 1.1. 主机规划 IP主机名主机角色操作系统安装组件192.168.11.71k8s-master1maste…

HTML网页设计【足球科普】学生DW静态网页设计

🎉精彩专栏推荐 💭文末获取联系 ✍️ 作者简介: 一个热爱把逻辑思维转变为代码的技术博主 💂 作者主页: 【主页——🚀获取更多优质源码】 🎓 web前端期末大作业: 【📚毕设项目精品实战案例 (10…

02-SpringBoot基础

一、回顾 二、知识目标 SpringBoot概述【了解】 SpringBoot快速入门【掌握】 SpringBoot启动原理【重点】 SpringBoot配置文件【掌握】 SpringBoot属性注入【掌握】 三、为什么使用SpringBoot? -SSM开发有哪些痛点? 1、在早期我们都是使用的是SSM来…

1.Spring概述(Spring官方文档总结)

目录 1.1jdk环境依赖 1.2 Spring介绍 1.3 Spring历史 1.4 设计理念 1.1 jdk环境依赖 从Spring Framework 5.1开始,Spring需要JDK 8 (Java SE 8),并提供对JDK 11 LTS的开箱即用支持。建议将Java SE 8 update 60作为Java 8的最低补丁版本,但…

磁盘和文件系统管理(一)

检测并确认新硬盘 fdisk命令 查看或管理磁盘分区 fdisk -l [磁盘设备] 或 fdisk [磁盘设备] 交互模式中的常用指令 m、p、n、d、t、w、q d delete a partition * 删除分区 g create a new empty GPT partition table 创建一个新的空的GPT分区表(可以对大于2T磁盘进行分区) l…

如何安装Ambari集群_大数据培训

注意:以下操作主节点操作即可 1 制作本地源 制作本地源是因为在线安装Ambari太慢。制作本地源只需在主节点上进行。 1.1 配置HTTPD 服务 配置HTTPD 服务到系统层使其随系统自动启动 [roothadoop102 ~]# chkconfig httpd on [roothadoop102 ~]# service httpd …

【Opencv实战】高手勿入,Python使用Opencv+Canny实现边缘检测以及轮廓检测(详细步骤+源码分享)

前言 有温度 有深度 有广度 就等你来关注哦~ 所有文章完整的素材源码都在👇👇 粉丝白嫖源码福利,请移步至CSDN社区或文末公众hao即可免费。 在这次的案例实战中,我们将使用Python 3和OpenCV。我们将使用OpenCV,因为它是…

私域运营对于企业的重要性

企业进行私域流量的精细化运营,不仅可以打造属于企业自己的社群王国,还可以挖掘存量客户的价值,实现更智能的客户管理和个性化运营方案。 前言 相信每个人都对瑞幸咖啡略有耳闻,这个国产咖啡品牌曾一度被封神,但随着财…

感知算法工程师面试===目标检测===YOLO V4(改)

感觉V3 到V4,YOLO的整体架构并没有重大的改进,只是增加了很多的trick 先展示一下V4的整体网络结构 ↑\uparrow↑这个是对比V3的 如图可见,V4的结构依然是主干网络金字塔头部检测器,所有的改进都是为了更好更快的检测目标。 ↑\…