感知数据温度,聚焦海量冷数据存储难题

news/2024/3/29 1:02:51/文章来源:https://blog.csdn.net/Macrowing/article/details/129138470

在信息科技高速发展的背景之下,海量数据已经让拥有者和管理者应接不暇,根据IDC发布的《数据时代2025》预测,全球数据圈(数据圈代表每年被创建、采集或是复制的数据集合)将从2018 年的32ZB增至2025年的175ZB。2018年,中国数据圈为7.6ZB,占全球的23.4%,预计2025年中国数据圈将增至48.6ZB,占全球27.8%,成为全球最大的数据圈。

海量数据是有“温度”的,按照被访问频率从高到低进行分类,可以将数据为热数据、温数据、冷数据。经常被访问的称为热数据,较少被访问的数据称为冷数据,处于中间状态的称为温数据。

热数据

热数据需要被计算节点频繁访问的在线类数据。

热数据因为访问频次需求大,效率要求高,所以就近计算和部署,数据缓存、在线存储、近线备份,以实现数据快速访问及高速处理。

温数据

温数据是非即时的状态和行为数据。如果整体数据量不大,也可以不区分温数据和热数据。

冷数据

一般很少变化的、长时间固定的数据或者属性,如:

· 过时的项目

· 日常记录和维护的数据

· 有关法律政策的数据

· 其他需要记录的数据

随着数据量的飞速增长,数据由“热”变“冷”现象也日益凸显,按照“二八定律”,经过一段时间的使用,80%以上的数据都会变成冷数据。从存储形式来说,热数据采取在线存储,温数据采取近线存储,而安全性高、保存时间长、维护成本低、不可篡改的离线存储最适合海量冷数据。

 

冷热数据的分层是根据访问的频次来划分的,而不是数据的价值。一方面,冷数据的价值并不一定比热数据低,而且还会随着时间的推移变得更为重要,因此对于海量冷数据也需要确保其长期安全存储;另一方面,不经常访问的冷数据运用了“冷数据热存储”的方式显然不符合“双碳”要求,严重浪费存储资源,需要及时转移到离线存储中。

国家发改委发布的发改高技〔2021〕1742号《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》指出,有序推动以数据中心、5G为代表的新型基础设施绿色高质量发展,助力实现碳达峰碳中和目标。立足新发展阶段,贯彻新发展理念,构建新发展格局,统筹处理好发展和减排、整体和局部、短期和中长期的关系,加强数据、算力和能源之间的协同联动,加快技术创新和模式创新, 坚定不移走绿色低碳发展之路。

※ 强化统筹布局,优化数据中心建设布局;

※ 提高算力能效,加快建设绿色数据中心;

※ 创新节能技术,高效节能技术攻关降低基站设备能耗;

※ 优化节能模式,加强自动化、智能化能耗管理,降低节能能耗;

※ 利用绿色能源,提升可再生能源在数据中心能源供应中的比重;

※ 促进转型升级,促进传统行业数字化转型。

那么,如何在双碳经济的要求下做好冷数据的长期安全存储工作?按照数据的热、冷分层,相对应的可以采用在线、近线、离线分级存储方式,并配备合适的存储载体,才是符合绿色低碳发展之路的正确做法。
 

数字罗塞塔计划立足冷数据存储领域,聚焦数字资源长期保存,研发合适的数字资源长期保存载体(数字胶片、蓝光存储、玻璃存储等)用于国家战略性数字资源的长期保存,同时研发配套的写入、存储、读取设备实现技术成果转化进而实现工程化、产业化。

数字胶片和蓝光存储是数字罗塞塔计划目前正处于研发阶段的存储载体,数字胶片可以用于珍贵重要数字资源的长期保存和异质备份,蓝光存储用于海量冷数据的近线或离线存储;玻璃存储是数字时代的罗塞塔石碑,数字罗塞塔计划跟踪的前沿存储技术,未来有望真正解决重要冷数据的永久保存问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_71920.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

骨传导耳机工作原理,骨传导耳机优缺点

骨传导耳机虽说最近是十分火爆的一款单品,但还是有很多人对骨传导耳机不是很了解,骨传导耳机更多使用场景还是在户外运动使用,骨传导耳机对于长时间使用耳机的人来说十分友好,这主要还是得益于骨传导耳机传输声音的特殊性。 下面我…

【轻量级自适应加权网络:超分】

Lightweight adaptive weighted network for single image super-resolution (单幅图像超分辨率的轻量级自适应加权网络) 近年来,深度学习已成功应用于单幅图像超分辨率(SISR)任务,并取得了上级的性能。然…

Django使用jinja2模板

Django使用jinja2模板 jinja2介绍 Jinja2:是 Python 下一个被广泛应用的模板引擎,是由Python实现的模板语言,他的设计思想来源于 Django 的模板引擎,并扩展了其语法和一系列强大的功能,尤其是Flask框架内置的模板语言…

异步执行结果-Callable、Future、FutureTask

Callable 实现Runnable接口的任务执行没有返回值&#xff0c;如果我们希望线程运算后将结果返回&#xff0c;应该使用Callable。Callable代表有返回值的任务。 class CallTask implements Callable<String> {Overridepublic String call() throws Exception {return Th…

前端开发环境搭建

文章目录Node.js是什么安装查看版本入门示例NPM使用 npm 命令安装模块常见命令使用淘宝 NPM 镜像TypeScript安装入门示例从github拉取构建项目如何从零创建一个TypeScript项目规划目录结构新建项目Web App运行服务添加依赖打包使用browserify打包使用webpack打包推荐流程目录配…

以学校数据模型为例,掌握在DAS下使用GaussDB

文章目录题目具体操作一、表的创建二、表数据的插入三、数据查询目的&#xff1a; 这里以学校数据库模型为例&#xff0c;介绍GaussDB数据库、表等常见操作&#xff0c;以及SQL语法使用的介绍。题目 假设A市B学校为了加强对学校的管理&#xff0c;引入了华为GaussDB数据库。 在…

GEE学习笔记 六十三:新的地图图层ui.Map.CloudStorageLayer

在GEE中导出数据有一种方式是直接导出地图到Google Cloud Storage中&#xff0c;也就是Export.map.toCloudStorage(xxx)&#xff0c;这种方式是将我们计算生成影像导出成为静态瓦片的格式存放在Google Cloud Storage中。我们可以在其他的前端程序比如OpenLayer、Mapbox GL JS等…

实时数仓Hologres新一代弹性计算组实例技术揭秘

作者&#xff1a;王奇&#xff08;花名慧青&#xff09; 阿里云Hologres研发 随着实时数仓在业务生产系统的普及&#xff0c;资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。Hologres在保障业务方面持续优化核心技术竞争力&#xff0c;过去一年中&…

自建商城或会员系统如何对接在线客服咨询系统,例如商城系统、物流订单系统接入在线客服功能...

自建商城或会员系统如何对接在线客服咨询系统&#xff0c;例如商城系统、物流订单系统接入在线客服功能 对接在线客服咨询系统可以帮助您的客户更快地获得问题解答和支持&#xff0c;提升客户满意度和忠诚度。 在商品详情页面传递产品信息 在进入产品详情页面以后&#xff0c;需…

FPGA 20个例程篇:20.USB2.0/RS232/LAN控制并行DAC输出任意频率正弦波、梯形波、三角波、方波(一)

在最后一个例程中笔者精挑细选了一个较为综合性的项目实战&#xff0c;其中覆盖了很多知识点&#xff0c;也是从一个转产产品中所提炼出来的&#xff0c;所以非常贴近实战项目。 整个工程实现了用户通过对上位机PC端人机界面的操作&#xff0c;即可达到控制豌豆开发并行DAC输出…

计算时间序列周期的三种方法

周期是数据中出现重复模式所需的时间长度。更具体地说&#xff0c;它是模式的一个完整周期的持续时间。在这篇文章中&#xff0c;将介绍计算时间序列周期的三种不同方法。 我们使用City of Ottawa 数据集&#xff0c;主要关注的是每天的服务呼叫数量。所以不需要对病房名称进行…

选型最佳实践|从业务场景分析直播SDK

摘要 近两年即时通讯/直播产品炙手可热&#xff0c;市场上针对ToB的产品日益增多&#xff0c;企业该如何去选型呢&#xff1f;本文分享了笔者对于直播产品的思考&#xff0c;将从直播SDK实例功能特性、常见业务场景、注意事项及最佳实践等方面介绍如何进行实例选型&#xff0c;…

【C++】2.类和对象(上)

1.面向过程和面向对象 C语言是面向过程的&#xff0c;关注的是过程&#xff0c;分析出求解问题的步骤&#xff0c;通过函数调用逐步解决问题。C是基于面向对象的&#xff0c;关注的是对象&#xff0c;将一件事情拆分成不同的对象&#xff0c;靠对象之间的交互完成。 2.类的引入…

Umi框架

什么是 umi umi 是由 dva 的开发者 云谦 编写的一个新的 React 开发框架。umi 既是一个框架也是一个工具&#xff0c;可以将它简单的理解为一个专注性能的类 next.js 前端框架&#xff0c;并通过约定、自动生成和解析代码等方式来辅助开发&#xff0c;减少开发者的代码量。 u…

算法18:LeetCode_链表相关算法题

链表无小事&#xff0c;只要是涉及到链表的算法题&#xff0c;边界值的设定尤为重要&#xff0c;而且及其容易出错误。这就要求我们平时多加练习。但是&#xff0c;我们在面试和笔试的过程中往往会碰到链表相关的题目&#xff0c;所以我们在笔试的时候一般都会借助系统提供的工…

Netty (三):进阶

文章目录1. 粘包与半包1.1 粘包现象1.2 半包现象1.3 现象分析1.4 解决方案方法1&#xff0c;短链接方法2&#xff0c;固定长度方法3&#xff0c;固定分隔符方法4&#xff0c;预设长度2. 协议设计与解析2.1 为什么需要协议&#xff1f;2.2 redis 协议举例2.3 http 协议举例2.4 自…

前端二面react面试题集锦

react diff 算法 我们知道React会维护两个虚拟DOM&#xff0c;那么是如何来比较&#xff0c;如何来判断&#xff0c;做出最优的解呢&#xff1f;这就用到了diff算法 diff算法的作用 计算出Virtual DOM中真正变化的部分&#xff0c;并只针对该部分进行原生DOM操作&#xff0c;而…

「TCG 规范解读」第七章 TPM工作组 TPM 总结

可信计算组织&#xff08;Ttrusted Computing Group,TCG&#xff09;是一个非盈利的工业标准组织&#xff0c;它的宗旨是加强在相异计算机平台上的计算环境的安全性。TCG于2003年春成立&#xff0c;并采纳了由可信计算平台联盟&#xff08;the Trusted Computing Platform Alli…

【Azure 架构师学习笔记】-Azure Data Factory (1)-调度入门

本文属于【Azure 架构师学习笔记】系列。 本文属于【Azure Data Factory】系列。 前言 在开发好一个ADF pipeline&#xff08;功能&#xff09;之后&#xff0c;需要将其按需要运行起来&#xff0c;这个称之为调度。下图是一个简单的ADF 运作图&#xff0c; 按照需要的顺序&am…

【YOLOv5】 02-标注图片,训练并使用自己的模型

在上一篇文章中&#xff0c;我们完成了YOLOv5的安装和测试。如果想检测自定义目标&#xff0c;就需要用到LabelImg来对图片打标签&#xff0c;本篇文章介绍了LabelImg安装与使用&#xff0c;以及如何训练并使用自己的模型。一、安装LabelImg输入如下命令进行安装&#xff1a;pi…