【ArchSummit】通过ArchSummit 全球架构师峰会对企业数字化转型的思考

news/2024/5/19 22:03:40/文章来源:https://blog.csdn.net/FMC_WBL/article/details/127354443

前言

📫 作者简介:小明java问道之路,专注于研究 Java/ Liunx内核/ C++及汇编/计算机底层原理/源码,就职于大型金融公司后端高级工程师,擅长交易领域的高安全/可用/并发/性能的架构设计与演进、系统优化与稳定性建设。

📫 热衷分享,喜欢原创~ 关注我会给你带来一些不一样的认知和成长

🏆 InfoQ签约作者、CSDN专家博主/后端领域优质创作者/内容合伙人、阿里云专家/签约博主、51CTO专家 🏆

🔥 如果此文还不错的话,还请👍关注 、点赞 、收藏三连支持👍一下博主~

文章目录

前言

本文导读

一、企业数字化转型的趋势与挑战

二、从架构和架构师的角度看数字化转型

1、Google的观点

2、Google视角中的数字化转型

三、数字化助力金融综合经营

四、企业数字化转型的落地

1、生产工作中实际的痛点问题

2、最终采取分布式云数据库解决方案

3、使用分布式云数据库的优势

4、分布式云数据库的应用场景

五、企业数字化转型总结


前言

2022 年 9 月 26 -27 日,有幸参加极客邦科技旗下 InfoQ 中国举办的 ArchSummit 全球架构师峰会(杭州站)

本次大会是以“数字化转型下的架构升级”为主题,邀请到互联网、金融、智能设备等行业与学术界的技术专家共同探讨数字化转型背景下的技术架构升级路线。

大会内容涵盖人工智能、云计算、微服务、元宇宙、智能运维、大数据等主题,为企业管理者、架构师与开发人员提供了行业前沿视角与参考,帮助企业在数字化时代赢得先机,把握竞争优势。

本次大会官网ArchSummit 全球架构师峰会(杭州站),感兴趣的同学可以自行了解,错过杭州站的同学可以去了解一下北京站 。

本文导读

互联网寒冬下,人人都在喊口号“企业降本增效”、“企业数字化转型”,但是降本增效究竟是什么?为了什么呢?数字化转型又是什么?怎么才能通过数字化技术助力企业和个人发展呢?

笔者认为降本增效不是一味地节约成本,而是要计算投入和产出比,砍掉不能带来价值的成本或者不能带来价值的人力,同时又不能对有价值的业务产生影响。这里笔者总结了主要两点,第一就是降低项目的成本,第二提高团队的工作效率。

数字化转型,是通过数据提升效率、降低成本、进行业务创新,所以说,云技术(云计算、云原生)是数字化转型的基石和助推器,使数字化时代提前到来,进一步推动数智化时代的快速来临。

一、企业数字化转型的趋势与挑战

汪源博士总结,企业数字化转型的趋势与挑战主要包括以下内容:1、在存储和计算领域初步形成的开放式分层架构及湖仓一体技术;2、数据编织的概念及实现方式;3、从 ETL 到 ELT 再到 AutoETL 和 NoETL,深入分析 ETL 的表象与本质,并连带分析 HTAP 的应用场景及局限;4、如何解决报表与即席查询的性能问题,提供优异的最后一公里体验。

笔者这里感悟不径相同,企业化转型的架构离不开技术、工具的支持。

存储方面有HDFS和对象存储,计算的工具有MapReduce、YARN/K8s,数据格式的助力有Parquet,Catalog主要为HMS,SQL引擎中间件有Impala、SparkSQL、Presto,流计算的中间件Kafka、PULSAR、Flink被广泛使用。

同时现代数据分析技术三大主题:统一的基础设施(可支持实时数据更新与消费、开放、低成本的流式湖仓基础设施)、统一的中间层(统一的模型、指标、计算逻辑与口径事前事中事后持续治理)、统一的数据资产(企业全域数据资产的高效整合与管理兼容各种风格的数据处理技术)。

二、从架构和架构师的角度看数字化转型

GoogleCloud中国架构师团队的赵霏老师说,公有云在飞速发展,帮助互联网和传统企业降低IT运营成本、增强企业运营弹性和加速创新等方面。通过这几个视角的详细阐述,并通过具体应用场景和案例,来说明公有云对企业数字化转型所起到的重要作用。

1、Google的观点

本讲围绕公有云发展现状、企业数字化转型需求和目标、企业数字化转型需要克服的技术难点、企业在数字化转型过程中存在的挑战、数字化转型过程中公有云给企业带来的益处和场景(包括案例)、站在架构师个人角度的经验传递逐一讲解Google的观点。

Google的观点,应用程序的未来以及它们运行的基础设施是使用容器化微服务创建的,通过具有单控制体验的声明式系统进行管理,该系统使用Service Mesh跨越所有应用程序位置。

2、Google视角中的数字化转型

1、应用现代化,构建云原生的应用成启用新的数据平台(在Google Cloud可让您编写一次,在本地成任何云中的任何位置运行write once, run anywhere)

2、数据现代化实现数据的现代化,支持AI/ML(致力于使用数据来帮助您在真正的全球化规模中获得独特的洞察力)

3、打造创新文化,新的客户体验,重新设计商业模式和转交文化(Google的核心是一家创新公司建立协作和敏捷的文化)

三、数字化助力金融综合经营

平安壹钱包CTO吴鹏越总说,我们会通过科技和数字化的手段,去促进对客户的了解,对产品和产品的更好的匹配。

最重要的原因是互联网行业,科技行业在过去十几年其实日子是非常好过,因为互联网的用户在增加,各种公司的工作机会很多,公司也不缺钱,其实大家的日子比较好过,我们通常候选人是远远少干工作机会的。但是在最近呢这个逻辑发生了变化,就是现在很多公司开始降本增效,很多公司开始猜测一些价值,没有那么大的或者成本比较高的业务线,那么有些公司开始裁员,市面上的候选人增多,还有源源不断的毕业生。但其实并没有满足用户的真实需求,也没有对公司的业务产生价值 当然这里的价值是广义的价值,它既可以业上的价值,也可以包括用户价值研究可以。

四、企业数字化转型的落地

企业化转型的架构离不开技术、工具的支持,接下来我们通过生产工作中实际的痛点问题,到最终采取的解决方案来全面了解。

1、生产工作中实际的痛点问题

在公司业务高速发展过程中,数据库的访问压力剧增,多团队合作也带来更多不便,同时发生了单站点的MySQL机房发送故障导致停机。

虽然早期时商业数据库的分布式能力可以满足大部分用户的场景,但是随之而来的成本剧增肯定是不划算的,对业务场景弹性伸缩支持也不够。

如下图所示:

2、最终采取分布式云数据库解决方案

这时候发现了一款兼容MySOL的自主可控、高一致性分布式数据库产品,完美的解决了我司几乎所有的痛点问题。

下面是系统使用分布式云数据库的架构图:

可以看到不但提升了负载均衡的能力,采用共享分布式存储的设计,彻底解决了主从异步复制所带来的备库数据非强一致性的问题,解决了传统主备架构弹性能力差,业务压力大时的同步效率低,主备切换时间不可控等问题,在提供高性能同时保证了系统的高可用性和业务的连续性。

同时原有业务应用几乎不用更改即可接入分布式云数据库,极大的减轻了运营、开发和运维人员的工作量。

如下图所示采用了分布式云数据库后提升了系统整体能力:

3、使用分布式云数据库的优势

1、高可用、高可靠、保证业务连续,全面兼容开源数据库 MySQL不用考虑迁移的难度,较低成本!

2、解决了多可用区容灾、高安全性的问题,在多个可用区内都有数据备份,为数据库提供容灾和备份。采用共享分布式存储的设计,彻底解决了主从异步复制所带来的备库数据非强一致性的问题。

3、轻松应对业务洪峰,主节点和读节点之间采用物理复制的方式,读节点与主节点延迟大大降低,满足活动场景中数据一致性读取需求。

4、灵活弹性扩展高、稳定性,敏捷灵活的弹性扩展,可根据业务需要快速升降级,快速扩容,轻松应对业务峰值,以及秒级的快照备份和快速回档能力。解决了传统主备架构弹性能力差,业务压力大时的同步效率低,主备切换时间不可控等问题。

4、分布式云数据库的应用场景

互联网移动 App,自带高可用架构,自动维护数据多副本,自动进行数据的校验和修复,减少人工干预,数据可靠性达99.9999999%

游戏应用,自动扩容,免去合区合服的繁琐操作,实现资源和成本的最优配置,在多副本的基础上对用户的数据进行连续保护,是互联网和游戏行业的最佳选择。

电商直播教育行业,支持秒级的升配,最多可扩展至15个节点,快速弹升 QPS 的能力,轻松应对业务峰值。

金融保险企业,为数据库提供容灾和备份,对数据库数据访问、存储、管理等各个环节提供安全保障,解决主从异步复制所带来非强一致性的问题。

五、企业数字化转型总结

本专题围绕数字化转型下的业务架构思维和业务架构框架来进行讨论,分享业界已经经过验证的业务架构模型。

结合了笔者自身的经历,讨论了云技术对企业数字化转型的重要性。本文内在此不再赘述。

感兴趣的同学可以自行了解北京站。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_401938.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

生命在于学习——Socket编程(偏安全方面)

本篇文章仅用于学习记录和交流,不得用于其他违规用途,产生的不良后果,自己负责。 一、Socket介绍 首先socket (套接字) 是工作在应用层和传输层之间一个抽像层 , 为什么要有他呢 ? 虽然我们已经有了ipport可以和世界上任意一台计算机上的软…

chainlink 小实战 web3 “捐助我”项目合约及前端交互——关于 《Patrick web3 course Lesson 7-8 》课程代码中文详解

FundMe lesson 的 示例 本质上是一个合约上对 eth 接收和发送的演示,但这个演示增加了前端 ethers 的交互,以及对 chainlink 预言机喂价的使用。 总体来说是一些 Defi 项目上的某一块功能的缩影,不过总体来说还是挺简单的。 若不会 chainli…

(附源码)计算机毕业设计SSM基于JAVA人事管理系统

(附源码)计算机毕业设计SSM基于JAVA人事管理系统 项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术…

Android系统10 RK3399 init进程启动(四十二) init.rc文件解析逻辑

配套系列教学视频链接: 安卓系列教程之ROM系统开发-百问100ask 说明 系统:Android10.0 设备: FireFly RK3399 (ROC-RK3399-PC-PLUS) 前言 Android init启动的时候会解析init.rc, 当然还有很多其他rc文…

DPR和REALM论文笔记

DPR(2020 EMNLP) 该论文的模型主要是一个双塔结构如下所示: 整个模型的训练数据D包含m个例子,其中每个例子由一个问题qiq_iqi​、一个相关段落pip_i^pi​、n个不相关段落pi,1−,⋯,pi,n−p_{i,1}^-,\cdots,p_{i,n}^-pi,1−​,⋯,pi,n−​ D{⟨qi,pi,pi,…

JUC-3.三大辅助类/阻塞队列/forkjoin

目录 一、三大辅助类 1.1 CountDownLatch 1.2 CyclicBarrier 1.3 Semaphore 二、阻塞队列 2.1 概念 2.2 常用的阻塞队列 三、forkjoin 一、三大辅助类 JUC 中提供了三种常用的辅助类,通过这些辅助类可以很好的解决线程数量过 多时 Lock 锁的频繁操作。…

【ASM】字节码操作 转换已有的类 Class Transformation 原理 【重要】

文章目录 1.概述2. Class-Reader/Visitor/Writer2.1建立联系2.2执行顺序2.3执行顺序的代码演示3.串联的Field/MethodVisitors4. Class TransformationJ4F5.总结1.概述 上-篇文章:【ASM】字节码操作 转换已有的类 ClassReader 删除方法 添加方法 2. Class-Reader/Visitor/Wri…

(附源码)计算机毕业设计SSM基于Java家庭财务管理系统

(附源码)计算机毕业设计SSM基于Java家庭财务管理系统 项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技…

《视觉SLAM十四讲》 编译报错问题汇总 Ubuntu20.04

Ubuntu 20虚拟机环境安装 高翔原视频是ubuntu14.04,看了一下,有很多库都有兼容问题,所以初步按这个Ubuntu 20装: 这个教程是ubuntu20的,用ubuntu14会不兼容,比如qt5.12.12无法安装等(需要5.12.3&#xff0…

Web3.0游戏是否还有未来?

当前Web3.0领域已经大规模减速。 对大多数投资者来说,Web3.0游戏是一个炒作噱头,他们更关心投资回报,不那么在意真正交付给玩家的游戏产品,游戏的中长期运营也就失去了保障,今年以来的各种Web3.0游戏的遭遇证明了这一…

postgresql源码学习(十九)—— MVCC④-可见性判断 HeapTupleSatisfiesMVCC函数

拖了好久总算把这一节啃完了...做个记录,有一部分判断条件的案例还没想到,集齐之后可能会再加一篇案例。 一、 可见性判断 回顾一下前面提到的SNAPSHOT_MVCC类型快照的可见性判断条件: postgresql源码学习(十七)—— …

SQL学习1---表的创建和修改,数据的增删改

目录 一:SQL使用规范 二:DDL(Data Definition Language,数据定义语言) 三:DML(Data Manipulation Language,数据操纵语言) 四:创建和操纵表 五:表的数据插入…

树莓派(一)python接口RPi.GPIO介绍

​ 目录 导入 RPi.GPIO 模块: 引脚编号 设置channel 设置多个通道 获取输入 设置输出 输出到多个通道 清理 RPi 板信息和 RPi.GPIO 版本 导入 RPi.GPIO 模块: try:import RPi.GPIO as GPIO except RuntimeError:print("Error importing RPi.GPI…

客户管理系统(SSM版):bs_typeahead动态的自动补全文本框的内容

客户需求: 用户在创建交易页面,在客户名称文本框输入信息时,可以根据输入的关键字,模糊查找数据库中的客户名称,并把模糊查找的所有的客户名称以类似于下拉框的形式显示在客户名称文本框下方,用户可以从中…

Python系列-Django-Ninja

Python系列-Django-Ninja 适用对象:有一定python和django基础,对此技术感兴趣,或者想快速尝试、实现效果的。 原则: 不重复造轮子实用为主,效果为主官网是最好的教程,其它只是辅助 ninja介绍 Django Ni…

【Pytorch教程】08-如何使用PyTorch训练简单CIFAR10图片分类器(保姆级)

本期目录1. 背景1.1 各领域常用库1.2 CIFAR10简介2. 数据集2.1 加载并正则化CIFAR10数据集2.2 训练集可视化3. 定义卷积神经网络4. 定义损失函数和优化器5. 训练模型6. 保存模型参数7. 测试7.1 测试集可视化7.2 加载模型参数8. 多卡训练1. 背景 1.1 各领域常用库 在深度学习的实…

asp.net在线医疗系统VS开发sqlserver数据库web结构c#编程计算机网页项目

一、源码特点 ASP.NET 在线医疗系统是一套完善的web设计管理系统,系统具有完整的源代码和数据库,系统主要采用B/S模式开发。开发环境为vs2010,数据库为sqlserver2008,使用c#语言开发。 asp.net在线医疗系统VS开发sqlserver…

叹教育之“不易”

小孩学校小学搞了个电子百拼活动,一套东西套件,一些电阻电容,三极管,语音芯片,加了塑料壳,6百多。一个电阻单独买一下要9块5毛,还不包邮。怎么说呢。。。感觉回到了十几年前去电子市场&#xff…

Vision Transformer论文精读(2/2)

目录 一、主题 3.1模型总览图 3.2 微调 二、实验部分 三、回顾总结 四、参考链接 一、主题 在模型的设计上,是尽可能的按照最原始的Transformer来做的,这样的一个好处是我们可以直接把NLP那边已经成功地Transformer架构,直接拿过来用&…

MySql(30)InnoDB数据存储结构

文章目录数据库存储结构:页磁盘与内存交互基本单位:页页结构概述页的上层结构页的内部结构第一部分 文件头和文件尾文件头文件尾第二部分 空闲空间、用户记录和最大最小记录第三部分 目录页、页面头部数据库存储结构:页 索引结构给我们提供了…