vivo统一接入网关VUA转发性能优化实践

news/2024/5/30 1:37:32/文章来源:https://blog.csdn.net/vivo_tech/article/details/136700387

作者:vivo 互联网服务器团队 - Qiu Xiangcun

本文将探讨如何通过使用Intel QuickAssist Technology(QAT)来优化VUA的HTTPS转发性能。我们将介绍如何使用QAT通过硬件加速来提高HTTPS转发的性能,并探讨QAT在不同应用场景中的表现。最后,我们将讨论如何根据实际情况进行优化,以获得最佳转发性能。

VLB 全称 vivo load balance。

vivo负载均衡作为vivo互联网业务的IDC流量入口,承接了很多重要业务的公网流量。本文针对 VLB 的七层负载VUA HTTPS 性能优化进行探索,以获取最佳转发性能。

一、vivo VLB整体架构

图片

▲  图1 vivo VLB整体架构

VLB 整体架构的核心包括:基于DPDK的四层负载VGW,基于Apache APISIX和NGINX扩展功能的七层负载VUA,以及统一管控运维平台。

其主要特点为:

  • 高性能:具备千万级并发和百万级新建能力。

  • 高可用:通过 ECMP、健康检查等,提供由负载本身至业务服务器多层次的高可用。

  • 可拓展:支持四层/七层负载集群、业务服务器的横向弹性伸缩、灰度发布。

  • 四层负载能力:通过 BGP 向交换机宣告VIP;支持均衡算法如轮询、加权轮询、加权最小连接数、一致性哈希;FullNAT 转发模式方便部署等。

  • 七层负载能力:支持基于域名和 URL 的转发规则配置;支持均衡算法如轮询、加权轮询等。

  • SSL/TLS 能力:证书、私钥、握手策略的管理配置;支持 SNI 配置;支持基于多种加速卡的 SSL 卸载硬件加速等。

  • 流量防控:提供一定的 Syn-Flood 防护能力;提供网络流量控制手段如 QoS 流控、ACL 访问控制等。

  • 管控平台:支持多种维度的网络和业务指标配置、监控和告警。

本文针对 VLB 中七层负载VUA的 SSL/TLS 性能优化两种方法进行概述性介绍:

  • 基于硬件技术的QAT_HW

  • 基于指令集优化的QAT_SW

二、VUA七层负载均衡

2.1 VUA介绍

目前公司接入层最大的能力痛点,就是动态上游、动态路由、动态证书、流量灰度、黑白名单、动态调度、日志查询与追踪等。为了支持公司业务的持续发展,特别是业务的全面容器化,亟需建设一个统一接入平台,融合目前线上的NGINX集群及Ingress NGINX,用于承载公司web端、移动端、合作伙伴、内部系统、IOT设备流量,对齐行业的接入层能力,保障业务的顺利发展。

VUA定义:vivo Unified Access。

vivo 统一接入层,是基于APISIX-2.4的二次开发。

2.2 VUA架构

图片

▲ 图2 APISIX 架构(图片来源:Github-apache/apisix)

  • Apache APISIX:OpenResty 1.19.3.1 + Lua组成(组件本身是无状态的)。

  • Manager-api:由 Go 语言开发,用于配置的管理和变更。

  • APISIX-Ingress-Controller:基于K8S原生Controller机制开发完成,支持多副本Leader-Election热备机制。主要监听K8s api server,用于pod信息上报到Manager-api。

  • Etcd:用于保存路由、upstream等配置信息。

图片

▲ 图3 VUA 架构

图片

三、QAT加速技术

Intel QuickAssist 技术 OpenSSL引擎 (QAT_Engine) 支持硬件加速以及基于矢量化指令的优化软件。这一特性始于第三代Intel® Xeon®可扩展处理器,为用户提供了更多加速其工作负载的选项。

3.1 异步架构

VUA 基于 NGINX 原生的异步处理框架上拓展出针对异步硬件引擎的异步事件处理机制,整体交互流程如下图所示:

图片

  • ASYNC_start_job:NGINX 调用 ssl lib 库接口 SSL_do_handshake, 开启一个异步任务。

  • RSA/ECDH 加解密操作。

  • QAT 引擎将加密消息发送给驱动,创建异步事件监听 fd,将 fd 绑定到异步任务的上下文中。

  • qat_pause_job: 调用该接口保存异步任务执行的堆栈信息,任务暂时被挂起,等待硬件加解密操作完成。同时进程堆栈切换到 NGINX IO 调用主流程,ssl 返回 WANT_ASYNC,NGINX开始处理其他等待时间。

  • NGINX IO处理框架获取保存在异步任务上下文中的 asyncfd,并添加到 epoll 队列中启动监听。

  • 加速卡处理任务完成,QAT 引擎调用 qat_wake_job 接口唤醒任务(也就是将 async fd 标记为可读)。QAT 为 NGINX 提供了多种轮询方式去轮询加速卡响应队列,目前 VUA 采用的是启发式轮询的方式,具体参数可以在配置文件中定义。

  • NGINX 处理异步事件重新调用异步任务框架的 ASYNC_start_job 接口,这时候程序切换上下文,堆栈执行后跳回之前 pause job 的地方。

3.2 QAT组件架构概览

图片

  • Application

应用层主要包含两块内容:

(1)QAT 异步框架的 patch,该 patch 提供对异步模式的支持;

(2)QAT 引擎,engine 是 openssl 本身支持的一种机制,用以抽象各种加密算法的实现方式,intel 提供了 QAT 引擎的开源代码用以专门支持 QAT 加速。

  • SAL(service access layer)

服务接入层,给上层 Application 提供加速卡接入服务,目前 QAT 主要提供 crypto 和 compression 两种服务,每一种服务都相互独立,接入层封装了一系列实用的接口,包括创建实例,初始化消息队列、发送\接受请求等。

  • ADF(acceleration driver framework)

加速卡驱动框架,提供 SAL 需要的驱动支持,如上图,包括 intel_qat.ko、8950pci 驱动、usdm 内存管理驱动等。

3.3 QAT_HW和QAT_SW

QAT_HW基于QAT硬件加速卡,通过Openssl引擎使用qatengine.so库中链接的QAT驱动程序。

QAT_SW是基于QAT软件加速,通过Openssl引擎使用qatengine.so库中链接的crypto_mb和ipsec_mb库。基于intel AVX-512 整数乘加 (IFMA) 操作缓冲区库,当用户构建指令支持qat_sw时,通过批处理队列中维护的多个请求执行操作,并使用 OpenSSL 异步基础架构将批处理请求最多提交到8个 Crypto Multi-buffer API,后者使用AVX512 矢量指令并行处理它们。主要面向非对称 PKE 和 AES-GCM 的英特尔® QAT 软件加速,RSA支持密钥大小 2048、3072、4096,AES128-GCM、AES192-GCM 和 AES256-GCM。

如果平台同时支持 QAT_HW 和 QAT_SW,则默认是使用 QAT 硬件加速非对称算法和对称链式密码,使用 QAT 软件加速对称 GCM 密码。如果平台没有 QAT 硬件支持,那么它将使用 QAT_SW 加速来实现 qatengine 中支持的非对称算法。

下图说明了 QAT_Engine 的高级软件架构。NGINX 和 HAProxy 等应用程序是与 OpenSSL接口的常见应用程序。OpenSSL是一个用于 TLS/SSL 协议的工具包,从 1.1.0 版本开始,它开发了一个模块化系统来插入特定于设备的引擎。如上所述,QAT_Engine 中有两个独立的内部实体,通过它们可以执行加速。

图片

▲(图片来源:Github-intel/QAT_Engine)

四、优化方案性能提升对比

4.1 QAT_HW

本方案采用intel 8970型号加速卡进行测试,采用RSA证书进行HTTPS加解密。

(1)测试方法

执行机部署适配 QAT 引擎后的VUA,发包测试机进行压测灌包,在 CPU 负载达到 100%后比较得出VUA在进行 QAT 优化后的新建 QPS对比。

(2)测试场景

图片

(3)本地测试数据对比

使用QAT加速卡性能对比

图片

QAT卡优化方案,通过 VUA进行 HTTPS 打流业务实测,与采用OpenSSL 软件加解密场景做对比:

  • 使用QAT加速卡,同worker下,RSA 平均QPS提升1.27倍。

  • 随着进程数的增加,QAT加速卡达到瓶颈,趋于稳定,在56 worker下,最高可达4.4w qps。

此优化方案所带来的性能提升主要依赖于:

  • QAT采用用户态驱动的方式,实现了内核态到用户态内存零拷贝。

  • VUA采用异步模式调用 OpenSSL API,代替传统的同步模式调用。

  • QAT驱动程序支持多加速卡同时进行卸载加速。

4.2 QAT_SW

本方案采用icelake 6330型号(支持AVX512指令集)进行测试,采用RSA证书进行HTTPS加解密。

(1)测试方法

执行机部署适配指令集优化的VUA,发包测试机进行压测灌包,在 CPU 负载达到 100%后比较得出VUA在进行指令集优化后的新建 QPS对比。

(2)测试组网

图片

(3)本地测试数据对比

使用指令集优化性能对比

图片

指令集优化方案,通过 VUA进行 HTTPS 打流业务实测,与采用openssl软件加解密场景做对比:

  • 使用指令集优化,同worker下,RSA 平均QPS提升1倍。

  • 随着进程数的增加,指令集优化加速会成线性增长,在56 worker下,最高可达5.1w qps。

 此优化方案所带来的性能提升主要依赖于:

  • 使用 AVX512 指令优化加解密

五、总结与思考

截止目前,vivo VLB在软硬件加速领域,已经同时支持exar加速卡与intel QAT 硬件和软件指令集加速等方案,成功实现核心网络组件自主可控,为构建高性能的网关架构赋能行业打下坚实的基础。

未来 vivo VLB 将持续构建接入层网关能力体系。

  • 安全与合规

    作为vivo统一流量接入入口,VLB 将持续构建安全可靠的通信安全基础设施,打造全方位的安全防护体系。

  • 多协议支持

    VLB 在高效接入能力建设方面将持续投入,通过引入 QUIC 协议,将提升用户在弱网场景下的用户体验。

    通过 MQTT 协议可以通过非常小的接入成本实现新设备和协议接入,积极拥抱万物互联。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_1006347.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Day32:安全开发-JavaEE应用Servlet路由技术JDBCMybatis数据库生命周期

目录 JavaEE-HTTP-Servlet&路由&周期 JavaEE-数据库-JDBC&Mybatis&库 思维导图 Java知识点: 功能:数据库操作,文件操作,序列化数据,身份验证,框架开发,第三方库使用等. 框架…

数据结构与算法——排序(C语言实现)

✅✅✅✅✅✅✅✅✅✅✅✅✅✅✅✅ ✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨✨ 🌿🌿🌿🌿🌿🌿🌿🌿🌿🌿🌿🌿🌿🌿&#x1…

探索Java高并发编程之道:理论与实践

💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】🤟 基于Web端打造的:👉轻量化工具创作平台💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 简介 随着互联网和信息技术的快速发展&#x…

使用Nginx进行负载均衡

什么是负载均衡 Nginx是一个高性能的开源反向代理服务器,也可以用作负载均衡器。通过Nginx的负载均衡功能,可以将流量分发到多台后端服务器上,实现负载均衡,提高系统的性能、可用性和稳定性。 如下图所示: Nginx负…

【JavaScript 漫游】【036】CORS 通信总结

文章简介 CORS 是一个 W3C 标准,全称是“跨域资源共享”(Cross-origin resource sharing)。它允许浏览器向跨域的服务器,发出 XMLHttpRequest 请求,从而克服了 AJAX 只能同源使用的限制。 本篇文章为【JavaScript 漫…

拼图小游戏制作教程:用HTML5和JavaScript打造经典游戏

🌟 前言 欢迎来到我的技术小宇宙!🌌 这里不仅是我记录技术点滴的后花园,也是我分享学习心得和项目经验的乐园。📚 无论你是技术小白还是资深大牛,这里总有一些内容能触动你的好奇心。🔍 &#x…

mysql中的非空间数据导入sqlserver中空间化

以下操作都在Navicat Premium 15软件中操作 1、mysql导出数据 以导出csv为例 不修改导出路径的话默认就是在桌面 设置编码UTF-8 这边还是默认,最好不要修改,如果文本识别符号为空,导入的时候可能字段会错乱 开始即可 2、导入sqlserver数据库中

通过Maven创建Web工程

通过Maven创建Web工程 方式一方式二 方式一 1.先创建一个Maven工程 2.把该Maven模块的pom文件里添加一个war 3.选中该Maven模块 点击项目架构 4.手动添加一个Web架构 方式二 1.也是new一个模块 但是直接配置好Web 2.这里就是我IDEA对Maven的设置 3.第一次创建 可能…

第六篇【传奇开心果系列】Python的自动化办公库技术点案例示例:大学生数据全方位分析挖掘经典案例

传奇开心果博文系列 系列博文目录Python的自动化办公库技术点案例示例系列 博文目录前言一、Pandas库全方位分析挖掘大学生数据能力介绍二、大学生学生成绩数据分析数据挖掘示例代码三、大学生选课数据分析数据挖掘示例代码四、大学生活动参与数据分析数据挖掘示例代码五、大学…

我用Coze给自己的服务号加了一个多功能的GPT服务机器人

我用Coze给自己的服务号加了一个多功能的GPT服务机器人,可以查新闻,交互式回答问题,查快递,画图画,联网回答问题 可以查快递 试用:搜索觉醒AI

Excel判断CD两列在EF两列的列表中是否存在

需求 需要将CD两列的ID和NAME组合起来,查询EF两列的ID和NAME组合起来的列表中是否存在? 比如,判断第二行的“123456ABC”在EF的第二行到第四行中是否存在,若存在则显示Y,不存在则显示N 实现的计算公式 IF(ISNUMBER…

软考72-上午题-【面向对象技术2-UML】-UML中的图3

一、状态图 1-1、状态图的定义 状态图,展现了一个状态机,由:状态、转换、事件和活动组成,是系统的动态视图。 活动(动作) 可以在状态内执行也可以在状态转换(迁移) 时执行。 状态图强调:行为的事件顺序。 1-2、状态图…

4G安卓核心板T310_紫光展锐平台方案

紫光展锐T310应用 DynamlQ架构 12nm 制程工艺,采用 1*Cortex-A753*Cortex-A55处理器,搭载Android11.0操作系统,主频最高达2.0GHz.此外,DynamlQ融入了AI神经网络技术,新增机器学习指令,让其在运算方面的机器…

BigDL-LLM 安装指南——在iGPU集成显卡下使用BigDL-LLM大模型库加速LLM

文章目录 iGPU是什么?一、环境准备1.1 Visual Studio 2022 Community 安装1.2 安装或更新最新版本的GPU驱动程序1.3 安装英特尔oneAPI工具包2024.0版本1.4 安装Anaconda 二、BigDL -LLM 安装2.1 创建虚拟环境2.2 激活虚拟环境2.3 安装bigdl-llm[xpu] 三、运行环境配…

centos命令history设置记录10000行

今天在操作服务器的时候,用history查看操作记录的时候,发现只能查看10条,这样不行啊,我想查看所有人对服务器操作的命令。 [rootbogon ~]# history解决办法: #1、找到/etc/profile文件中的histsize 把10改成10000 […

Netty架构详解

文章目录 概述整体结构Netty的核心组件逻辑架构BootStrap & ServerBootStrapChannelPipelineFuture、回调和 ChannelHandler选择器、事件和 EventLoopChannelHandler的各种ChannelInitializer类图 Protocol Support 协议支持层Transport Service 传输服务层Core 核心层模块…

打卡学习kubernetes——kubernetes架构原理

接上一篇的内容,除了核心组件,还有一些推荐的Add-ons: kube-dns 负责为整个集群提供DNS服务Ingress Controller 为服务提供外网入口Heapster 提供资源监控(没用过这个,但是用过grafana,很方便&#xf…

【网络安全】手机不幸被远程监控,该如何破解,如何预防?

手机如果不幸被远程监控了,用三招就可以轻松破解,再用三招可以防范于未然。 三招可破解可解除手机被远程监控 1、恢复出厂设置 这一招是手机解决软件故障和系统故障的终极大招。只要点了恢复出厂设置,你手机里后装的各种APP全部将灰飞烟灭…

Ae 从入门到精通之三:合成与图层

图层 Layer是构建合成的基本单位。 一个图层上可以有一个或多个画面元素,多个图层在时间、空间上有组织地排列,从而创造丰富多彩的画面效果。 Ae 中的图层类似于 Ps 中的图层或 Pr 中的轨道。 合成 Composition是放置图层的“容器”。 每个合成都对应一个…

如何使用“Docker registry创建本地仓库,在服务器之间进行文件push和pull”?

1.1、在服务器1,运行registry docker run -d -p 5000:5000 -v ${PWD}/registry:/var/lib/registry --restart always --name registry registry:2.7.11.2、编辑/etc/docker/daemon.json 文件, 192.168.xxx.xxx 换成你自己 registry 服务的地址 sudo na…