干货 | 提前在开发阶段暴露代码问题,携程Alchemy代码质量平台

news/2024/3/29 13:48:11/文章来源:https://blog.csdn.net/ctrip_tech/article/details/128107694

作者简介

Lyan,携程资深后端开发工程师,负责自动化测试框架及平台类工具开发,关注Devops、研发效能领域。

一、背景

随着敏捷开发,DevOps开发模式的流行,代码质量分析作为研发质量保证体系的重要组成部分,不仅能有效的降低因频繁迭代带来的故障风险,而且对整个工程团队的效能提升有着巨大的价值。

携程很久以前就已经开始进行DevOps的建设,通过Gitlab CI/CD在开发提交代码触发的流水线pipeline中引入静态扫描、单元测试、集成测试等流程,在开发过程中打造了一套闭环的代码质量保障体系。其中,在静态代码分析阶段引入了SonarQube,并且通过对原有SonarQube代码规范库中的规范进行筛选和扩展,形成了自己的代码规范库。但是在实际应用过程中,我们发现仍然有一些问题需要优化解决:

  • 在开发过程中,代码规范只能通过开发人员自我约束,缺少统一的平台对各应用代码的潜在风险问题统一进行分析,且问题难以定位到开发人员进行治理。

  • 代码单元测试通过率和代码覆盖率都很高,但仍然存在一些在单元测试阶段应被发现的问题未暴露出来,导致上线后出现bug,单元测试用例的质量缺乏有效性及可靠性保证。

  • 随着项目的发展,开发人员为了避免影响已有功能,在开发过程中大量复制粘贴,导致出现很多难以维护的重复代码,且程序逻辑结构过于复杂,修改逻辑牵一发而动全身,可维护性差。

  • 代码中充斥着大量的sql拼接,以及一些不规范的写法导致潜在的问题,需要对此类代码进行治理。

二、平台介绍

Alchemy平台是一个代码质量分析平台,提供Infer分析、代码分析、自定义扫描、代码搜索等功能,其中代码质量分析内容包含代码行,sonar问题, infer问题,UT规则,重复代码以及圈复杂度等。用户可以根据自己的需求在平台上进行扫描项配置,并查看应用的代码质量分析结果。

为了及时获得对提交代码变更的质量反馈,作为DevOps中重要的一环,Alchemy平台与Gitlab CI/CD相结合,将静态代码分析提前至开发提交或合并代码阶段。开发人员提交代码至Gitlab,触发流水线相关任务执行,任务执行完成之后可以对某些指标(如增量代码引入的空指针)设置红线进行卡点,如果指标在指定范围内,允许合并代码并发布,如果指标超过了红线设置范围,则不允许合并代码,开发人员修复问题后再次提交代码进行流水线的集成发布。扫描分析结果可以在Gitlab或者Alchemy平台上展示,帮助开发人员在快速迭代的同时保证代码质量。

05e661f773c9fd0ddafa278f2f9b7ea6.png

静态代码扫描流程

三、系统架构

Alchemy平台包含Alchemy-client、Alchemy-service和Alchemy-web。其中,Alchemy-client为扫描脚本,包含Infer分析,UT扫描,重复代码扫描、自定义扫描等功能,集成到Docker镜像中,Alchemy-service提供数据存储、分析等后台服务,且依赖代码搜索服务CodeSearch-Service实现代码搜索功能,Alchemy-web负责页面交互。

开发人员提交代码,触发Gitlab CI/CD中静态代码分析job在GitRunner中执行,执行时先从Docker仓库下载镜像,启动容器后执行Alchemy-client脚本,脚本会根据平台配置来执行相应的扫描任务,扫描完成后,将结果上传至Alchemy-service,存储到mongodb数据库,最终在前端页面展示分析结果。

fe8c02ae7838b6afb6a0a4b46edd9eaf.png

Alchemy架构图

四、功能

4.1 Infer分析

Infer是Facebook出品的一个静态分析工具,可以分析Java、Objective-c或者C代码,报告潜在的问题,包括空指针,资源泄漏等。Alchemy平台将Infer引入代码静态分析阶段,目前已支持全量和增量分析两种模式。

全量模式需分析应用仓库中的所有代码,能分析出所有代码引入的潜在问题,对于代码量较大的应用,由于需要分析所有代码文件,扫描时间比较长,在一定程度上影响开发发布进度,且对未修改的代码进行了非必要的重复分析,在代码修改量较少的情况下造成资源浪费。因此,我们尝试加入缓存机制,并引入了增量分析模式,增量模式需要获取本次提交修改的文件,在分析阶段只针对这些改动文件进行分析,能大大节省分析时间。Infer分析流程如下:

9f61e239b2c82927e81f6ee95889d2f3.png

Infer分析流程图

在分析过程中,首先判断是否为第一次分析,如果没有分析历史记录,则系统默认采用全量模式,否则需判断Infer扫描配置,若配置为全量模式,则分析此代码工程的全部文件,若配置为增量模式,需获取此次提交修改的文件列表,编译过程完成之后,在分析阶段指定文件列表进行分析。获取到分析出的问题列表后,判断问题所在的行是否为修改行,如果是,则记录为本次修改导致的新增问题,否则为历史遗留的全量问题。

在实际应用中,针对封装的判空方法,通过添加@TrueOnNull或@FalseOnNull注解,可识别对象的判空操作。但对于第三方包的判空方法,如CollectionUtils.isEmpty(), 由于未添加注解,即使添加判空方法,仍会被误识别为空引用。因此,Alchemy平台加入了忽略操作,针对此类问题进行二次确认,避免重复误判。

4ff9db380a2d24d3f6109faed79e5036.png

Infer误判结果

4.2 UT规则扫描

单元测试是DevOps流程中一个非常重要的环节,我们可以利用通过率和代码覆盖率等指标来衡量单元测试用例的完整程度,却很难保证用例的有效性。阿里巴巴java开发手册规定,单元测试不允许使用System.out来进行人肉验证,必须使用断言assert来验证。

在实际的开发过程中,开发人员把主要的时间用在写业务逻辑代码上,在编写单元测试用例时,往往容易忽略对结果的验证,虽然通过率和代码覆盖率很高,但上线后仍然出现未对接口结果进行验证而导致严重问题的情况。无效的单元测试用例包含以下几种:

  • 空函数:函数体为空;

  • 空断言:用例中实现了对被测接口的调用逻辑,但未对接口返回结果进行验证;

  • 伪断言:用例中使用类似assertTrue(True)的假断言。

通过扫描空断言、空函数、伪断言等问题,能判断该用例是否对代码逻辑进行必要的验证。Alchemy平台支持单元测试用例的有效性验证,目前,平台支持Java、Kotlin、Groovy和Nodejs,同时也支持全量和增量2种扫描结果,全量结果即为所有测试用例中不满足规则的用例,增量结果为本次提交修改的测试用例中不满足规则的用例。

7cb7287342d2cc99ddc9b864524603d4.png

UT扫描流程

对单个单元测试文件的扫描流程如图。首先根据文件后缀判断语言类型,然后根据不同语言类型规则获取该文件中的用例信息,包含case名称、起止行、作者、最近修改时间、函数内容等,针对函数内容,先判断用例是否有断言,如果有,则判断是否为伪断言,如果未断言或者被判为伪断言,还需进一步根据用例的起止行,结合本次提交的改动信息,分析该用例是否为增量改动的用例,如果是则标记为增量问题,最后将结果推送给gitlab,在合并代码或发布时根据红线配置进行卡点。扫描结果如图所示。

28ac947d6c240b67706b9f21c8e7ba49.png

UT扫描结果

4.3 重复代码扫描

重复代码即为重复或近似的代码,在开发过程中,开发人员为了避免影响现有功能,使用复制粘贴快速完成开发任务,导致出现大量的重复代码。重复代码不仅让代码量大增,造成编译速度慢,而且占用大量存储空间,如果想要修改其中一段代码逻辑,则需要同时修改多个地方,容易遗漏,可维护性差。

当前市面上有很多代码检测工具,如Simian,PMD-CPD,CloneDR等,由于在实现算法上有所不同,不同工具所能检测的重复代码类型也不尽相同。我们利用PMD-CPD扫描代码仓库,可以检测出单文件或多个文件中除了空格、注释、换行以及变量名以外内容完全一致的代码段信息,这些信息包含文件路径、代码段内容、起止行以及作者信息,详情结果如图所示。

9f11ac5aaed1da1217ea78f001212ece.png

重复代码详情结果

4.4 自定义规则扫描

Alchemy支持对自定义规则的扫描,通过配置自定义正则表达式和扫描范围,识别代码文件中满足配置规则的代码段,可用于扫描代码中的拼接SQL,敏感词等,并且可将不合规的代码定位到相关开发人员。

423ffcad0e82a4fffc1331896895a104.png

自定义扫描流程

单个文件扫描流程如图,首先判断文件是否在扫描范围内,若不在则直接跳转扫描下一个文件,否则读取文件内容,同时根据文件类型获取对应的自定义规则,匹配满足规则的代码段信息,包含代码段内容、严重程度、起止行、作者等。在某些场景下,需要设置子规则进行二次匹配,比如扫描update未指定where条件的sql语句,可先根据规则找到update语句,然后根据子规则判断是否带where条件,最终记录二次匹配的结果。

4.5 代码分析

使用不同工具统计的代码质量指标可能分散在不同的平台,对这些指标进行全面分析的过程中难免会有所遗漏,特别是对于未设置发布卡点的指标,开发人员可能并不会关注它们,导致代码存在大量的潜在问题未被分析治理。

Alchemy代码分析模块可以对代码不同维度的指标进行统计分析,包括代码行、单元测试、infer问题、Sonar问题、重复代码、圈复杂度等。用户可以在代码分析页面查看各维度问题分布情况,从而对项目的整体风险指标进行更全面的分析,可以根据问题的严重程度设置优先级进行针对性的治理。

69621104c9626200cc4f3b25d3ee8843.png

代码分析结果

4.6 代码搜索

在开发过程中,对于一些公共操作如中间件的使用方式,开发人员可能需要四处寻找接入文档。Alchemy提供代码搜索功能,可以帮助开发人员根据关键词来查找收录项目中的代码使用示例,用户可以根据项目仓库、代码语言以及作者等条件进行细分查询。在编码过程中,命名规范是一个容易被忽视的问题,使用Alchemy的变量命名功能,用户可以根据不同语言,搜索中英文关键词来获取推荐的规范命名参考,能极大地提高开发效率。

4f0c6bcee691e0c65b4eb24e666a9bc1.png

代码搜索结果

五、结束语

在本文中,我们介绍了Alchemy平台提供的代码静态分析,代码探索以及通过与Gitlab CI/CD集成带来的持续集成能力,可以在开发阶段暴露出更多的代码潜在问题和风险,并及时反馈给相关人员。目前携程酒店已接入项目800+,且在开发提交代码和发布阶段将分析的潜在问题接入了卡点流程。在后续的工作中,我们将从以下几个方向进行进一步的优化:

  • 在代码分析层面支持更多语言;

  • 开发IDE插件,在编码阶段实时扫描代码;

  • 继续深挖代码风险指标,并引入评估机制。

【推荐阅读】

  • 质量保障新手段,携程回归测试平台实践

  • 携程机票前台Trace系统的演进之路

  • AREX-携程无代码侵入的流量回放实践

  • 携程机票BDD UI Testing框架 - Flybirds

9275bee74ee06367c87b069cbae721d4.jpeg

 “携程技术”公众号

  分享,交流,成长

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_39080.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DCDC--Burst Mode和Pulse Skipping Mode

1、Burst Mode和Pulse Skipping Mode(PSM)的区别 Burst Mode ≠ Pulse Skipping Mode,论坛有人认为Burst Mode就是Pulse Skipping Mode,这是不对的。 以LTC3624为例: Burst Mode operation provides the highest ef…

(一)DepthAI-python相关接口:OAK Device

消息快播:OpenCV众筹了一款ROS2机器人rae,开源、功能强、上手简单。来瞅瞅~ 编辑:OAK中国 首发:oakchina.cn 喜欢的话,请多多👍⭐️✍ 内容可能会不定期更新,官网内容都是最新的,请查…

数据结构初阶--栈和队列(讲解+类模板实现)

栈的概念和结构 栈:一种特殊的线性表,其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶,另一端称为栈底。栈中的数据元素遵守后进先出LIFO(Last In First Out)加粗样式的原则。 入…

Redis数据结构和类型

Redis 包含五种数据类型,分别为String、List、Hash、Set、ZSet 底层实现的数据结构包SDS、双向链表、压缩列表、哈希表、整数集合、跳表 redis结构图数据类型和数据结构的关系Redis六种数据结构 一、动态字符串(SDS) Redis 是用 C 语言实现的,但是它…

在Word、WPS中插入AxMath公式导致行间距异常的解决办法

引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常,如下图所示: 查遍互联网,最有效的办法竟然要取消文档网格对齐,这对于一些严格要求的场合是非常不利的,经过我的尝试&#…

SpringBoot3.0正式发布,我来尝尝鲜

GraalVM 版本:graalvm-ce-java17-22.3.0 SpringBoot3.0 中最重要的特性就是对 GraalVM 的支持,从而达到更快的启动速度,有两种使用方式。 利用 GraalVM 构建可执行文件 因为需要利用 GraalVM 来打包可执行文件,所以需要你的机器上…

Casein-PEG-Indocyanine green 络蛋白-聚乙二醇-吲哚菁绿 Casein-ICG

产品名称:络蛋白-聚乙二醇-吲哚菁绿 英文名称:Casein-PEG-Indocyanine green 质量控制:95% 原料分散系数PDI:≤1.05 存储条件:-20C,避光,避湿 用 途:仅供科研实验使用,…

Ansible 企业级自动化运维实战

一、Ansible 简介 如果Ansible不采用0mq(ZeroMQ),在操作1000个以下的节点性能还可以,如果操作1000个以上的节点,性能就很差。 目前来说Ansible支持local,ssh,0mq,Ansible用ssh来管理被管理主机是最常见的方法。 saltstack简称salt,默认采用0mq(ZeroMQ),支持数万…

TaWRKY19/61/82激活糖转运蛋白TaSTP3从而增强小麦条锈病敏感性

文章信息 题目:Sugar transporter TaSTP3 activation by TaWRKY19/61/82 enhances stripe rust susceptibility in wheat 刊名:New Phytologist 作者:Baoyu Huai,Zhensheng Kang,Jie Liu et al. 单位:Northwest A&…

麒麟信安携手河南IT联盟召开 《麒麟信安信创应用解决方案》线上分享会

在党政及金融、交通、能源等重要行业的信创应用步伐逐步加快的背景下,各行业均面临着不同程度的国产化落地难题。11月29日下午,麒麟信安与河南省信息协会IT产业分会(河南IT联盟)携手召开《麒麟信安信创应用解决方案》线上分享会&a…

ARM汇编之乘法指令

ARM汇编之乘法指令前言 首先,请问大家几个小小问题,你清楚: 乘法指令有哪些种类呢?ARM乘法指令具体的使用场景又有哪些? 今天,我们来一起探索并回答这些问题。为了便于大家理解,以下是本文的…

基础知识java

1.浅克隆和深克隆?深克隆的方法 浅克隆:对象的引用变量只会拷贝地址,不会新建一个对象 深克隆:对象的引用变量也会新建一个对象 实现方式: 浅克隆:实现cloneable接口的clone方法 深克隆:实现Ser…

西门子精彩触摸屏SMART V3组态报警的具体方法示例

西门子精彩触摸屏SMART V3组态报警的具体方法示例 用户自定义报警分为离散量报警和模拟量报警。 离散量报警:离散量对应于二进制数的1位,离散量的两种相反状态可以用1位二进制数的0、1状态来表示。例如:电动机的交流接触器的接通和断开、各种故障信号的出现和消失,都可以用…

flask入门教程之请求与响应

Flask是一个轻量级的web开发框架,依赖jinja2和Werkzeug WSGI服务的一个微型框架。 官方文档:https://flask.palletsprojects.com/en/2.0.x/ 中文文档:http://docs.jinkan.org/docs/flask/ 中文文档的版本会比较低,如果英语OK的话&…

22年-自研-面试题

目录背景题目Activiti回退功能条件分支功能,并行网关、包含网关有没有用到流程流转中,需知会其他人,这些人需同意/做处理(有点流程的感觉),最后所有的意见都要汇总。你的实现思路Redis哪些数据结构&#xf…

【毕业设计】15-基于单片机的交通灯系统设计(原理图+仿真+论文)

【毕业设计】15-基于单片机的交通灯系统设计(原理图、仿真、源代码工程答辩论文答辩PPT) 文章目录【毕业设计】15-基于单片机的交通灯系统设计(原理图、仿真、源代码工程答辩论文答辩PPT)任务书设计说明书摘要设计框架架构设计说明…

【Rust日报】2022-11-29 Wirefish:基于 Tauri 的跨平台数据包嗅探器

Wirefish:基于 Tauri 的跨平台数据包嗅探器作者 stefanodevenuto 通过 Rust Tauri 实现,构建了一个类似 Wireshark 的跨平台数据包嗅探器。这个应用离生产阶段当然还很远,功能和页面上还有很多改善的空间,但是代码组织良好&#…

基于 Hive 的 Flutter 文档类型存储

基于 Hive 的 Flutter 文档类型存储 原文 https://medium.com/gytworkz/document-type-storage-in-flutter-using-hive-a18ea9659d84 前言 长久以来,我们一直使用共享首选项以键对格式在本地存储中存储数据,或者使用 SQLite 在 SQL 数据库中存储数据。 存…

【收藏】安科瑞企业微电网能效管理系统云平台演示账号

安科瑞 李亚俊 Acrel8757 1、AcrelCloud-1000变电所电力运维云平台 网址:https://acrelcloud.cn/ 演示账号:acrel 密码:123456 2、SCADA电力监控系统 网址:http://scada.acrel-eem.com/ 演示账号:acrel 密码:…

Android——使用ContentProvider共享数据

实验名称: 使用ContentProvider共享数据 实验目的: (1)能使用ContentProvider共享数据 (2)能使用内容观察者观察其他程序的数据变化 实验内容及原理&…