令牌桶算法理解学习(限流算法)

news/2024/5/9 12:38:56/文章来源:https://blog.csdn.net/yyfloveqcw/article/details/134912513

令牌桶算法是网络流量整形(Traffic Shaping)和速率限制(Rate Limiting)中最常使用的一种算法。典型情况下,令牌桶算法用来控制发送到网络上的数据的数目,并允许突发数据的发送。

用简单的话语来说就是限制流量,将其控制到某一平均值稳定输出,并可以在短时间内应对高额流量(短时高速率流量)的一种方法。

需要注意的是,限速只是让他尽可能速率一致,是存在速率不稳定的情况的,只有在长期来看速率才是恒定的,而当令牌桶应对突发流量时会进行令牌桶内令牌的小号,理论上的峰值速率=令牌桶的容量+恒定速率,举个例子,令牌桶的容量 为100MB,限制的速率为10MB/s,峰值速率则可以达到100+10=110MB/s。

 

 b为桶的容量,r为单位时间内放入的令牌数量,以下图为例:

在r=10,b=5时,即表明每1/r=0.1,每0.1秒投入一个令牌,而在到0.5秒时达到桶的极限容量5,在此刻继续投入令牌则无法维持,这些令牌将会被废弃,同时在此时若有5个指令同时想要去走令牌则可以同时取走令牌桶内的所有令牌,即为取走b=5个。

注意

  1. 当b>1时(桶的大小大于1个令牌时),任意1/r秒内最多可以取走b个令牌;
  2. 而当b=1时(桶的大小就是1),每秒钟最多可以被取走r个令牌。

综上,令牌桶算法的总体流程大致分为如下三步:

  1. 将令牌放入桶内:按照固定的速率放入令牌桶内,例如r=10,20,100等;
  2. 获取令牌:任意请求只有在取得可用令牌才会被接收处理;
  3. 令牌桶已满:当桶内令牌已满时,新加入的令牌会被丢弃或者拒绝接收。

与网络带宽分配相结合,可在一定程度上减少资源的浪费,同时可以根据不同优先级的业务来进行基于令牌桶的带宽分配改进方式,针对不同优先级的业务设定不同的业务权值,以此来自适应业务速率的变化,可通过业务权值的占用比例进行动态分配令牌资源,利用令牌桶嵌入漏桶机制实现对业务占用的带宽进行二次分配,根据业务优先级的高低对溢出的令牌实现依次填充,从而减少资源浪费。(源自论文:基于动态令牌桶的卫星网络带宽分配方法)

卫星网络模型:一个GEO卫星,若干地面终端和网络控制中心NCC(Network Control Center)组成,地面终端则是经由SG(Satallite Gateway)连接到Internet网络。通过网络控制中心NCC来进行处理各个SG发来的带宽申请和分配新的贷款,上行链路由各个SG提供,下行链路则是数据流共享的信道。

GEO卫星网络 

令牌桶方法实现:令牌桶的填充速率R,令牌桶容量S(令牌桶所能容纳的最大令牌数),令牌桶的当前状态为x,表示当前对应令牌桶的深度,工作流程如下图:

工作流程上,GEO卫星上的带宽资源被定义为n个令牌桶,当有业务传达到时,NCC处理由SG为每个业务发送的带宽请求并为其分配带宽,哥哥令牌桶为每个业务分配基本保证带宽,即为R1,R2,R3......Rn。调整R1,R2,R3......Rn的大小可以设定各个业务的保证带宽,需要注意,各个令牌桶的尺寸小于链路的信道容量,各个业务到达相应令牌桶后,根据数据包长度与令牌桶内数量来进行分配,若数据包长度小于令牌数,业务传送出去,令牌桶内令牌相应减少。而高优先级的业务将会优先进行放入。而由于令牌桶间仙姑独立,令牌桶无法动态借用空闲令牌,即空闲带宽无法进行有效利用,且令牌桶在填充过程中,令牌个数不会大于令牌桶容量,溢出令牌会丢失,也进一步造成了带宽资源的浪费

改进方法:将漏桶嵌入到令牌桶中,即每一个令牌桶连接一个漏桶,有几个优先级就有几个令牌桶。这样可以保证优先级为n的最小带宽,溢出桶用来存储溢出的令牌,借用令牌桶的动态带宽分配算法(Dynamic Bandwidth Allocation Algorithm with Token Bucket,DBAATB),原理下图:

 代码实现

acquire获取令牌的操作中,使用锁保护数据正确性,使用条件等待令牌足够才继续往下执行。

bool CountSemaphore::acquire(unsigned long long count)
{std::unique_lock<std::mutex> lck(m_mtx);if (count > m_maxCount){return false;}m_cv.wait(lck, [&]() -> bool { return m_updateCount >= count; });m_updateCount -= count;return true;
}

release增加令牌数量,并通知其他等待条件的线程继续执行。

void CountSemaphore::release(unsigned long long count){std::unique_lock<std::mutex> lck(m_mtx);auto tobeCount = m_updateCount + count;if (tobeCount > m_maxCount){m_updateCount = m_maxCount;}else{m_updateCount = tobeCount;}m_cv.notify_all();
}

TokenSpeedLimiter是令牌桶的封装。包含令牌桶的限速速度,令牌的投递时间间隔和令牌桶的容量。提供开始和结束投递操作和获取令牌的操作。

void TokenSpeedLimiter::workingThread()
{auto lastTime = std::chrono::steady_clock::now();while (m_runing){// 延时定时投递std::this_thread::sleep_for(std::chrono::milliseconds(m_deliveryIntervalMs));// 计算投递时间差auto curTime = std::chrono::steady_clock::now();auto elapsedMs = std::chrono::duration<double, std::milli>(curTime - lastTime).count();lastTime = curTime;// 根据时间差计算投递令牌的数量(除以1000换算成毫秒投递数量,然后再乘以毫秒时间差)auto tokens = m_limitSpeed * elapsedMs / 1000;// 投递令牌m_semaphore.release((unsigned long long)tokens);}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_191173.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

react.js源码二

三、调度Scheduler scheduling(调度)是fiber reconciliation的一个过程&#xff0c;主要决定应该在何时做什么?在stack reconciler中&#xff0c;reconciliation是“一气呵成”&#xff0c;对于函数来说&#xff0c;这没什么问题&#xff0c;因为我们只想要函数的运行结果&…

读书笔记-《数据结构与算法》-摘要4[插入排序]

插入排序 核心&#xff1a;通过构建有序序列&#xff0c;对于未排序序列&#xff0c;在已排序序列中从后向前扫描(对于单向链表则只能从前往后遍历)&#xff0c;找到相应位置并插入。实现上通常使用in-place排序(需用到O(1)的额外空间) 从第一个元素开始&#xff0c;该元素可…

Http请求(bug)——路径变量传参遇到特殊符号的问题 URL中的#,?,符号作用

前言 本篇博客分析路径变量传参遇到特殊符号的问题&#xff0c;阐述了URL中的#&#xff0c;&#xff1f;&#xff0c;&符号作用。 目录 前言引出路径变量传参遇到特殊符号的问题问题描述问题分析 URL中的 #&#xff0c;&#xff1f;&#xff0c;&符号的作用URL中# 的作…

sqlite3.44.2的编译

文章目录 sqlite3.44.2的编译概述笔记解决shell.c编译报错的方法整理 - 正常可用的编译脚本过程剩下的事情验证编译出的输出是否可以给工程正常使用?END sqlite3.44.2的编译 概述 想从源码编译一份Sqlite3.44.2出来. 编译sqlite3.44.2前置需要的TCL环境已经编译出来到了, 做…

前端入门:HTML初级指南,网页的简单实现!

代码部分&#xff1a; <!DOCTYPE html> <!-- 上方为DOCTYPE声明&#xff0c;指定文档类型为HTML --> <html lang"en"> <!-- html标签为整个页面的根元素 --> <head> <!-- title标签用于定义文档标题 --> <title>初始HT…

Google Bard vs. ChatGPT 4.0:文献检索、文献推荐功能对比

在这篇博客中&#xff0c;我们将探讨和比较四个不同的人工智能模型——ChatGPT 3.5、ChatGPT 4.0、ChatGPT 4.0插件和Google Bard。我们将通过三个问题的测试结果来评估它们在处理特定任务时的效能和响应速度。 导航 问题 1: 统计自Vehicle Routing Problem (VRP)第一篇文章发…

PHP对接企业微信

前言 最近在做项目中&#xff0c;要求在后台管理中有企业微信管理的相关功能。相关准备工作&#xff0c;需要准备好企业微信账号&#xff0c;添加自建应用&#xff0c;获得相应功能的权限&#xff0c;以及agentid、secre等。 参考文档&#xff1a; 企业微信开发文档 功能实现 因…

ChatGPT学习笔记

1 ChatGPT架构图 &#xff08;ChatGPT_Diagram.svg来自于【OpenA | Introducing ChatGPT】&#xff09; 2 模型训练 ChatGPT在训练时使用了PPO方法&#xff1b;

RabbitMq整合Springboot超全实战案例+图文演示+源码自取

目录 介绍 简单整合 简单模式 定义 代码示例 work模式 定义 代码示例 pubsub模式 定义 代码示例 routing模式 定义 代码示例 top模式 定义 代码 下单付款加积分示例 介绍 代码 可靠性投递示例 介绍 代码 交换机投递确认回调 队列投递确认回调 ​延迟消…

LLM之Agent(五)| AgentTuning:清华大学与智谱AI提出AgentTuning提高大语言模型Agent能力

​论文地址&#xff1a;https://arxiv.org/pdf/2310.12823.pdf Github地址&#xff1a;https://github.com/THUDM/AgentTuning 在ChatGPT带来了大模型的蓬勃发展&#xff0c;开源LLM层出不穷&#xff0c;虽然这些开源的LLM在各自任务中表现出色&#xff0c;但是在真实环境下作…

线性回归实战

3.1 使用正规方程进行求解 3.1.1 简单线性回归 公式 &#xff1a; y w x b y wx b ywxb 一元一次方程&#xff0c;在机器学习中一元表示一个特征&#xff0c;b表示截距&#xff0c;y表示目标值。 使用代码进行实现&#xff1a; 导入包 import numpy as np import matp…

单点登录方案调研与实现

作用 在一个系统登录后&#xff0c;其他系统也能共享该登录状态&#xff0c;无需重新登录。 演进 cookie → session → token →单点登录 Cookie 可以实现浏览器和服务器状态的记录&#xff0c;但Cookie会出现存储体积过大和可以在前后端修改的问题 Session 为了解决Co…

day70

今日回顾 session 中间件 auth session Cookie虽然在一定程度上解决了“保持状态”的需求&#xff0c;但是由于Cookie本身最大支持4096字节&#xff0c;以及Cookie本身保存在客户端&#xff0c;可能被拦截或窃取&#xff0c;因此就需要有一种新的东西&#xff0c;它能支持更…

西南科技大学C++程序设计实验七(继承与派生二)

一、实验目的 1. 掌握多继承程序设计 2. 掌握虚基类编程 3. 拓展学习可视化程序设计中的继承与派生应用 二、实验任务 重点:掌握虚基类的定义与实现,拓展其功能。 阅读分析、完善程序。下面程序(1)与程序(2)分别是没有使用虚基类和使用虚基类的代码,其中A是最上层基…

【海思SS528 | VO】MPP媒体处理软件V5.0 | VO模块编程总结

&#x1f601;博客主页&#x1f601;&#xff1a;&#x1f680;https://blog.csdn.net/wkd_007&#x1f680; &#x1f911;博客内容&#x1f911;&#xff1a;&#x1f36d;嵌入式开发、Linux、C语言、C、数据结构、音视频&#x1f36d; &#x1f923;本文内容&#x1f923;&a…

在Spring Cloud中使用组件Ribbon和Feign,并分别创建子模块注册到Eureka中去

ok&#xff0c;在上篇文章中我们讲了在Spring cloud中使用Zuul网关&#xff0c;这篇文章我们将Spring Cloud的五大核心组件的Ribbon和Feign分别创建一个微服务模块。 题外话&#xff0c;本篇博客就是配置子模块&#xff0c;或者说是微服务&#xff0c;然后将微服务正式启动之前…

【Python】 生成二维码

创建了一个使用 python 创建二维码的程序。 下面是生成的程序的图像。 功能描述 输入网址&#xff08;URL&#xff09;。 输入二维码的名称。 当单击 QR 码生成按钮时&#xff0c;将使用 QRname 中输入的字符将 QR 码生成为图像。 程序代码 import qrcode import tkinterd…

使用dockerfile 构建自己的nacos-mysql

前言 在部署nacos的时候触发的脑袋灵光一闪&#xff0c;每次部署nacos都要部署下mysql服务器&#xff0c;然后导入sql语句&#xff0c;配置nacos配置文件&#xff0c;那有没有简单的方法实现一键部署nacos和nacos-mysql 呢? 答案是肯定&#xff01;如下目录图&#xff1a; …

Navicat 技术指引 | 适用于 GaussDB 分布式的用户/权限功能

Navicat Premium&#xff08;16.3.3 Windows 版或以上&#xff09;正式支持 GaussDB 分布式数据库。GaussDB 分布式模式更适合对系统可用性和数据处理能力要求较高的场景。Navicat 工具不仅提供可视化数据查看和编辑功能&#xff0c;还提供强大的高阶功能&#xff08;如模型、结…

Navicat 技术指引 | 适用于 GaussDB 分布式的查询功能

Navicat Premium&#xff08;16.3.3 Windows 版或以上&#xff09;正式支持 GaussDB 分布式数据库。GaussDB 分布式模式更适合对系统可用性和数据处理能力要求较高的场景。Navicat 工具不仅提供可视化数据查看和编辑功能&#xff0c;还提供强大的高阶功能&#xff08;如模型、结…