springboot+pgbouncer+postgres数据库连接池集成方案及问题解决

news/2024/4/27 6:41:22/文章来源:https://blog.csdn.net/visket2008/article/details/129241901

期望通过每一次分享，让技术的门槛变低，落地更容易。 —— around

前言

旨在解决微服务项目全是连接池并影响数据库并发连接，作者的环境是基于sprongboot微服务连接postgres数据库，每个微服务的DAO层配置都使用了连接池技术。后续微服务太多，导致连接到一个数据库上默认创建的连接太多（整体数据库连接数 = 微服务数量 x 连接池默认创建连接数量），因此在连接池上做处理，统一迁移至数据库端，同时为以后升级数据集群管理工具准备。

编写文本的最大原因是网上关于pgbouncer的文章质量太差，于是个人记录一下踩坑情况与实际解决方案。

作者环境：centos7 + postgres14 + pgbouncer1.18 + springboot2.4.5

目录

    1. 安装pgbouncer
    1. 错误收集
    1. springboot连接pgbouncer

正文

1.安装pgbouncer

使用yum直接安装

yum install pgbouncer -y

安装完毕后注意看几个目录是否存在

/etc/pgbouncer/
/var/log/pgbouncer/

接着打开pgbouncer.ini文件进行配置修改，关注以下几个参数项，建议按本文直接设置

vi /etc/pgbouncer/pgbouncer.ini====begin======
[databases]
postgres = host=127.0.0.1 port=5432 dbname=postgreslisten_addr = *
listen_port = 6432# 如果你安装的postgres是低于14版本，则使用auth_type = md5，否则请按我的设置
auth_type = scram-sha-256
auth_file = /etc/pgbouncer/userlist.txt# 管理账号
admin_users = postgres
stats_users = postgres# 支持session、transaction、statement三种模式，不明白去搜索
pool_mode = transactionserver_reset_query = DISCARD ALL# 是否忽略jdbc连接参数
ignore_startup_parameters = extra_float_digitsserver_check_query = select 1server_check_delay = 30# 最大连接池数量
max_client_conn = 400# 默认连接池数量
default_pool_size = 36reserve_pool_size = 5dns_max_ttl = 15

修改完毕后直接保存文件，接着不要着急启动，启动肯定直接失败，以下内容就是我启动后造成的错误日志

LOG  (nodb)/postgres@127.0.0.1:33082 closing because: password authentication failed (age=0s)
WARNING (nodb)/postgres@127.0.0.1:33082 pooler error: password authentication failed

下面接着配置连接池与postgres的信任连接，既然连接自然需要数据库账号密码了，按照上述的配置文件，用户应该是在/etc/pgbouncer/userlist.txt中，但你肯定找不到这个文件，它需要我们自己去创建，提供2个方法：

  • 使用pgbouncer脚本：
    cd /etc/pgbouncer到这个目录，找到mkauth.py文件，直接对这个文件执行命令即可（注：通过yum安装方式才有依赖环境）

    # 字符串引号部分，空格不要处理，填写的内容实际上就是访问你postgres数据库的属性，请参考自己的设置修改
/etc/pgbouncer/mkauth.py  /etc/pgbouncer/userlist.txt  "host=127.0.0.1 dbname=postgres port=5432 user=postgres password=postgres"

    生成完毕后请检查一下自己在/etc/pgbouncer目录下的userlist.txt文件，该文件包含你postgres所有的账号信息，请调整一下该文件的内容，主要是处理空引号的问题

    vi /etc/pgbouncer/userlist.txt# old
"postgres" "SCRAM-SHA-256$4096:St3x1cVA+cTJDsiGEnqjoA==" "" # new
"postgres" "SCRAM-SHA-256$4096:St3x1cVA+cTJDsiGEnqjoA=="

    最后请记得给该文件授权一下，避免后续缺权限无法使用。

    chmod -R 755 /etc/pgbouncer/userlist.txt

  • 使用postgres数据库表：
    在数据库安装的服务器上直接登录数据库

    # 请修改成自己的数据库访问地址和账号
psql -p 5432 postgres -h 127.0.0.1 -U postgres# 登录后直接查询pg_shadow获取账号密码信息
select usename, passwd from pg_shadow;

    对上述查到的数据库账号信息，自己直接复制出来，不需要全部复制，只复制自己希望暴露出来通过pgbouncer方式登录系统的账号。
    复制之后的数据直接按照下面的格式创建文件并存储账号密码信息

    vi /etc/pgbouncer/userlist.txt# 账号 密码
"postgres" "SCRAM-SHA-256$4096:St3x1cVA+cTJDsiGEnqjoA=="

    最后请记得给该文件授权一下，避免后续缺权限无法使用。

    chmod -R 755 /etc/pgbouncer/userlist.txt

接着启动你的数据库吧，这里不能使用root启动，会导致pgbouncer启动失败。我们执行如下命令

 #  切换用户
su - pgbouncer# 启动
pgbouncer -d /etc/pgbouncer/pgbouncer.ini

启动完毕后查询pgbouncer状态systemctl status pgbouncer，如果显示为下图，表示成功。
在这里插入图片描述

如果如下图显示，则表示出现了问题，我们需要针对性检查问题，据具体问题详见第二章。
在这里插入图片描述

2.错误收集

  • FATAL PgBouncer should not run as root
    说明pgbouncer的启动用户是通过root账号启动的，使用yum安装的话，直接通过如下操作完成

    su - pgbouncer# 启动
pgbouncer -d /etc/pgbouncer/pgbouncer.ini

  • ERROR could not open auth_file /etc/pgbouncer/userlist.txt: Permission denied
    说明当前pgbouncer的用户文件是没有权限读取的，请设置权限

    chmod -R 755 /etc/pgbouncer/userlist.txt

  • FATAL unix socket is in use, cannot continue
    说明pgbouncer重复启动了，需要关闭之前启动的（就算启动失败了），完成后再次启动

    # 查找进程
ps -ef |grep pg# 找到正在启动的进程然后删除掉
kill -9 pid# 上述不可用也能使用此方式
kill `cat /var/run/pgbouncer/pgbouncer.pid`

  • closing because: unsupported startup parameter: extra_float_digits=2
    表示当前用户连接到pgbouncer携带的参数有问题，存在jdbc无法连接的问题，进入pgbouncer安装所在服务

    vi /etc/pgbouncer/pgbouncer.ini# 是否忽略jdbc连接参数
ignore_startup_parameters = extra_float_digits# 修改完成后，记得重启pgbouncer，应该生效了

  • pooler error: unsupported startup parameter: search_path
    表示额外携带的参数内容有误，这时候建议去自己的代码项目上检查一下datasource连接了

    # 原始连接池
url: jdbc:postgresql://ip:端口/数据库?currentSchema=public&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8&stringtype=unspecified# 删除 currentSchema=public，添加prepareThreshold=0
url: jdbc:postgresql://ip:端口/数据库?prepareThreshold=0&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8&stringtype=unspecified

    完成后重启开发环境连接，继续去后台查看pgbouncer的实际log，输出为如下表示正常

    # /var/log/pgbouncer/pgbouncer.log
LOG listening on 0.0.0.0:6432
2023-02-27 13:59:45.696 CST [29731] LOG listening on [::]:6432
2023-02-27 13:59:45.696 CST [29731] LOG listening on unix:/tmp/.s.PGSQL.6432

  • ERROR: No such user: postgres
    表示进行登录到sql界面的账号不存在，需要检查postgresql数据库是否有这个账号且是生效状态

  • psql: error: connection to server at “127.0.0.1”, port 6432 failed: FATAL: SASL authentication failed
    表示进行登录到sql界面的账号密码错误，需要检查postgresql数据库对应账号的真实密码

3.springboot连接pgbouncer

请先保证/etc/pgbouncer/pgbouncer.ini的listen_addr能够接到你的ip访问，如果不清楚先给listen_addr = *，以后清楚了再调。

listen_addr = *

接着直接在springboot项目的yml文件中修改之前的连接池配置，同时调整datasource配置如下

spring:datasource:# 例子：jdbc:postgresql://192.168.100.10:6432/postgres?prepareThreshold=0&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8&stringtype=unspecifiedurl: jdbc:postgresql://pgbouncer-ip:pgbouncer端口/数据库?prepareThreshold=0driverClassName: org.postgresql.Driverusername: postgres（pgbouncer中数据库对应的用户名）password: postgres（pgbouncer中数据库对应的密码）

最后

本文仅提供关于pgbouncer相关介绍与问题处理方式，为后续切换posgresql集群和双master方案做准备，预计后续发布Bucardo与Slony-l的方案。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.luyixian.cn/news_show_75272.aspx

如若内容造成侵权/违法违规/事实不符，请联系dt猫网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

PGLBox 超大规模 GPU 端对端图学习训练框架正式发布

PGLBox 超大规模 GPU 端对端图学习训练框架正式发布

作者 | PGLBox项目组 导读 PGLBox是百度研发的基于GPU的大规模图模型训练框架，支持数百亿节点和边的图模型全GPU训练，已在百度广泛部署。相比业界主流的分布式 CPU 解决方案，PGLBox 具有超高性能、超大规模、算法丰富、灵活易用、落地广泛等优…
阅读更多...
复习知识点十之方法的重载

复习知识点十之方法的重载

目录 方法的重载 练习1: 练习1: 数组遍历 练习2: 数组的最大值 练习3: 练习4: 复制数组 基本数据类型和引用数据类型 方法的重载 Java虚拟机会通过参数的不同来区分同名的方法 练习1: public class Test4 {public static void main(String[] args) {//调用方法 // …
阅读更多...
【架构师】零基础到精通——服务与网关

【架构师】零基础到精通——服务与网关

博客昵称：架构师Cool 最喜欢的座右铭：一以贯之的努力，不得懈怠的人生。 作者简介：一名Coder，软件设计师/鸿蒙高级工程师认证，在备战高级架构师/系统分析师，欢迎关注小弟！ 博主小留言…
阅读更多...
Raki的读paper小记：BART

Raki的读paper小记：BART

Abstract&Introduction&Related Work 研究任务 预训练语言模型已有方法和相关工作 BERT等面临挑战 已有的方法依赖下游任务创新思路 融合了双向和自回归模型随机打乱原始句子的顺序，并同时使用一种novel的填空方案，文本的span只用一个masked to…
阅读更多...
近期常见组件漏洞更新：

近期常见组件漏洞更新：

（1）mysql 5.7 在2023年1月17日，发布了到5.7.41版本 mysql 8.0 在2023年1月17日，发布了到8.0.32版本 MySQL :: Download MySQL Community Serverhttps://dev.mysql.com/downloads/mysql/ （2）Tomcat8在202…
阅读更多...
RedisTemplate 的基本使用手把手教

RedisTemplate 的基本使用手把手教

下载实例源码 使用步骤 1、引入 spring-boot-starter-data-redis 依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId> </dependency>2、在 application.yml 配置 R…
阅读更多...
springboot使用Gateway搭建网关服务及Nacos实现动态路由

springboot使用Gateway搭建网关服务及Nacos实现动态路由

实际工作中我们会有很多个项目&#xff0c;这些项目共同使用同一个网关gateway来实现路由&#xff0c;各个项目之间调用以及前端调用都可以直接通过服务名称来调用&#xff0c;不用管ip&#xff0c;后续项目迁移到其它服务器也不受影响。 首先搭建springboot微服务&#xff0c…
阅读更多...
CANoe TC8测试脚本的结构介绍

CANoe TC8测试脚本的结构介绍

CANoe TC8脚本是通过vTESTstudio平台编写。每个协议（ARP\ICMPv4\IPv4\UDP\TCP\SOMEIP\DHCP）都有自己的vtt文件。每个vtt文件的测试树结构为： Test Fixture Fixture Preparation Test Case Test Case … Test Case Test Case Fixture Completion 当Test Fixture里的Test Case…
阅读更多...
分布式ID生成系统

分布式ID生成系统

目录背景常用分布式ID生成系统介绍UUIDSnowflake背景 在大多数复杂的分布式系统中&#xff0c;往往需要对大量的数据和消息进行唯一标识。而对分布式系统后台数据库的分库分表后需要有一个唯一的ID来表示一条数据或者是消息。那么我们分布式系统ID一般都有哪些需求呢&#xff1…
阅读更多...
初识CSS

初识CSS

1.CSS语法形式CSS基本语法规则就是:选择器若干属性声明由选择器选择一个元素,其中的属性声明就作用于该元素.比如:<body><p>这是一个段落</p><!-- style可以放在代码的任意地方 --><style>p{/* 将字体颜色设置为红色 */color: red;}</style&g…
阅读更多...
C++修炼之练气期一层——命名空间

C++修炼之练气期一层——命名空间

目录 1.引例 2.命名空间的定义 3.命名空间的使用 4.命名空间使用注意事项 1.引例 #include <stdio.h> #include <stdlib.h>int rand 10;int main() {printf("%d\n", rand);return 0; } 当我们用C语言写下这样的代码&#xff0c;看着并没有什么语法…
阅读更多...
【手把手一起学习】(七) Altium Designer 20常用PCB设计规则

【手把手一起学习】(七) Altium Designer 20常用PCB设计规则

1 常用PCB设计规则 PCB规则设计是PCB设计中至关重要的环节&#xff0c;它约束了电气要求、布线方式、器件摆放位置等&#xff0c;为后续的手动布局、布线提供依据。完善的PCB规则设计&#xff0c;可以减少设计中的错误&#xff0c;提高PCB设计效率。 1.1 PCB设计规则管理器 …
阅读更多...
谷歌搜索技巧大全 | 谷歌高级搜索语法指令

谷歌搜索技巧大全 | 谷歌高级搜索语法指令

谷歌搜索技巧是利用各种高级搜索语法或者搜索指令&#xff0c;让我们能够使用Google进行精确化的搜索&#xff0c;外贸找客户和学术文件查找都可以应用到这些搜索技巧。(大部分命令也适用百度搜索)。Google通过互联网收集数据&#xff0c;抓取有意义的信息&#xff0c;将其存储…
阅读更多...
【知识图谱】架构-特点-缺点简介

【知识图谱】架构-特点-缺点简介

架构物联网、云计算、人工智能等新一代信息技术的迅猛发展&#xff0c;带来了制造业的新一轮突破&#xff0c;推动着制造系统向智能化方向发展&#xff0c;驱动着未来制造模式的创新。其中数据和知识是实现制造业与新一代信息技术融合的基础&#xff0c;是实现智能制造的保障。…
阅读更多...
C++杂谈（一）

C++杂谈（一）

前言 本系列也是慢更系列&#xff0c;主要收纳一些还不够单独成系列的C的杂项问题&#xff0c;或是一些与C有关&#xff0c;但不属于核心知识的一些旁系问题。 关于C与C的关系 「学C要先学C吗&#xff1f;」 「C和C是不是完全不同的两个语言&#xff1f;」 「这个语法是C的还…
阅读更多...
Android 动画详解

Android 动画详解

Android动画的分类与使用学习Android必不可少的就是动画的使用了&#xff0c;在Android版本迭代的过程中&#xff0c;出现了很多动画框架&#xff0c;这里做一个总结。Android动画类型分类逐帧动画【Frame Animation】&#xff0c;即顺序播放事先准备的图片。补间动画【Tween A…
阅读更多...
NSGA-Ⅲ源代码

NSGA-Ⅲ源代码

NSGA-Ⅲ源代码如下&#xff0c;供大家学习和应用。该算法在梯级水电-火电的应用订阅专栏即可查看&#xff1a; 1、主函数 % % Copyright (c) 2016, Mostapha Kalami Heris & Yarpiz (www.yarpiz.com) % All rights reserved. Please read the "LICENSE" file…
阅读更多...
前端经典react面试题及答案

前端经典react面试题及答案

为什么 React 元素有一个 $$typeof 属性 目的是为了防止 XSS 攻击。因为 Synbol 无法被序列化&#xff0c;所以 React 可以通过有没有 $$typeof 属性来断出当前的 element 对象是从数据库来的还是自己生成的。 如果没有 $$typeof 这个属性&#xff0c;react 会拒绝处理该元素。…
阅读更多...
C++plog库，轻量级日志框架（日志库）

C++plog库，轻量级日志框架（日志库）

文章目录主要头文件及使用方法解释plog/Log.hplog/Appenders/ColorConsoleAppender.hplog/Appenders/RollingFileAppender.hplog/Formatters/TxtFormatter.h三个核心概念Formatter&#xff1a;格式化程序格式化程序举例TxtFormatterJsonFormatterCsvFormatterSyslogFormatterAp…
阅读更多...
真的，MyBatis 核心源码入门看这个就够了（四）

真的，MyBatis 核心源码入门看这个就够了（四）

4 SQL执行 再次回到demo的示例代码&#xff0c; org.junit.jupiter.api.Testvoid queryBySn() throws IOException {//1 读取配置文件InputStream in Resources.getResourceAsStream("mybatis-config.xml");//2 加载解析配置文件并获取SqlSessionFactory对象SqlSes…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站 广利置业