Python教程：一文掌握Python多线程（很详细）

news/2024/4/29 10:18:56/文章来源:https://blog.csdn.net/weixin_40025666/article/details/137108894

目录

1.什么是多线程？

1.1多线程与单线程的区别

1.2 Python 中的多线程实现方式

2.使用 threading 模块创建和管理线程

2.1创建线程：Thread 类的基本用法

2.2线程的启动和执行：start() 方法

2.3线程的同步和阻塞：join() 方法

2.4线程的名称和标识：name 和 ident 属性

3.线程间的通信与同步

3.1使用 Lock 实现线程同步

3.2使用 Queue 实现线程间通信

4.线程池的使用

5.理解全局解释器锁（GIL）对多线程的影响

5.1作用和原理：

5.2对多线程并发执行的限制：

6.多线程中的常见问题与解决方法

6.1死锁（Deadlock）的原因及避免方法：

6.2线程间数据共享与安全访问：

7.线程越多越好么？

8.面试问题：解析Python中的GIL（全局解释器锁）是什么？它如何影响多线程编程？

问题描述：

详细答案：

 9.多线程实战示例

9.1项目说明：

9.2完整代码示例：

9.3代码说明：

1.什么是多线程？

多线程是指在同一进程内同时运行多个线程，每个线程执行不同的任务，实现并发执行。每个线程都有自己的执行路径，可以独立运行和调度，共享进程的资源。

1.1多线程与单线程的区别

  • 单线程： 指在程序中只有一个执行线程，按照顺序依次执行任务。单线程模型简单直观，但无法充分利用多核处理器的性能。

  • 多线程： 可以同时执行多个线程，提高程序的响应速度和效率。多线程模型适用于需要同时处理多个任务或需要利用多核处理器的场景。

1.2 Python 中的多线程实现方式

Python 提供了 threading 模块来支持多线程编程。通过创建 Thread 对象并指定目标函数，可以实现线程的创建和管理。以下是一个简单的示例：

import threadingdef print_numbers():for i in range(1, 6):print(i)# 创建线程
t = threading.Thread(target=print_numbers)# 启动线程
t.start()# 主线程继续执行其他任务

2.使用 threading 模块创建和管理线程

2.1创建线程：Thread 类的基本用法

在 Python 中，可以使用 threading 模块中的 Thread 类来创建线程。以下是创建线程的基本用法：

import threadingdef my_function():print("This is a thread.")# 创建线程
my_thread = threading.Thread(target=my_function)

2.2线程的启动和执行：start() 方法

通过调用线程对象的 start() 方法来启动线程，让线程开始执行目标函数中的代码：

my_thread.start()

2.3线程的同步和阻塞：join() 方法

可以使用 join() 方法来等待线程执行完成，实现线程的同步和阻塞：

my_thread.join()
print("Thread has finished.")

2.4线程的名称和标识：name 和 ident 属性

每个线程都有一个名称和一个唯一的标识符。可以通过 name 属性获取线程的名称，通过 ident 属性获取线程的标识符：

print("Thread name:", my_thread.name)
print("Thread identifier:", my_thread.ident)

通过以上方法，可以创建、启动和管理线程，并实现线程间的同步和阻塞操作。线程的名称和标识符可以帮助我们对线程进行标识和跟踪，便于调试和管理多线程程序。

3.线程间的通信与同步

3.1使用 Lock 实现线程同步

在多线程编程中，为了避免多个线程同时访问共享资源导致数据混乱或不一致的问题，可以使用 Lock 对象实现线程同步。下面是一个简单的示例：

import threadingcounter = 0
lock = threading.Lock()def increment_counter():global counterwith lock:counter += 1# 创建多个线程并启动
threads = []
for _ in range(5):t = threading.Thread(target=increment_counter)t.start()threads.append(t)# 等待所有线程执行完成
for t in threads:t.join()print("Final counter value:", counter)

在上面的示例中，通过 Lock 对象确保了 counter 变量的原子性操作，避免了多线程同时修改导致的问题。

3.2使用 Queue 实现线程间通信

另一种常见的方式是使用 Queue 实现线程间的通信。Queue 是线程安全的数据结构，可以在多个线程之间安全地传递数据。以下是一个简单的示例：

import threading
import queuedef producer(q):for i in range(5):q.put(i)def consumer(q):while not q.empty():item = q.get()print("Consumed:", item)# 创建队列
q = queue.Queue()# 创建生产者和消费者线程
producer_thread = threading.Thread(target=producer, args=(q,))
consumer_thread = threading.Thread(target=consumer, args=(q))# 启动线程
producer_thread.start()
consumer_thread.start()# 等待线程执行完成
producer_thread.join()
consumer_thread.join()

在上面的示例中，通过 Queue 实现了生产者和消费者模式，生产者向队列中放入数据，消费者从队列中取出数据进行消费，实现了线程间的通信。

4.线程池的使用

使用 ThreadPoolExecutor 可以方便地管理线程池，控制线程数量并提交任务。以下是 ThreadPoolExecutor 的基本用法示例：

from concurrent.futures import ThreadPoolExecutor
import time# 定义一个任务函数
def task(n):print(f"Task {n} started")time.sleep(2)return f"Task {n} completed"# 创建 ThreadPoolExecutor
with ThreadPoolExecutor(max_workers=3) as executor:  # 控制线程池大小为3# 提交任务给线程池future1 = executor.submit(task, 1)future2 = executor.submit(task, 2)future3 = executor.submit(task, 3)# 获取任务执行结果print(future1.result())print(future2.result())print(future3.result())

在上面的示例中，通过 ThreadPoolExecutor 创建了一个最大容纳3个线程的线程池。然后使用 submit() 方法提交了三个任务，并使用 result() 方法获取任务执行结果。

如果想要控制线程池的大小，可以将 max_workers 参数设置为所需的线程数量。通过 ThreadPoolExecutor 可以方便地管理线程池，提高多线程编程的效率。

5.理解全局解释器锁（GIL）对多线程的影响

全局解释器锁（GIL）是在 CPython 解释器中使用的一种机制，它对多线程并发执行产生了一定的限制和影响。以下是关于 GIL 的作用、原理以及对多线程并发执行的限制：

5.1作用和原理：

  • 作用： GIL 的作用是确保在解释器级别上，同一时刻只有一个线程可以执行 Python 字节码。这意味着在多核处理器上，Python 程序不能利用多个 CPU 核心同时执行线程。
  • 原理： 在 CPython 中，GIL 是由一个互斥锁来实现的。当一个线程获得了 GIL 后，其他线程就无法在同一时间执行 Python 字节码，直到持有 GIL 的线程释放锁。

5.2对多线程并发执行的限制：

  1. 性能影响： 由于同一时刻只有一个线程可以执行 Python 字节码，因此在多核 CPU 上，并发执行的效率受到限制。特别是对于计算密集型的多线程任务，GIL 可能导致性能瓶颈。
  2. IO 密集型任务的影响较小： 对于涉及大量 IO 操作的线程，GIL 的影响相对较小，因为在 IO 操作时，线程会主动释放 GIL，让其他线程执行。
  3. 影响解决方案： 为了充分利用多核 CPU，可以使用多进程、使用其他语言的扩展模块（如使用 C/C++ 编写的扩展模块）或者使用异步编程（如 asyncio）等方式来规避 GIL 的影响。

总之，GIL 的存在使得在 CPython 中的多线程并发执行受到了一定的限制，开发者需要根据具体情况选择合适的解决方案来充分利用多核 CPU 资源。

6.多线程中的常见问题与解决方法

当涉及到多线程编程中的常见问题如死锁（Deadlock）以及线程间数据共享与安全访问时，以下是代码示例和解释：

6.1死锁（Deadlock）的原因及避免方法：

原因： 死锁是指两个或多个线程互相等待对方释放资源而无法继续执行的情况。

避免方法： 避免死锁的一种常见方法是确保线程获取资源的顺序是一致的，或者使用超时机制来打破死锁。下面是一个简单的示例：

import threading# 创建两个锁
lock1 = threading.Lock()
lock2 = threading.Lock()def thread1():lock1.acquire()print("Thread 1 acquired lock 1")# 假设这里需要一段时间lock2.acquire()print("Thread 1 acquired lock 2")lock2.release()lock1.release()def thread2():lock2.acquire()print("Thread 2 acquired lock 2")# 假设这里需要一段时间lock1.acquire()print("Thread 2 acquired lock 1")lock1.release()lock2.release()t1 = threading.Thread(target=thread1)
t2 = threading.Thread(target=thread2)t1.start()
t2.start()t1.join()
t2.join()

在上述示例中，如果 thread1 和 thread2 同时运行，由于它们试图以不同的顺序获取锁，可能导致死锁。为了避免死锁，可以尝试统一锁的获取顺序。

6.2线程间数据共享与安全访问：

在多线程编程中，线程之间共享数据时需要确保线程安全，可以使用互斥锁来保护共享资源。下面是一个简单的示例：

import threadingcounter = 0
lock = threading.Lock()def increment_counter():global counterfor _ in range(100000):lock.acquire()counter += 1lock.release()threads = []
for _ in range(10):t = threading.Thread(target=increment_counter)threads.append(t)for t in threads:t.start()for t in threads:t.join()print("Final counter value:", counter)

在这个示例中，我们使用互斥锁 lock 来确保对 counter 全局变量的安全访问。每个线程在增加 counter 值之前获取锁，操作完成后释放锁，从而避免竞态条件。这样可以确保线程安全地访问共享资源。

7.线程越多越好么？

在Python中使用多线程可以提高程序的并发性，但并不意味着线程越多越好。这是因为 Python 中的全局解释器锁（Global Interpreter Lock，GIL）限制了同一时间只有一个线程可以执行 Python 字节码，因此多线程并不能充分利用多核处理器的优势。

虽然多线程在某些场景下可以提高效率，比如I/O密集型任务，但如果是CPU密集型任务（如大量计算），多线程并不能有效提升性能。此外，线程数过多也会增加线程切换的开销，并可能导致系统资源竞争和调度开销，进而影响整体性能。

因此，在决定使用多线程时，需要考虑以下几点：

  1. 任务类型：针对不同类型的任务选择合适的并发模型，如I/O密集型任务可以考虑使用多线程，而CPU密集型任务可能更适合使用多进程。
  2. 平台和环境：要考虑程序运行的平台和环境对多线程的支持情况，以及是否受到 GIL 的影响。
  3. 系统资源：合理评估系统资源（CPU、内存等）的使用情况，避免过多线程导致资源浪费和性能下降。

综上所述，虽然多线程可以在适当的情况下提高程序的并发性和效率，但并不意味着线程越多越好。在实际应用中，需要根据具体情况慎重考虑线程数量，并结合任务类型、系统资源和性能需求进行合理的设计和调优。

8.面试问题：解析Python中的GIL（全局解释器锁）是什么？它如何影响多线程编程？

问题描述：

请解释 Python 中的 GIL 是什么，以及它如何影响多线程编程。同时，讨论在受 GIL 限制的情况下如何提高 Python 多线程程序的性能。

详细答案：

  • GIL 是什么？

    • GIL 是全局解释器锁（Global Interpreter Lock）的缩写，是 Python 解释器中的一个机制。它的作用是保证在解释器级别同一时刻只有一个线程执行 Python 字节码，从而防止多线程同时执行字节码导致的数据竞争和不一致性。

  • GIL 对多线程编程的影响：

    • 由于 GIL 的存在，Python 中的多线程无法利用多核处理器来实现真正的并行执行。即使有多个线程，它们依然是以串行的方式执行，因为同一时刻只有一个线程能够获取到 GIL。

  • 提高 Python 多线程程序性能的方法：

    • 使用多进程替代多线程： Python 中的多进程可以绕过 GIL 的限制，实现真正的并行执行。
    • 使用 C 扩展或 Cython： 将性能关键的部分使用 C 语言或 Cython 编写，可以减少对 GIL 的依赖，提高性能。
    • 使用异步编程： 使用异步编程库（如 asyncio、aiohttp）可以在不受 GIL 影响的情况下实现并发执行。

 9.多线程实战示例

当涉及到使用Python多线程的实际项目示例时，一个常见的场景是同时下载多个文件并将它们保存到本地。在这个示例中，我们将创建一个简单的多线程下载器，每个线程负责下载一个文件，并最后将它们保存到本地。

9.1项目说明：

我们将使用Python的threading模块来实现多线程下载器。每个线程将会下载一个文件，然后将文件保存到指定的目录。为了模拟真实下载过程，我们会使用一个虚拟的文件URL列表。

9.2完整代码示例：

import threading
import requests
import os# 虚拟文件URL列表
file_urls = ["https://www.example.com/file1.txt","https://www.example.com/file2.txt","https://www.example.com/file3.txt"
]# 下载函数
def download_file(url, save_path):response = requests.get(url)with open(save_path, 'wb') as file:file.write(response.content)print(f"Downloaded {url} and saved to {save_path}")# 下载器类
class DownloaderThread(threading.Thread):def __init__(self, url, save_path):threading.Thread.__init__(self)self.url = urlself.save_path = save_pathdef run(self):download_file(self.url, self.save_path)# 创建保存文件的目录
download_dir = "downloads"
os.makedirs(download_dir, exist_ok=True)# 创建并启动多个下载线程
threads = []
for i, url in enumerate(file_urls):file_name = f"file{i+1}.txt"save_path = os.path.join(download_dir, file_name)downloader = DownloaderThread(url, save_path)threads.append(downloader)downloader.start()# 等待所有线程完成下载
for thread in threads:thread.join()print("All downloads completed!")

9.3代码说明：

  1. 定义了一个download_file函数用于下载文件，并将其保存到本地。
  2. 创建了一个DownloaderThread类，继承自threading.Thread，用于表示下载线程。每个线程负责下载一个文件。
  3. 创建了一个download_dir目录用于保存下载的文件。
  4. 遍历虚拟文件URL列表，为每个文件创建一个下载线程，并启动下载。
  5. 最后等待所有线程完成下载，并打印提示信息。

通过这个示例，您可以看到如何使用Python多线程实现一个简单的文件下载器，同时了解了如何在实际项目中应用多线程进行并发处理。请注意，对于大规模文件下载或需要更复杂逻辑的情况，可能需要进一步优化和改进。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.luyixian.cn/news_show_1027833.aspx

如若内容造成侵权/违法违规/事实不符，请联系dt猫网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

蓝桥杯刷题计划-洛谷-持续更新

蓝桥杯刷题计划-洛谷-持续更新

P8598 [蓝桥杯 2013 省 AB] 错误票据 题目 #include <bits/stdc.h> #define endl \n #define int long long #define INF 0x3f3f3f3f3f const int N 1000010; using namespace std; int arr[N]; signed main() {int N;cin>>N;int idx;while(cin>>arr[idx…
阅读更多...
数据库审计和安全

数据库审计和安全

互联网、云计算、物联网等新技术的应用&#xff0c;数据安全面临前所未有的挑战!我国信息安全已从终端安全、网络安全&#xff0c;发展到数据安全建设阶段。数据安全的核心是对“数据”全方位的安全防护&#xff0c;其产品及解决方案直接涉及国家和企业的核心机密 核心数据库存…
阅读更多...
win10微软拼音输入法 - bug - 在PATH变量为空的情况下，无法输入中文

win10微软拼音输入法 - bug - 在PATH变量为空的情况下，无法输入中文

文章目录 win10微软拼音输入法 - bug - 在PATH变量为空的情况下&#xff0c;无法输入中文概述笔记实验前提条件100%可以重现 - 无法使用win10拼音输入法输入中文替代的输入法软件备注END win10微软拼音输入法 - bug - 在PATH变量为空的情况下&#xff0c;无法输入中文 概述 在…
阅读更多...
ES6学习之路：迭代器Iterator和生成器Generator

ES6学习之路：迭代器Iterator和生成器Generator

迭代器 一、知识背景 什么是迭代器 迭代器就是在一个数据集合中不断取出数据的过程迭代和遍历的区别 遍历是把所有数据都取出迭代器注重的是依次取出数据&#xff0c;它不会在意有多少数据&#xff0c;也不会保证能够取出多少或者能够把数据都取完。比如斐波那契额数列&#…
阅读更多...
linux nginx配置ssl， 实现https+ip访问

linux nginx配置ssl， 实现https+ip访问

mkdir sslZhengShu openssl req -newkey rsa:2048 -nodes -keyout ca.key -out ca.csr openssl x509 -req -days 365 -in ca.csr -signkey ca.key -out ca.crt openssl genrsa -out server.key 2048 openssl req -new -key server.key -out server.csr 和之前输入一样即可 …
阅读更多...
Python基本运算

Python基本运算

1.逻辑运算符 第四行会有黄色的下划线是因为这个不是系统推荐的写法&#xff0c;系统推荐的是第五行的链式比较&#xff1b; 2.短路求值 对于and而言&#xff0c;左边的语句是false&#xff0c;那么整体一定是false,右边的表达式就不会进行计算&#xff1b; 对于or而言&…
阅读更多...
FTP 文件传输服务

FTP 文件传输服务

FTP连接 控制连接&#xff1a;TCP 21&#xff0c;用于发送FTP命令信息 数据连接&#xff1a;TCP 20&#xff0c;用于上传、下载数据 数据连接的建立类型&#xff1a; 主动模式&#xff1a;服务端从 20 端口主动向客户端发起连接 被动模式&#xff1a;服务端在指定范围…
阅读更多...
平台介绍-搭建赛事运营平台（3）

平台介绍-搭建赛事运营平台（3）

上文介绍了品牌隔离的基本原理&#xff0c;就是通过不同的前端和微服务来实现。但是确实很多功能是类似的&#xff0c;所以从编程角度还是有些管理手段的。 前端部分&#xff1a;前端部分没有什么特别手段&#xff0c;就是两个独立的项目工程&#xff0c;分别维护。相同的部分复…
阅读更多...
神策数据参与制定首份 SDK 网络安全国家标准

神策数据参与制定首份 SDK 网络安全国家标准

国家市场监督管理总局、国家标准化管理委员会发布中华人民共和国国家标准公告&#xff08;2023 年第 13 号&#xff09;&#xff0c;全国信息安全标准化技术委员会归口的 3 项国家标准正式发布。其中&#xff0c;首份 SDK 国家标准《信息安全技术 移动互联网应用程序&#xff0…
阅读更多...
2核4G服务器租用价格表，阿里云/腾讯云/华为云/京东云

2核4G服务器租用价格表，阿里云/腾讯云/华为云/京东云

当前最新2核4G云服务器多少钱&#xff1f;165元一年&#xff0c;30元3个月。阿里云2核4G服务器165元一年&#xff0c;30元3个月、腾讯云2核4G5M服务器165元一年、京东云2核4G云主机126元1年&#xff0c;华为云也提供2核4G配置云服务器。阿腾云atengyun.com整理2024年最新云服务…
阅读更多...
【NLP笔记】预训练+Prompt Tuning新范式之LLM时代（GPT3...）

【NLP笔记】预训练+Prompt Tuning新范式之LLM时代（GPT3...）

文章目录 概述GPT3 【参考链接】 一张图总结大语言模型的技术分类、现状和开源情况 大语言模型LLM微调技术&#xff1a;Prompt Tuning A Survey of Large Language ModelsThe Practical Guides for Large Language ModelsGPT3&#xff1a;Language Models are Few-Shot Learner…
阅读更多...
行存储与列存储：大数据存储方案的选择与优缺点分析

行存储与列存储：大数据存储方案的选择与优缺点分析

随着大数据时代的来临&#xff0c;数据的规模和复杂性呈指数级增长&#xff0c;传统的关系数据库已经不再适应这一巨大的存储量和计算要求。在大数据存储领域&#xff0c;行存储和列存储成为两种备受关注的存储方案。本文将探讨行存储和列存储的定义、优缺点&#xff0c;并结合…
阅读更多...
python pytz是什么

python pytz是什么

pytz模块常用于时区的转换&#xff0c;常常配合datetime一起使用。我们知道datetime除了data方法生成的时间是没有时区概念&#xff0c;其他如time、datetime等都是有时区概念&#xff0c;即指定了tzinfo信息。 >>> import datetime >>> datetime.datetime.n…
阅读更多...
骗子查询系统源码

骗子查询系统源码

源码简介 小权云黑管理系统 V1.0 功能如下&#xff1a; 1.添加骗子&#xff0c;查询骗子 2.可添加团队后台方便审核用 3.在线反馈留言系统 4.前台提交骗子&#xff0c;后台需要审核才能过 5.后台使用光年UI界面 6.新增导航列表&#xff0c;可给网站添加导航友链 7.可添加云黑类…
阅读更多...
C语言运算符和表达式——增1和减1运算符

C语言运算符和表达式——增1和减1运算符

目录 增1和减1运算符 一元运算符 前缀增1/减1运算符 后缀增1/减1运算符 前缀与后缀对变量和表达式的影响 稍微复杂一点的例子 增1和减1运算符的优缺点 增1和减1运算符 增1运算符&#xff08;Increment&#xff09; *使变量的值增加1个单位 减1运算符&#xff08;Decre…
阅读更多...
量化交易软件开发定制的步骤

量化交易软件开发定制的步骤

量化交易软件的定制开发是一个复杂而精细的过程&#xff0c;需要经过一系列步骤来确保最终交付的软件符合客户的需求并具有高度的可靠性和效率。以下是量化交易软件开发定制的主要步骤&#xff1a; 1. 需求分析与规划 在开始开发之前&#xff0c;首先需要与客户深入沟通&…
阅读更多...
【使用matlab绘制音频数据的时域图和频域图】

【使用matlab绘制音频数据的时域图和频域图】

使用matlab绘制音频数据的时域图和频域图 虚拟的数据集见附件 一、读取数据并设置参数 close all;clear all;colordef black 设置参数 filedir D:\Projects\MATLAB\data name 2024-03-28.txt % disp(filedir);Fs 8192; %采样率&#xff0c;即单位时间的样本个数&#xff…
阅读更多...
电脑如何更新AMD独立显卡驱动？安装官方驱动的方法来了！

电脑如何更新AMD独立显卡驱动？安装官方驱动的方法来了！

前言 有小伙伴在电脑上安装了独立显卡之后&#xff0c;总会用驱动人生或者驱动精灵等软件给独立显卡安装驱动。这种安装方法并不能说是错的&#xff0c;反正能用就行。 安装官方驱动的办法其实很简单&#xff0c;现在独立显卡一共就那么几家&#xff0c;最常见的显卡就是Nvidi…
阅读更多...
Java基于微信小程序的校园订餐小程序的实现，附源码和数据库

Java基于微信小程序的校园订餐小程序的实现，附源码和数据库

博主介绍&#xff1a;✌Java徐师兄、7年大厂程序员经历。全网粉丝13w、csdn博客专家、掘金/华为云等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;&#x1f3fb; 不…
阅读更多...
今日早报 每日精选15条新闻简报 每天一分钟 知晓天下事 3月29日，星期五

今日早报 每日精选15条新闻简报 每天一分钟 知晓天下事 3月29日，星期五

每天一分钟&#xff0c;知晓天下事&#xff01; 2024年3月29日 星期五 农历二月二十 1、 网络表演&#xff08;直播与短视频&#xff09;运营团体标准发布&#xff1a;应建立举报处置机制。 2、 商务部&#xff1a;中国决定终止对澳大利亚进口葡萄酒征收反倾销税和反补贴税。…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站 广利置业