在Python进行爬虫时，如果仅使用requests库打开某个网页，requests的session.cookies保存的cookies信息少得可怜，有时cookies甚至是空白！但浏览器里打开同一个网页，cookies信息非常详尽，比如浏览器的cookies保留了登录之后的状态信息，为了Python免登录快速进入某个网页，我们需要先将浏览器的网页cookies导出，然后在Python里使用requests库导入cookies。

第一步：浏览器导出文本格式的cookies.txt

在浏览器的地址栏里可以输入以下JS代码，快速导出当前页面的cookies为一个文本文件cookies.txt：

javascript: (function() { const a = document.createElement('a');  a.href = 'data:text/plain,' + document.cookie;  a.download = 'cookies.txt';  a.target = '_blank';  a.style.display = 'none';  document.body.appendChild(a);  a.click();  setTimeout(function() {    document.body.removeChild(a);  }, 100);})();

注意：不能直接粘贴以上的代码，否则浏览器会自动屏蔽掉开头的“javascript:”。

正确的姿势是：先在地址栏里输入或粘贴 javascript: （注意带冒号而且是半角的），然后再粘贴上面的JavaScript:后面的代码，敲回车，这样就能导出cookies.txt到指定的目录。

浏览器如果没有弹出保存文件的对话框，是因为浏览器设置了自动保存到默认的目录，如C:\Users\Administrator\Downloads\。如果需要浏览器每次保存文件都要咨询你保存到哪里，就要先在浏览器的设置里找到下面的设置：

 第二步：Python的requests库导入cookies.txt为字典格式

Requests库的session可以导入cookies，要求cookies必须是字典格式。

上面导出的cookies.txt只有一行，举个例子：

mediav={"_refnf":0};ID=ed5026a06; param={"user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)","token":""}; cookie_referer=; token=validation:token

这只是为了方便展示而举个简单的例子，实际的cookies字符串会比这个更长。

前辈的做法是按分号来分割字符串，然后用dict()转成字典格式。但遇到这个例子，user-agent值也有分号，如果简单地按分号分割，分割出来再转字典格式会出错。

我的做法是：按等号分割，然后再去除多余的分号。

with open('cookies.txt', encoding = 'utf-8') as f:cookies = f.read()
'''
载入cookies.txt，假设cookies内容是：'mediav={"_refnf":0};ID=ed5026a06; param={"user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)","token":""}; cookie_referer=; token=validation:token'
'''l1=cookies.split('=')
print(l1)'''
输出：
['mediav', '{"_refnf":0};ID', 'ed5026a06; param', '{"user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)","token":""}; cookie_referer', '; token', 'validation:token']
'''

可以看到 l1 列表的偶数元素混杂了键和值，需要去除多余的分号，就要把它们拆散，下面是我改进的代码：

def cookies_to_dict(cookies):l1=l2=[]l1=cookies.split('=')for i in l1:if ';' in i:# 如果字符串存在分号就从后往前找分号来分割ss = i.rpartition(';')# rpartition()的作用就是从后往前找，返回三个元素的元组# 第一个为分隔符左边的子串，第二个为分隔符本身，第三个为分隔符右边的子串# 因此这里使用extend一次添加ss[0]和ss[2]的子串l2.extend([ss[0].strip(), ss[2].strip()])# strip()的作用是清除子串左端和右端的多余的空格else:l2.append(i.strip())c_dict={}for i in range(0,len(l2),2):c_dict.update({l2[i]:l2[i+1]})return c_dictcookie_dict = cookies_to_dict(cookies)
print(cookie_dict)'''
输出：
{'mediav': '{"_refnf":0}', 'ID': 'ed5026a06', 'param': '{"user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)","token":""}', 'cookie_referer': '', 'token': 'validation:token'}
'''

这样cookies.txt就格式化成字典格式了。接下来就可以导入进requests的session里。

import requestsse = requests.Session()se.cookies.clear()
# 先清空Session的cookies，再导入cookies_dict
se.cookies.update(cookies_dict)