开发自己私有chatGPT(六)训练自己的chatGPT openai模型,微调模型,列出微调任务,使用自定义模型教程...

news/2024/4/27 14:31:44/文章来源:https://blog.csdn.net/taoshihan/article/details/129053834

在开发私有chatGPT的时候,如果我们使用官方的基础模型,那么回答的问题可能不符合我们自己的预设答案

现在就是通过官方的训练方法,提供一部分数据进去,训练出自己的私有模型

按照工具

pip install --upgrade openai

 设置环境变量

export OPENAI_API_KEY="自己的key"

准备本地数据

{"prompt": "你是谁", "completion": "我是唯一客服小助手"}
{"prompt": "你会做什么", "completion": "我能帮你解答使用唯一客服时的问题"}

格式化数据

openai tools fine_tunes.prepare_data -f /tmp/json.txt

如果报错

执行

pip install pandas

然后继续执行,他会给出一些格式化的建议

 翻译一下

正在分析。。。-根据您的文件扩展名,您提供了一个文本文件
-您的文件包含3个提示完成对。一般来说,我们建议至少有几百个例子。我们发现,示例数量每增加一倍,性能就会线性增加
-“completion”列/键不应包含空字符串。这些是行:[2]
-所有完成都以前缀“{”prompt“:”开头你`. 大多数情况下,您应该只将输出数据添加到完成中,而不添加任何前缀
-完成应该以空白字符(``)开头。由于我们使用的标记化,这往往会产生更好的结果。看见https://beta.openai.com/docs/guides/fine-tuning/preparing-your-dataset有关详细信息根据分析,我们将采取以下措施:
-[必要]您的格式“TXT”将转换为“JSONL”`
-[必要]删除1行空白完成符
-[推荐]删除前缀“{”prompt“:”你` 来自所有完成[Y/n]:
-[推荐]在完成开头添加空白字符[Y/n]:您的数据将写入新的JSONL文件。继续[Y/n]:将修改后的文件写入`/tmp/json_prepared.jsonl`
随便看一看!
现在在微调时使用该文件:
>openai api fine_tunes.create-t“/tmp/jsonprepared.jsonl”
确保包含`stop=[“”}“]`,以便生成的文本在预期位置结束。
一旦你的模型开始训练,训练一个“curie”模型大约需要2.47分钟,而“ada”和“babbage”则需要更少的时间。在您之前,每个作业排队大约需要半小时。

创建一个微调模型

基于达芬奇模型,创建一个自己的模型

openai api fine_tunes.create -t 数据文件路径 -m 基础模型

 这个时候会让等几分钟或者几个小时哦

列出所有微调任务的列表

openai api fine_tunes.list

 查看微调任务的状态,ID就是上面列表的ID,可以看到正在运行中

openai api fine_tunes.get -i 任务ID

 当任务完成以后,fine_tuned_model 字敦会有模型名称

后面就可以使用这个模型了,可以看到模型名称

 使用模型

openai api completions.create -m  模型名称  -p 提示

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_84.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT提问指令大全(建议收藏)

在使用 ChatGPT 时,当你给的指令越精确,它的回答会越到位,举例来说,假如你要请它帮忙写文案,如果没给予指定情境与对象,它会不知道该如何回答的更加准确。 一、写报告 1、我现在正在 [报告的情境与目的]。…

Github的开源项目ChuanhuChatGPT和gpt-academic,专用于学术拓展ChatGPT

目录1 前言2 Chuanhu ChatGPT的安装部署3 ChatGPT学术优化3.1 主要功能3.2 下载软件安装运行3.3 用docker运行3.4 自定义快捷键(类似function)3.5 配置代理4 讨论1 前言 专用于科研工作的拓展Tool,优化Paper润色、markdown、Tex公式双显示、…

【ChatGPT】参加计算机科学考试(GPT-4对比GPT-3.5)

ChatGPT真的“无敌”了吗???? 当【ChatGPT】参加大学生计算机科学考试1.简介2.介绍3.ChatGPT(GPT-4对比GPT-3.5)参加计算机考试实验4.实验设计4.1实验介绍4.2 对ChatGPT提出问题4.3测试结果5. GTP-46. 讨论1.简介 我们…

ChatGPT调研

ChatGPT调研背景:ChatGPT简单介绍FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERSFine-Tuning Language Models from Human PreferencesLearning to Summarize with Human FeedbackTraining language models to follow instructions with human feedbackChatGPTC…

ChatGPT在智能投顾领域应用探讨

ChatGPT上线不到一周用户突破100万,据报道称,ChatGPT开发者OpenAI预计ChatGPT明年年营收将会达到2亿美元,2024年营收将达到10亿美元。业内也都是ChatGPT的溢美之词,关于其实现的探讨已有不少。对其在具体场景中的应用探讨不多&…

如何使用自己的chatgpt

怎么开始chatgpt 对普通用户来说可以简单认为就是一个智能聊天机器人,比以往的智能机器人更加强大。要使用ChatGPT要做哪些准备工作呢 使用的工具 一个google邮箱账号 sms 接码平台 如何开始 首先点开 chatgpt官网 用google账号注册 然后就是短信验证 由于没有…

中科院学术专用版 ChatGPT,开源了!

公众号关注 “GitHubDaily”设为 “星标”,每天带你逛 GitHub!周末的时候,一位开发者将名为「ChatGPT Academic」的项目开源至 GitHub。仅用了短短一两天,该项目 Star 数便增长到了 1800,成为 GitHub 上又一个基于 Cha…

使用简单的编程为您的网站构建具有自定义知识的类似 ChatGPT 的聊天机器人

与 ChatGPT 类似,但其形式可以插入您的网站,并通过将基本的“老派”NLP 与尖端的 GPT-3 相结合,使用任何类型的定制信息进行扩展。 介绍 在 2022 年底,您很可能已经听说过 ChatGPT,甚至通过使用它见证了它的强大。ChatGPT 是一项革命性的人工智能技术,它允许用户与非常智…

快速集成ChatGPT,请收藏好这份入门指南(Python版)

ChatGPT 是 GPT-3 语言模型的变体,专为会话语言生成而设计。如果要在 Python 中使用 ChatGPT,您需要安装 OpenAI API 客户端并获取 API 密钥。在本文中,我们将设置一个简单的示例,教您在 Python 程序中使用 ChatGPT 所需的确切步骤…

ChatGPT和New Bing作为AI界新宠,两者有何异同

ChatGPT和New Bing是两个不同的实体,它们之间有一些区别也有一些相似之处。我先说说各自的特点,再汇总说说两者的异同点。 ChatGPT的特点: ChatGPT是一个基于神经网络的自然语言处理模型,能够自动生成自然语言响应。ChatGPT的模型…

我让API版的ChatGPT长了记性!

OpenAI的API接口是基于请求/响应模式的,每次请求的上下文是独立的,不会被记录和保存。因此,ChatGPT机器人无法记录和理解上一次请求的内容,也不会把上下文信息带入到下一次请求中。请看下面我通过API调用的方式和ChatGPT的聊天记录…

关于Chatgpt的所思所悟

关于最近看到的各种有关chatgpt的热火朝天的讨论、以及自己的所思所悟。我也有一些关于chatgpt的看法,随便写写。1、chatgpt 是类似于一种模电转数电的进步。模电转数电是指我们自然届的一些连续信号被采样后可以作为计算机等机器可以处理的离散值。说起来有点玄乎&…

沙龙|AI iPhone时刻来临!如何获得登上类ChatGPT的船票?

出品|网易科技数字星球作者|袁宁编辑|丁广胜兴奋麻了!还没从ChatGPT带来的震撼中回过神来,过去几天GPT-4、Microsoft 365 Copilot、Midjourney V5、Google PaLM API、文心一言相继引爆,互联网巨头纷纷抢滩入…

ChatGPT接入微信,让互动更简洁

目录 引言 关于注册 关于部署 tips: 引言 之前在网上冲浪的时候,看到了一位大佬发布的文章。其中介绍了如何进行ChatGPT部署至微信。有两种方法,一种适合有技术的,还有一种适合小白部署。(那我部署的当然是小白的&…

聊天机器人ChatGPT刷爆网络,我们与它聊了聊量子计算

进入12月,几乎全网都在为OpenAI开发的AI聊天机器人ChatGPT疯狂。从“找不到对象怎么办?”、“如何考上清华大学?”,到“预测2022世界杯结果”、“写出俄罗斯方块代码”,甚至在谷歌工程师Zac Denham的一步步诱导下&…

全网最详细中英文ChatGPT-GPT-4示例文档-从0到1快速入门多语种翻译应用场景——官网推荐的48种最佳应用场景(附python/node.js/curl命令源代码,小白也能学)

List item 从0到1快速入门多语种翻译应用场景Introduce 简介setting 设置Prompt 提示Sample response 回复样本API request 接口请求python接口请求示例node.js接口请求示例curl命令示例json格式示例其它资料下载ChatGPT是目前最先进的AI聊天机器人,它能够理解图片和…

ChatGPT写作:快速生成优质博客文章的神器

今天我们将聊聊如何使用ChatGPT快速生成优质的博客文章,并且在短时间内提高写作效率。 首先,让我们简单介绍一下ChatGPT。它是一种基于深度学习的自然语言处理模型,能够自动地生成人类般的文本。通过训练大量的文本数据,ChatGPT可…

AI 在编程、写作、绘画领域的占卜:从 GitHub Copilot 到 ChatGPT,再到 Stable Diffusion...

PS:就当前节点(2023.02.22)而言,我虽然研究过一段时间传统的机器学习,但是并不擅长深度学习等领域,所以很多 AI 领域相关的词汇,我是不擅长的,只为自己总结一下,方便在未…

爆火出圈的chatGPT

🏆今日学习目标: 🍀ChatGPT ✅创作者:林在闪闪发光 ⏰预计时间:30分钟 🎉个人主页:林在闪闪发光的个人主页 🍁林在闪闪发光的个人社区,欢迎你的加入: 林在闪闪发光的社区…

chatgpt一键生成 PPT

在即将过完的 12 月,相信很多人都在忙一件事:年终工作汇报。就像那句话说的:职场人,不是在做 PPT,就是在做 PPT 的路上……职场人苦 PPT 久矣。想做出一份优秀的 PPT,确实难点颇多:要构思亮眼的…