ChatGPT 背后核心技术的白话版

news/2024/3/19 12:33:08/文章来源:https://blog.csdn.net/peida/article/details/128963371

本文是关于ChatGPT 背后核心技术实现的一个通俗白话版,不涉及到的AI具体实现的技术细节哦。

在编排上增加了一些分割,内容具体如下:

LLMs(大型语言模型)

如果将ChatGPT比作是动物,它就像一只饥饿的毛毛虫一样,毛毛虫喜欢啃食树叶,并不断的长大。

LLMs(大型语言模型)也喜欢吞噬大量的文本数据,并利用这些数据来学习,然后变得更加的聪明,更加的强大。LLMs消耗的文本数据越多,它们对语言和词语之间的关系的理解就越深。

就如同自然界内,毛毛虫要变成美丽的蝴蝶一样,LLMs也会进化为强大的语言模型,它也可以理解并生成类似人类的反应。

语言模型被训练来预测一个序列中的下一个词,有两种常见的方法:下一个标记预测(next-token-prediction)和掩码语言建模(masked-language modeling)。

Next-token-prediction模型的样本,比如:

"The cat sat on the...."

Next-token-prediction模型将被训练来预测 “The cat sat on the....”之后的下一个单词。给定输入“The cat sat on the....”,模型可以预测“mat”、“couch”或“chair”。

Masked-language-modeling模型的样本为:

The quick brown [MASK] jumps over the lazy dog.

在这种情况下,模型将尝试预测缺失的单词“cat”。它通过使用周围单词的上下文来做到这一点,比如“quick”和“brown”,来理解它们之间的关系,并做出预测。Masked-language-modeling模型的目标是,训练模型以一种有意义,且语法正确的方式来填充句子中缺失的单词。

使用Long-Short-Term-Memory(LSTM)模型进行序列建模,只是预测序列中单词的一种方法,但它也有其局限性。

例如,模型不能给上下文中不同的单词赋予不同的权重,即使有时,就像在我们可爱的猫咪的例子中,一个单词可能比另一个单词更重要。而且输入数据是一步一步处理的,这意味着单词之间的关系可能是有限的。

Transformers

这就是为什么在2017年,Google Brain的一些聪明人想出了transformers。 Transformers与LSTM不同,因为它们可以一次处理所有的输入数据。他们使用了一种很酷的方法,称为 Self-attention,这意味着模型可以给输入数据的不同部分,赋予不同的权重。这使得单词之间的关系更加复杂,含义也更加的丰富。

GPT和Self-Attention GPT-1是openAI在2018年制作的第一个生成式预训练变压器模型。它在接下来的几年里不断发展,变成了GPT-2, GPT-3, InstructGPT,最后是ChatGPT。

在人类开始向ChatGPT提供反馈之前,GPT模型最大的变化是它们变得越来越快,这使得它们可以接受越来越多的数据训练。这让他们更有知识,能够做更广泛的任务。

像ChatGPT这样的GPT模型使用Transformer, Transformer有一个“编码器(encoder)”来处理输入,一个“解码器(decoder)” 来生成输出。编码器和解码器都使用 multi-head self-attention 理解单词和产生更准确的反应之间的关系。

Multi-head self-attention 就像给了机器人一种超能力,可以同时关注多个事情。

Self-attention 通过为每个令牌创建查询、键和值向量,然后使用softmax函数生成规范化权重,将令牌转换为表示其在输入序列中的重要性的向量。multi-head 机制来执行多次self-attention,使模型能够掌握输入数据中的复杂关系。

尽管GPT-3在自然语言处理方面带来了如此惊人的进步,但它在与用户意图一致方面仍有局限性。它可能会产生缺乏帮助的输出,对不存在或不正确的事实产生幻觉,缺乏可解释性,甚至有有毒或有偏见的内容,就像一个喝醉了的小机器人。

ChatGPT

ChatGPT是InstructGPT的衍生产品,它引入了一种将人类反馈纳入训练的新方法,以更好地使模型的输出与用户的意图保持一致。

OpenAI在2022年的论文中详细介绍了从人类反馈中强化学习(RLHF),并在这里进行了简化:

第1步:监督下的微调(SFT)模型

第1步是对GPT-3模型进行微调,雇用40个承包商来创建一个有监督的训练数据集,其中的输入有一个已知的输出,供模型学习。 从用户进入开放API的条目中收集提示信息,标注员写出适当的回应,以创建一个已知的输出。 然后用这个新的数据集对GPT-3模型进行微调,成为GPT-3.5,也被称为SFT模型。

为了最大限度地提高提示数据集的多样性,每个用户ID只允许有200个提示,任何带有长的普通前缀的提示都被删除。 此外,出于隐私安全的考虑,所有带有个人身份信息的提示都被删除。

标注员还被要求用最少的实际样本数据为类别创建示例提示,包括:

  • 简单的提示:任何随机的问题。
  • 少样本提示:具有多个查询/响应对的指令。
  • 基于用户的提示:对应于OpenAI API所请求的特定用例。

在生成响应时,标注员尽力推断用户的指令。论文称,提示请求信息主要有三种方式:

  • 直接:“跟我说说……”
  • 写一篇相同主题的文章,并举例说明。
  • 延续:完成一个故事的开头。

通过OpenAI API的提示和标签师的手写,监督模型有13000个输入/输出样本可以使用!

第2步:奖励模型

在这个过程的第2步中,模型被赋予了一种待遇。 训练一个奖励模型,以便它能学会如何对用户的提示做出最好的反应。 这个奖励模型将提示和响应作为输入,并给我们一个称为奖励的可爱的小缩放器值,作为输出。 有了这个奖励模型,我们就可以进行强化学习,让模型变得更棒,这就是强化学习。

为了训练奖励模型,我们请一些可爱的标注员们,将SFT模型的输出从最好到最差进行排序。我们把所有这些排名放在一起来训练模型,这样它就不会被所有的信息弄糊涂了。

我们曾经把每个组合作为一个单独的数据点,但这导致了过度拟合。 过度拟合就像一个只想玩自己的玩具的孩子,而不会注意其他东西。 为了防止过度拟合,我们给模型一个奖励,把数据点归为一个批次的数据点,这样它就能学会更灵活地适应新的情况啦。

第3步:强化学习模型

在第三步,是时候让强化学习模型大放异彩了。给模型一个提示,它就会摇尾巴来产生响应。响应是在模型在第2步中学习到的“策略”的帮助下做出的。这个策略就像一个秘密策略,模型想出了得到更多的奖励(又名最大化奖励)。然后根据步骤2中建立的奖励模型对模型进行奖励。这种奖励有助于模型的成长和进化,就像奖励让狗狗开心一样。

2017年,一些名叫Schulman等人的聪明人引入了一种有趣的方法来更新模型的策略,称为近端策略优化(PPO)。它使用SFT模型中称为每个令牌的Kullback-Leibler (KL)惩罚。KL发散就像比较两种不同的食物,它有助于确保响应与人类意图数据集没有太大差异,这样模型就不会因为追逐自己的尾巴而分心。

该模型在训练过程中通过将一些从未见过的数据放在一边进行评估。测试数据被用来检验该模型是否比旧的GPT-3模型更好。他们检查了它有多大帮助,有多真实,以及在多大程度上避免了刻薄。他们发现人们在85%的情况下更喜欢它,当被告知要友善时,它更真实,而不是刻薄。但当它被告知要刻薄时,它比GPT-3更刻薄。

写在最后

这就是你可爱的小朋友ChatGPT,产生的全部过程啦。

备注:本文翻译之外网,具体地址如下。

原文:https://medium.com/@anixlynch/behind-the-scenes-the-tech-behind-chatgpt-super-friendly-ver-2a214c4dc284

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_146.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

中科院ChatGPT Academic开源安装使用过程中的网络代理问题

关于中科院ChatGPT Academic中小白会遇到的问题(windows版)ChatGPT Academic 的项目开源下载安装(这里主要以windows为主)接下来就是大家会经常遇到问题的地方(网络配置和API的输入)这里就是针对小白的与代…

从ChatGPT到ChatCAD:基于大型语言模型的医学图像交互式计算机辅助诊断

基本信息 1. 标题:ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models. 2. 期刊:arXiv 3. IF/JCR/分区:无 4. DOI:arXiv:2302.07257 5. 作者:沈定刚教授团队 1. 导读…

国内首个ChatGPT镜像系统?辅助写代码真方便

hatGPT 美国OpenAI研发的聊天机器人程序,于2022年11月30日发布。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚…

ChatGPT专业应用:生成新闻稿

正文共 949 字,阅读大约需要 4 分钟 媒体工作者必备技巧,您将在4分钟后获得以下超能力: 生成新闻稿 Beezy评级 :A级 *经过寻找和一段时间的学习,一部分人能掌握。主要提升效率并增强自身技能。 推荐人 | Kim 编辑者…

一点就通——ChatGPT翻译润色的最新简明使用方案

prompt使用推荐 1.翻译prompt 翻译主要有两种,第一种是我们的老朋友厦门大学潘王雨昂(个人主页:pwya.github.io)所编写使用的prompt,第二种是我自己改造的。 1.我希望你能担任英语翻译、拼写校对和修辞改进的角色。…

全网最详细中英文ChatGPT-GPT-4示例文档-TL;DR文档快速总结应用从0到1快速入门——官网推荐的48种最佳应用场景(附python/node.js/curl命令源代码,小白也能学)

从0到1快速入门TL;DR文档快速总结应用场景Introduce 简介setting 设置Prompt 提示Sample response 回复样本API request 接口请求python接口请求示例node.js接口请求示例curl命令示例json格式示例其它资料下载ChatGPT是目前最先进的AI聊天机器人,它能够理解图片和文…

事关ChatGPT账号封禁的强烈忠告

文 / 韩彬(微信公众号:量子论) 这两天有不少朋友加我微信(hanbin266),咨询ChatGPT账户被封了,怎么办? 我在《真实发生了,滥用这种场景,ChatGPT账号被封禁》一…

ChatGPT对测试行业的影响(附GPT使用实战展示)

引言: 时代的巨轮缓缓碾过,顺应时代才能胜者为王 文末有ChatGPT应用实战成果展示 ChatGPT之我见 测试的影响 正如上篇文章的推文所述,AI的发展让我们所有人都始料未及,就好像雨后春笋一样,各种各样的AI技术顺势而…

大学生对chatGPT的认知和使用

新一代对话式人工智能chatGPT在全球范围狂揽1亿名用户,不止于科技界破圈,更成为街头巷尾的谈资。 chatGPT能干什么? https://openai.com/blog/chatgpt/ chatGPT官网 写解决方案编写代码 说笑话 个人体验: 实用性强,相…

基于小程序制作一个ChatGPT聊天机器人

在AI技术日新月异的浪潮中,将ChatGPT与实战开发相结合,制作一个随身携带的聊天机器人,紧贴前沿的同时稳固基础。 一、前言1.1、什么是ChatGPT1.2、什么是文本完成二、API2.1、ChatGPT官网申请API所需要的key2.2、搭建API2.3、创建控制器及动作方法三、小程序3.1、页面创建3.…

使用Laf云平台,两步将ChatGPT接入微信公众号

使用Laf云平台,两步将ChatGPT接入微信公众号 最近很火的ChatGPT可以说已经满大街可见了,到处都有各种各样的体验地址,有收费的也有免费的,总之是五花八门、花里胡哨。 所以呢,最近我就在研究怎么才能方便快捷的体验到…

妈妈生了我,ChatGPT淘汰了我爸爸

当我还在老妈肚子的时候,经常听见老爸老妈讨论我该叫什么名字,那时他们争吵的火力十足,我在里面可真是干着急,但是因为不知道我是男是女,所以讨论了半天,最终也是无疾而终。 等我出生以后,老爸那…

手把手教你怎么搭建自己的ChatGPT(含源码)

这篇文章教你怎么不懂技术也可以搭建自己的chatGPT,内容都是一个字一个字的手打的,可能要错别字,需要技术支持私信老王。 提供本文你可以学到: 1、如何挑选、购买自己的服务器 2、如何注册自己的域名 3、如何安装服务器的软件…

关于ChatGPT API,你需要知道的…(截止到230303)

1. ChatGPT 的 API 已经推出 从官网 https://platform.openai.com/docs/guides/chat 和 https://platform.openai.com/docs/models/gpt-3-5 可以看出:gpt-3.5-turbo 已经正式上线。 GPT-3 快速入门:前端调用 GPT-3 API、Python 调用 GPT-3 APIopenAI 模…

零基础解读ChatGPT:对人类未来工作是威胁还是帮助?

摘要:火到现在的ChatGPT到底是什么?它背后有哪些技术?对于我们的工作和生活会有啥影响?快来一起了解吧~本文分享自华为云社区《零基础解读ChatGPT:对人类未来工作是威胁还是帮助?》,作者&#x…

「部署全流程」 中科院学术专业版chatGPT来啦

前言 上周末的时候,一位开发者将名为「ChatGPT Academic」的项目开源至 GitHub。 仅用了短短一两天,该项目 Star 数便增长到了 21k,成为 GitHub 上又一个基于 ChatGPT 构建的热门开源项目。 这个项目就是《中科院学术专业版 ChatGPT》。 …

普通用户如何在电脑和手机上极速体验最强AI——Chatgpt?

事先说明~这是我个人使用成功的方法,一时兴起从吃瓜群众变成尝鲜小白,花半天研究了点教程,踩坑上岸过后整合成的,可能会有漏洞或者写得不对的地方,欢迎有大佬交流指正!总之希望能帮助到感兴趣的友友~ 注&am…

重磅!openAI开放chatGPT模型APIgpt-3.5-turbo,成本直降90%!

ChatGPT API,千呼万唤终于来了。 chatGPT不仅开放 成本还直降90%! 全新API基于“gpt-3.5-turbo”模型,其基础是支持ChatGPT的GPT 3.5模型,取代了此前的“text-davinci-003.”。这款名为“gpt-3.5-turbo”的模型,定价…

你的好帮手,优质chatgpt镜像网站

众所周知的原因,现在国内访问chatgpt和newbing两个工具都比较困难。但是作为我们生产力提升的优质软件,我个人认为这种大语言人工智能模型帮助我们的工作是未来的一个大趋势。在这里我准备了几个好用的chatgpt免费镜像网站供大家使用。ChatGPT Bot (xeas…

Android Studio 插件 ChatGPT

一、为什么要在AS里使用ChatGPT 在AS里使用ChatGPT可以辅助生成一些重复性、解析类的代码,还有一些功能性问题查找,具体需要个人探索。官网使用经常性出现断连,需要刷新浏览器,而且经常历史列表丢失(个人是这样的&…