AI 在编程、写作、绘画领域的占卜:从 GitHub Copilot 到 ChatGPT,再到 Stable Diffusion...

news/2024/3/19 13:42:53/文章来源:https://blog.csdn.net/gmszone/article/details/129134524

PS:就当前节点(2023.02.22)而言,我虽然研究过一段时间传统的机器学习,但是并不擅长深度学习等领域,所以很多 AI 领域相关的词汇,我是不擅长的,只为自己总结一下,方便在未来更新自己的认识。

内容主要是结合我过去擅长的编程、写作、绘画展开的:

  1. 绘画:text 2 image。结合 Stable Diffusion 讲述一张图片的演化。

  2. 写作:chat 2 article。结合 ChatGPT 讲述围绕特定主题的内容创作。

  3. 编程:comment 2 code。结合 GitHub Copilot 如何加速日常的编程活动。

总体来说,AI 相当于美国队长的实力,遇强则强,遇弱则弱,关键其实在于 Prompt。

Prompt 是一种文本输入方式,用于与自然语言处理模型(例如GPT)进行交互。Prompt 是一个短语或一句话,可以启动模型并产生与 Prompt 相关的输出。这个输出可以是一个单独的单词、一句话,或者是一段完整的段落。它可以控制模型的行为,使其产生特定的结果。

所以,如何更好地完善 prompt,实现 prompt 工程就是:如何更好地使用 AI 的基础。所以,在这篇文章里,我将介绍:

  1. 用 text 2 image 来展示如何演进 prompt

  2. 用 text 2 article 来展示充足 prompt 的优点

  3. 结合 GitHub Copliot 来实现 prompt 完成工作

PS:感谢我老婆提供的照片。

图形生成:如何描述一张照片??

人类需要思考第一个问题:如何描述一张照片?在不关心感受的情况下,我们关注于主体、背景、颜色、构图等。

现在,我们脑海中出现一个场景:

e4ad3d614c2c792403812ee2438f62d5.jpeg

接着,用文本来抽象它。在这里,我结合一下 Stable Diffusion 来讲述一下过程。

文本描述:第一个示例

生成 prompt:

  • phodal:  我想写一段话描述一张照片,帮我美化一下:一年轻女子穿着裙子,背对着镜头,在海边看着日落,太阳已经到地平线下面了,她的头发在风中飘动。

  • ChatGPT: 这张照片中的场景令人心醉,一位年轻女子穿着一条裙子,站在海边,背对着镜头,凝视着地平线下的夕阳。太阳已经沉入了海面,一片金黄色的光芒在海面上弥漫,照亮了整片海洋,仿佛这个时刻被定格在了时间的某个角落里。女子的头发随着微风轻轻飘动,轮廓被余晖映照得柔和而温暖。她的目光凝视着远方,仿佛在思考着生命的意义和无尽的未来。这张照片中蕴含着一种深刻的内涵,让人感受到时间和自然的力量,也让人思考着自己在这个宏大而美丽的世界中的角色和意义。

如果转换成英语的话:

A young woman wearing a flowing dress stands at the edge of the sea, her back turned to the camera as she gazes upon the glow of the setting sun. The ocean stretches out before her in all its grandeur, and the sun slowly sinks below the horizon, casting a golden light over the water. The woman's hair sways gently in the breeze, her features softened by the warm hues of the sunset. Her gaze is fixed on the distance, as if pondering the meaning of life and the endless possibilities of the future.

重复了 N 次之后,你会得到你想要的成功的照片,当然也会有失败的出现(因为没有配置 negative prompt 过滤失败的情况):

bfdc13b621a0981c71173ad72d55bc85.jpeg

但是,熟悉各种搜索引擎的关键词的或者 NLP 的你,肯定知道,上面的大部分可能是废话,可以减化为如下的词,并添加一些专用的模型词汇,如 black hairhand before bodyno handbodycon dress

women back view without face, flowing dress, edge of the sea, backview, back turned to the camera, upon the glow of the setting sun, sun below the horizon, golden light over the water, hair sways gently, Chinese style clothes, black hair,

随后,添加一些反向 prompt,意思是不要这些内容,诸如于 AI 不擅长的: bad hands、 morbid 等等。随后,不断调整 prompt,比如生成更好的 Prompt:

82dbd9a39ac24f45892b651c1976cce0.png

不过,你可能还是不满意。

由于生成的姿势是随机的、无法控制,所以我就引入了 ControlNet 插件 ——用来实现骨骼绑定、精准控线、线稿上色、依据深度图结构透视精准重绘等。现在,就能结合我们做的创作来完善生成的图形,诸如于我们绘制草图、或者输入一张原始图片,就可以生成我们预期的效果:

最后,生成的图片如下:

6267aa2e812dba1bf7052f9e355c7478.png

在我写完文章的时候,又修改了一下 prompt:

women back view without face standing on the sandy beach, bodycov full skirt, edge of the sea, backview, back turned to the camera, upon the glow of the setting sun, black hair, sunset red to blue gradient sky

对应的 negative prompt 是:

(((simple background))),monochrome ,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres, bad anatomy, bad hands, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual, hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions, (((missing arms))),(((missing legs))), (((extra arms))),(((extra legs))),pubic hair, plump,bad legs,error legs,username,blurry,bad feet

效果凑合着,还是不错的。然后,我们可以做更多的尝试,配合一下参数调整(俗称炼丹):

00a6b98ff68aaf27ea4b45ab08fd8a9f.png

也可以结合 inpaint 对失真的部分进行修复。

更多的模型集:与二次元世界的照片(18 禁)

众所周知,AI 的生成质量是与模型息息相关的,所以好的质量需要有好的模型。

我们可以在 https://civitai.com/ 上找到更多的模型,不过因为年龄限制等原因,只建议你在安全的场所打开,不建议在公共场所打开。

真实的人物由于版权的种种原因,所以这个软件在二次元世界相当的流行。如下是常见的提示词来描述模型的质量,里面可能包含一些不适词语,为了体现真实世界,这里并不打算屏蔽。

提示词 :

modelshoot style, (wavy blue hair), ((half body portrait)), ((showing boobs, giant boobs, humongous breasts)), (( beautiful light makeup female sorceress in majestic blue dress)), photo realistic game cg, 8k, epic, (blue diamond necklace hyper intricate fine detail), symetrical features, joyful, majestic oil painting by Mikhail Vrubel, Atey Ghailan, by Jeremy Mann, Greg Manchess, WLOP, Charlie Bowater, trending on ArtStation, trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, photorealistic, black background, epic volumetric lighting, fine details, illustration, (masterpiece, best quality, highres), standing in majestic castle

负面提示词

(((simple background))),monochrome ,lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres, bad anatomy, bad hands, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual, hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions, (((missing arms))),((( missing legs))), (((extra arms))),(((extra legs))),pubic hair, plump,bad legs,error legs,username,blurry,bad feet, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

足够丰富的描述,可以帮助 AI 理解描述我们的需求:

a8943ebe802356af780f0660d522933a.png

上图为 AI 生成,也是同样场景下,不屏蔽的结果 —— 其原因是大部分的模型库加入了很多 18 禁的内容。

小结

现在,让我们来思考一下,如何描述一张带人物的图片:

  • 详细的描述词。

  • 人物的姿势。

  • 丰富的模型。

  • 反复修改的参数。

  • 持续迭代。(基于 inpaint 等进行修改)

那么,文章呢?

文章:如何围绕特定主题思考?

结合一下先前 Stable Diffusion 的无数次的失败经验,我们应该先找好一个合适的框架来跑 ChatGPT。

在编写内容的内容,我们会有各种思路和原则:STAR、金字塔原理、5W1H等等。我们可以以 STAR (Situation(情景)Task(任务)、Action(行动)和 Result(结果))可以作为与 ChatGPT 会话的基础:

  1. 描述一个情境或背景,使读者对问题有更好了解。

  2. 说明任务或目标,告诉读者需要完成什么。

  3. 描述你所采取的行动,例如使用什么方法、工具、策略等等。

  4. 解释结果,包括遇到的挑战和取得的成果。

这样,对于我们展开思路会有一些帮助。

情境:如何用 ChatGPT 写一篇文章,以如何用 ChatGPT 写一篇文章?

phodal:我想写一篇文章,主题是《如何用 ChatGPT 写一篇文章,以如何用 ChatGPT 写一篇文章 》

示例:

d9fcd6931d8696dadfd06fdee50a465e.png

但是,这样的内容并非我们想要的。

而在这个标题里,其实 ChatGPT 已经理解了,如何写一篇文章,换作是一个冷门的话题,他就不知道了。在此时,我们需要构建一个更丰富的上下文:

707e1960022f47fbb02db5f3a558f07e.png

在这时,ChatGPT 给出的步骤依旧是错的,我们需要继续纠正。所以,我们可以考虑在一开始给一个完整的上下文:

构建更完整的上下文

对于 ChatGPT 来说,我们需要明确的 prompt::

我想写一篇文章,主题是《如何用 ChatGPT 写一篇文章,以如何用 ChatGPT 写一篇文章》,文章的大纲是:
1. 先用 100 字介绍一下 ChatGPT
2. 以 Julia 作为可以以具体的案例为例,介绍如何使用 ChatGPT 写一篇博客大赛的参赛作品。这包括如何确定主题、如何撰写开头和结尾、如何组织文章结构等等。主题是:《Julia Dataframe 在大数据分析领域的使用》,大纲中包含:用 200 字介绍一下 Julia 语言历史;介绍如何使用 DataFrames.jl,并有个代码示例;对比一下 Python Pandas、Apache Spark Dataframe;小结。
3. 对本文的内容进行总结,并再次强调使用 ChatGPT 进行写作的好处。
帮我写一篇文章?

如此一来,我们提供的上下文就会更加准确,就可以看到一个范例:

f3a8f5ed8299013ec49971093011f465.png

基于这个范例,可以思考我们的内容如何编写。

构建框架(frameworks)

ChatGPT 本身构建了一个框架,我们可以再输入一个有用的框架,以构建简单的反馈回路。于是,我开始教他 DDD,然后相互学习:

91e9d86a78b070900aff4fd0b2b33b49.png

不过,ChatGPT 和上面的图片一样,经常丢失一些上下文。

phodal: 在这个 TicketOrder 聚合里,应该包含哪些 API ?

ChatGPT:在 TicketOrder 聚合里,可以包含以下一些 API:

  1. createOrder():创建一个新的订单,可以接收顾客信息、场次信息、座位信息等参数,并返回一个唯一的订单号。

  2. cancelOrder(orderId):取消某个订单,需要提供订单号。

  3. getOrder(orderId):获取某个订单的详细信息,需要提供订单号。

  4. reserveSeats(showTimeId, seatIds):在某个场次中预留座位,需要提供场次号和座位号。

  5. confirmOrder(orderId):确认订单,此时座位被锁定并且订单状态被改为已确认。

  6. payOrder(orderId, paymentInfo):支付订单,需要提供订单号和支付信息。

  7. refundOrder(orderId):退票,需要提供订单号并且只能在订单状态为已确认时进行。

  8. updateOrder(orderId, updateInfo):修改订单信息,可以更新顾客信息、场次信息、座位信息等,需要提供订单号和更新内容。

基本的 API 可以满足电影院订票业务的需求,但具体实现还需要根据业务场景和需求进行细化和调整。

其它小建议:

相似的,与 Stable Diffusion 类似的是,AI 生成的内容经常出现各种问题,所以我们要注意:

  1. 保持自然的表达。ChatGPT 能够生成流畅的语句,但有时可能会出现奇怪或不合适的表达。在使用 ChatGPT 进行写作时,需要注意保持自然的表达方式。

  2. 适时修正错误。如果 ChatGPT 生成的内容不准确或有错误,应该及时进行修正,以保证文章的准确性和可读性。

  3. 多次修改和调整。ChatGPT 的输出结果虽然会自动进行语法纠错和编辑,但是为了保证文章质量,还是需要经过多次修改和调整,不断完善文章结构和内容。

  4. 保持简洁明了。在使用 ChatGPT 进行写作时,需要尽量保持简洁明了,避免使用过于复杂的句式和词汇,以便读者更好地理解文章内容。

  5. 注重原创性和独特性。尽管 ChatGPT 能够生成大量的文章,但是为了在博客大赛中脱颖而出,还需要注重文章的原创性和独特性,尽可能地突出自己的风格和思想。

考虑到 ChatGPT 的代码并不那么准确,让我们使用 GitHub Copilot 生成更多的内容。

代码生成:GitHub Copilot

GitHub Copilot 是 GitHub 2021 年 8 月推出的一个 AI 代码生成工具,它可以根据你的代码,生成更多的代码:

437f888597d9fd2eb209fbdab582abb7.png

所以,对于 Markdown 本身来说,它也能提供一些帮助。当然了,在这方向它没有 ChatGPT 那么强大,经常会出现一些奇怪的重复代码。

但是,也并非不可用,我们可以使用它来生成一些代码片段,以便于我们进行修改。

完整示例:DDD + ChatGPT + Copilot

如结合 Chat GPT 我们可以完成代码的前置设计(当然有些不靠谱):

118835e9b3ebb73bf04a57332136c3a6.png

复制生成的 API,写行注释告诉 Copilot: convert to markdown table,然后我们就有了:

884e92a0cd47d38f5ac14f58048f7265.png

接下来,我们可以使用 Spring + Copilot 来生成一些代码片段,以便于我们进行修改:

43f8f46f5b02a78872d3189f8de9874d.png

在有足够类相关信息的情况下,诸如于,我们提供一个注释:

@PostMapping
fun createTicketOrder(@RequestBody ticketOrder: TicketOrder): String {
// check the schedule is valid, the seats are available, then create the order
}

它生成的代码会更加准确:

d0bb657e244af2e9d7d6aa282f2874d0.png

而如果我们添加了对应的 Exception 的处理注释: check the schedule is valid, the seats are available, then create the order, if the schedule is not valid, throw NotScheduleAvailableException,代码进一步转化为:

b4c249bc6f7ba2c4a82c0e6a810e1678.png

在另外一些场景下,如果你的函数名和参数名都是英文,那么 Copilot 生成的代码也会更加准确:

965a493e7c350eb31d2566517bdb484d.png

而在单元测试的场景下,Copilot 更加强大和智能,它能够根据你的测试代码,生成更多的测试代码。

其它:代码生成开源模型

我也尝试了下 Saleforce 的代码模型:https://huggingface.co/Salesforce/codegen-6B-mono,但是不能在我的 MBP 上跑上来,有些遗憾。

总结:AI 就像占卜

你可能无法预期输出的是啥,总会有各种惊喜。

而其实,与 AI 的 prompt 相似的是:和人类聊天的时候,我们也需要提供足够的上下文。所以,你需要一下 ChatGPT,他并不总是能理解你的上下文。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_61.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

爆火出圈的chatGPT

🏆今日学习目标: 🍀ChatGPT ✅创作者:林在闪闪发光 ⏰预计时间:30分钟 🎉个人主页:林在闪闪发光的个人主页 🍁林在闪闪发光的个人社区,欢迎你的加入: 林在闪闪发光的社区…

chatgpt一键生成 PPT

在即将过完的 12 月,相信很多人都在忙一件事:年终工作汇报。就像那句话说的:职场人,不是在做 PPT,就是在做 PPT 的路上……职场人苦 PPT 久矣。想做出一份优秀的 PPT,确实难点颇多:要构思亮眼的…

【创作赢红包】ChatGPT引爆全网引发的AI算力思考

文章目录前言AIGC时代:万物皆可AI生成“大厂”纷纷入局算力各位后面有AI、大数据模型学习做研究需求或购买阿里云、腾讯云、华为云 服务器部署的 可以私信我 ,有一定的优惠!前言 随着 ChatGPT的强势推出,智能聊天机器人ChatGPT热…

【记录】ChatGPT|近期三次更新一览(更新至2023年2月3日)

如果你还没有使用过ChatGPT,可以先看看我的上一篇文章:【记录】ChatGPT|使用技巧与应用推荐(更新至2023年2月8日)。   1月11号晚上,ChatGPT突然很多人都无法登录,包括我。我当时以为是它的服务…

人工智能里程碑ChatGPT之最全详解图解

人工智能里程碑ChatGPT之最全详解图解1. ChatGPT的前世今生1.1 ChatGPT演化路线1.2技术推进路线2.ChatGPT主要功能及应用领域2.1 主要功能2.2 应用领域3.1ChatGPT原理3.1 ChatGPT基石之Transformer3.1.1Transformer结构图3.1.2 Transformer结构图* 关于Transformer的详细原理请…

火爆全网的ChatGPT让AI回答你的任何问题!国内免费用!!

ChatGPT,最近全网最火爆的顶流话题,不管数码爱好者、新闻媒体,还是投资客,无一不在关注着这一牛掰的人工智能项目 它是由OpenAI实验室推出的一款AI工具,拥有极其智能的对话能力,可以回答任何你提出的问题&…

AIGC最新综述:从 GAN 到 ChatGPT 的AI生成历史

一句话总结本综述全面回顾了生成模型的历史、基本模型组件、AIGC从单模态交互和多模态交互的最新进展,以及模态之间的交叉应用,最后讨论了AIGC中存在的开放问题和未来挑战。摘要最近,ChatGPT 与 DALL-E-2 和 Codex 一起受到了社会的广泛关注。…

【关于ChatGPT的30个问题】9、ChatGPT的准确性如何?/ By 禅与计算机程序设计艺术

9、ChatGPT的准确性如何? 目录 9、ChatGPT的准确性如何? ChatGPT的准确性评估

使用ChatGPT有风险吗?国内镜像和GPT微信机器人使用

文章目录一、使用ChatGPT有风险吗?二、国内使用为什么收费?三、使用镜像的好处?四、我的镜像4.1 第一个镜像4.2 第二个镜像4.3 第三个镜像4.4 GPT微信机器人4.4 隐私保护一、使用ChatGPT有风险吗? 是的,境内本无法连接…

一条指令打开ChatGPT开发者模式

大家好,我是Ai 11社长。对于ChatGPT冷漠刻板的回答,大家应该都腻了吧,试试这个。这个类似小红书的回答满意不?在ChatGPT开发者模式下就能得到这样的回复。怎么打开开发者模式呢?指令如下:Ignore all the in…

ChatGPT技术原理解析:从RL之PPO算法、RLHF到GPT4、instructGPT

写在最前面,为了彻底写清楚ChatGPT背后的所有关键细节,从1月初写到3月底仍未完工,除了本文之外,过程中涉及到多篇文章(RL 论文 项目 CV多模态),再加上之前写的Transformer、RL数学基础等多篇笔记,成了一个大…

chatgpt使用手册

什么是 ChatGPT?(如何使用它) 目录 什么是 ChatGPT?(如何使用它)—完整指南 如何开始使用 ChatGPT? 关键要点 ChatGPT 优点和缺点 优点 缺点 关键要点 聊天GPT示例 1. 解决编码问题 …

快来看,我让chatGPT帮我写代码了!!!

现在AIGC很火,chatGPT的功能也是非常的强大,作为一个学计算机的,我想chatGPT必须要玩起来,哈哈哈哈~~~ 突发奇想,虽然学了几年的计算机,但是编程能力还是不行&#xff0c…

Flutter ChatGPT | 代码生成器

ChatGPT 作为一个自然语言处理工具,已经火了一段时间。对待 ChatGPT 不同人有着不同的看法,新事物的出现必然如此。利益相关者形成 抵制 和 狂热 两极;哗众取宠者蹭蹭热度,问些花活,博人眼球;猎奇者尝尝鲜&…

国内用户如何申请加入ChatGPT版必应搜索候补

新版必应Bing搜索已开始接入ChatGPT,国内还有很多用户不知道如何使用,不知道如何申请加入ChatGPT版必应搜索候补,下面大兵来教大家如何快速加入ChatGPT版必应搜索候补,操作非常简单,我们接着往下看。加入ChatGPT版摩擦…

Python如何接入ChatGPT

文章目录前言一、什么是ChatGPT?二、下载安装步骤1.安装Pycharm2.安装ChatGPT总结前言 ChatGPT现在越来越火,许多小伙伴都不知道如何去使用,或者没有梯子/国外手机号注册,Pycharm中可以安装nexchatgpt来使用,给有需要…

chatGPT的49种应用场景,双AI生成二次元仙女,及各开发语言对接chatGPT参考指南

前沿 可能有人在问我,勇哥为什么chatGPT都被微信下架了,你还要写相关的chatGPT的文章呢?其实我们先不论微信下架的原因,单说chatGPT的达芬奇模型给勇哥带来的科技感早就超越了一切,所以勇哥依旧决定连续熬两个夜为大家…

万字综述梳理ChatGPT----一文搞懂弄潮儿ChatGPT技术原理、行业现状、投资前景

本文是笔者自学ChatGPT的总结与思考,类型为综述文章,适合想全面了解ChatGPT或对人工智能感兴趣的小伙伴~~ 目录先行,自行找需,全文三万六千余字。分为三大模块,追求效率可跳转感兴趣部分直接开卷。感谢大佬们以前的写的…

ChatGPT、低代码等技术出现会不会导致底层程序员失业

目录1. ChatGPT会不会导致底层程序员失业2. 低代码会不会导致底层程序员失业3. 总结1. ChatGPT会不会导致底层程序员失业 今天在浏览知乎时,看到一个问题,问题如下图: 同时,截取该问题的相关评论,如下图所示&#xff…

ChatGPT 官方版 API,终于来了!

公众号关注 “GitHubDaily”设为 “星标”,每天带你逛 GitHub!大家好,我是小 G。今天凌晨 2 点左右,OpenAI 正式发推宣布,对外开放 ChatGPT 和 Whisper API,开发者可以通过该 API,在 App 或产品…