让我们首先在SentimentAnalysis.ipynb.

运行要安装的第一个单元allennlp-models：

!pip install allennlp==1.0.0 allennlp-models==1.0.0

现在让我们尝试运行我们的 Jacques Derrida 示例：

!echo '{"sentence": "Whether or not you're enlightened by any of Derrida's lectures on the other and the self, Derrida is an undeniably fascinating and playful fellow."}' | \
allennlp predict https://storage.googleapis.com/allennlp-public-models/sst-roberta-large-2020.06.08.tar.gz -

"architectures": ["RobertaForMaskedLM"],"attention_probs_dropout_prob": 0.1,"bos_token_id": 0,"eos_token_id": 2,"hidden_act": "gelu","hidden_dropout_prob": 0.1,"hidden_size": 1024,"initializer_range": 0.02,"intermediate_size": 4096,"layer_norm_eps": 1e-05,"max_position_embeddings": 514,"model_type": "roberta","num_attention_heads": 16,"num_hidden_layers": 24,"pad_token_id": 1,"type_vocab_size": 1,"vocab_size": 50265
}

如有必要，您可以花几分钟时间阅读第 3 章微调BERT 模型中的BERT 模型配置部分中对 BERT 架构的描述，以充分利用该模型。

情绪分析产生介于0（负）和1 （正）之间的值。

然后输出产生情绪分析任务的结果，显示输出 logits 和最终的肯定结果：

prediction:  {"logits": [3.646597385406494, -2.9539334774017334], "probs": [0.9986421465873718, 0.001357800210826099]

我们将从使用 Hugging Face DistilBERT 模型开始。

使用 DistilBERT 进行情绪分析

打开SentimentAnalysis.ipynb和变压器安装和进口电池：

!pip install -q transformers
from transformers import pipeline

我们现在将创建一个名为 的函数classify，它将使用我们发送给它的序列运行模型：

def classify(sequence,M):#DistilBertForSequenceClassification(default model)nlp_cls = pipeline('sentiment-analysis')if M==1:print(nlp_cls.model.config)return nlp_cls(sequence)

请注意，如果您发送M=1到该函数，它将显示我们正在使用的 DistilBERT 6 层 12 头模型的配置：

DistilBertConfig {"activation": "gelu","architectures": ["DistilBertForSequenceClassification"],"attention_dropout": 0.1,"dim": 768,"dropout": 0.1,"finetuning_task": "sst-2","hidden_dim": 3072,"id2label": {"0": "NEGATIVE","1": "POSITIVE"},"initializer_range": 0.02,"label2id": {"NEGATIVE": 0,"POSITIVE": 1},"max_position_embeddings": 512,"model_type": "distilbert","n_heads": 12,"n_layers": 6,"output_past": true,"pad_token_id": 0,"qa_dropout": 0.1,"seq_classif_dropout": 0.2,"sinusoidal_pos_embds": false,"tie_weights_": true,"vocab_size": 30522
}

这个 DistilBERT 模型的具体参数是标签定义。

seq=3
if seq==1:sequence="The battery on my Model9X phone doesn't last more than 6 hours and I'm unhappy about that."
if seq==2:sequence="The battery on my Model9X phone doesn't last more than 6 hours and I'm unhappy about that. I was really mad! I bought a Moel10x and things seem to be better. I'm super satisfied now."
if seq==3:sequence="The customer was very unhappy"
if seq==4:sequence="The customer was very satisfied"
print(sequence)
M=0 #display model cofiguration=1, default=0
CS=classify(sequence,M)
print(CS) 

在这种情况下，seq=3被激活以模拟我们需要考虑的客户问题。输出是否定的，这就是我们要找的例子：

[{'label': 'NEGATIVE', 'score': 0.9997098445892334}]

我们可以从这个结果中得出几个结论，通过编写一个函数来预测客户行为：

• 将预测存储在客户管理数据库中。
• 计算客户在一段时间（周、月、年）内抱怨服务或产品的次数。经常抱怨的客户可能会转向竞争对手以获得更好的产品或服务。
• 检测在负面反馈消息中不断出现的产品和服务。产品或服务可能有缺陷，需要质量控制和改进。

我们现在将探索其他 Hugging Face 变形金刚。

使用 Hugging Face 的模特名单进行情绪分析

对于我们使用的每个模型，您可以在 Hugging Face 提供的文档中找到模型的描述：https ://huggingface.co/transformers/ 。

我们将测试几个模型。如果您实施它们，您可能会发现它们需要对您希望执行的 NLP 任务进行微调甚至预训练。在这种情况下，对于 Hugging Face 转换器，您可以执行以下操作：

• 微调可以参考第 3 章，微调 BERT 模型
• 对于预训练，可以参考第 4 章，从头开始预训练 RoBERTa 模型

我们先来看看 Hugging Face 模型列表：https ://huggingface.co/models 。

"Though the customer seemed unhappy, she was, in fact satisfied but thinking of something else at the time, which gave a false impression."

这句话对于transformer来说很难分析，需要逻辑规则训练。

输出为假阴性：

图 12.6：复杂序列分类任务的输出

在撰写本书时，类 BERT 模型在 GLUE 和 SuperGLUE 排行榜上都有很好的排名。排名会不断变化，但不会改变变压器的基本概念。

我们现在将尝试一个困难但不太复杂的例子。

这个例子是现实生活项目的重要一课。当我们试图估计客户投诉了多少次时，我们会同时得到假阴性和假阳性。因此，在未来几年内，定期的人为干预仍将是强制性的。

让我们尝试一个 MiniLM 模型。

MiniLM-L12-H384-无壳

让我们测试一下它理解组合性原则的能力：

Though the customer seemed unhappy, she was, in fact satisfied but thinking of something else at the time, which gave a false impression.

输出很有趣，因为它产生了一个仔细的拆分（未决定）分数：

图 12.7：复杂句子情感分析

让我们尝试一个涉及蕴涵的模型。

RoBERTa-large-mnli

我们需要格式化输入并使用序列分割标记分割序列：

Though the customer seemed unhappy</s></s> she was, in fact satisfied but thinking of something else at the time, which gave a false impression

结果很有趣，尽管它保持中立：

图 12.8：稍微肯定的句子获得的中性结果

让我们在“积极情绪”多语言 BERT 基础模型上完成我们的实验。

基于 BERT 的多语言模型

它设计得非常好。

让我们用一个友好而积极的英语句子来运行它：

图 12.9：英语情感分析

图 12.10：法语情绪分析

您可以使用以下初始化代码在您的网站上实现它：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("nlptown/bert-base-multilingual-uncased-sentiment")
model = AutoModelForSequenceClassification.from_pretrained("nlptown/bert-base-multilingual-uncased-sentiment")

这需要一些时间和耐心，但结果可能非常酷！

您可以在您的网站上实施此转换器，以平均您客户的全球满意度！您还可以将其用作持续反馈，以改善您的客户服务并预测客户反应。

在我们离开之前，我们将了解 GPT-3 如何进行情绪分析。

使用 GPT-3 进行情绪分析

鸣叫：I didn't find the movie exciting, but somehow I really enjoyed watching it!

情绪：Positive

鸣叫：I never ate spicy food like this before but find it super good!

情绪：Positive

输出令人满意。

我们现在将向 GPT-3 引擎提交一个困难的序列：

鸣叫：It's difficult to find what we really enjoy in life because of all of the parameters we have to take into account.

情绪：Positive

输出是假的！情绪一点也不积极。这句话说明了生活的艰辛。然而，这个词enjoy为 GPT-3 引入了偏见。

如果我们从序列中取出享受并用动词替换它are，则输出是否定的：

鸣叫：It's difficult to find what we really are in life because of all of the parameters we have to take into account.

情绪：Negative

输出也是假的！不是因为人生难解，我们才能断定这句话是否定的。正确的输出应该是中性的。然后我们可以要求 GPT-3 执行另一项任务，以解释为什么它在管道中很困难，例如。

以无事可做的用户身份运行 NLP 任务显示了工业 4.0 (I4.0) 的发展方向：更少的人工干预和更多的自动化功能。但是，我们知道有些情况需要我们的新技能，例如当转换器没有产生预期结果时设计预处理函数。人还是有用的！

现在让我们看看我们如何仍然能够证明自己的宝贵资产。

临走前的一些务实的I4.0思考

Hugging Face 转换器的情绪分析包含一个“中性”的句子。

但这是真的吗？

我首先She was satisfied使用AllenNLP - Demo上的语义角色标签界面运行。

结果是正确的：

图 12.11：简单句子的 SRL

在这个谓词的框架中分析很清楚：was是动词，She是ARG1，satisfied是ARG2。

我们应该在一个复杂的句子中找到相同的分析，我们这样做：

图 12.12：动词“satisfied”与其他词合并，造成混淆

Satisfied仍然是ARG2，所以问题可能不存在。

现在，重点是ARGM-ADV，它也进行了修改was。这个词false很有误导性，因为ARGM-ADV与ARG2相关，其中包含thinking.

thinking谓词给出了 a ，但在这个复杂的句子中，false impressionthinking 没有被识别为谓词。正如我们在第 10 章的质疑 SRL 的范围部分中she was看到的，这可能是一个未识别的省略号吗？

我们可以通过输入不带省略号的完整句子来快速验证：

Though the customer seemed unhappy, she was, in fact, satisfied but she was thinking of something else at the time, which gave a false impression.

第 1 帧显示与unhappy正确相关seemed：

图 12.13：“不开心”与“似乎”正确相关

框架 2显示satisfied现在从句子中分离出来并单独识别为was复杂句子中的参数：

图 12.14：“satisfied”现在在 ARG2 中是一个单独的词

现在，让我们直接进入包含 的谓词thinking，这是我们希望 BERT SRL 正确分析的动词。现在我们抑制省略号并在句子中重复“she was”，输出是正确的：

图 12.15：没有省略号的准确输出

• 这个词false是一个令人困惑的论点，让算法与复杂句子中的其他词相关联
• 重复的省略号she was

在我们去 GPT-3 之前，让我们带着我们的线索回到 Hugging Face。

拥抱脸调查

我们将调查我们的两个线索：

• 的省略号she was

  我们将首先提交一个没有省略号的完整句子：

  Though the customer seemed unhappy, she was, in fact, satisfied but she was thinking of something else at the time, which gave a false impression

  输出仍然为负：

  图 12.16：假阴性

GPT-3 能做得更好吗？让我们来看看。

使用 GPT-3 操场进行调查

• 第 1 步：向 GPT-3 展示我们的期望：

  句子："The customer was satisfied"

  情绪：Positive

  句子："The customer was not satisfied"

  情绪：Negative

  句子："The service was "

  情绪：Positive

  句子："This is the link to the review"

  情绪：Neutral

• 第 3 步：输入我们的句子等（第 3 步）：

  1. "I can't stand this product"

  2. "The service was bad! "

  3. "Though the customer seemed unhappy she was in fact satisfied but thinking of something else at the time, which gave a false impression"

  4. "The support team was "

  5. "Here is the link to the product."

  句子情感等级：

  1: Negative

  2: Positive

  3: Positive

  4: Positive

  5: Neutral

GPT-3 代码