短语训练图片

预训练阶段，模型被训练在大量的文本语料库上，学习了语言语法和语义关系，包括如何生成单词、短语和段落，以及如何基于上下文回答问题。

注意：*******对措辞敏感。，有时模型最终对一个短语没有反应，但对问题/短语稍作调整，它最终会正确回答。训练者更倾向于喜欢更长的答案，因为这些答案可能看起来更全面，导致倾向于更为冗长的回答，以及模型中会过度使用某些短语，如果初始提示或问题含糊不清，则模型不会适当地要求澄清。

袁等人(****b)已经证明，即时学习可用于对生成的文本进行自动评估。具体说，他们将生成文本的评估概念化为文本生成问题，使用预训练的序列到序列建模，然后使用前缀提示使评估任务更接近预训练任务。通过实验发现，在使用预训练模型时，在翻译文本中简单地添*短语“例如”可以显着提高德英机器翻译(MT)评估的相关性。

*******的工作原理是基于语言建模的理念，即在给定前一个词的情况下预测句子中的下一个词的任务。该模型在大量的文本数据语料库中进行训练，学习单词和短语之间的模式和关系。然后，该模型使用这些信息来生成连贯的、*合语境的文本。

*******具体使用了预生成式训练的transformer架构（GPT架构），该架构使用无监督学习在大量文本数据上进行预训练。在预训练期间，模型学习根据前面的单词预测序列中的下一个单词，从而捕捉单词和短语之间的关系和模式。一旦模型经过预训练，就可以通过在较小的任务特定数据集上对其进行训练来进行特定任务的微调。