ChatGPT是如何工作的
在ChatGPT之前，人工智能聊天机器人就已经出现了，但由于它们不是对话式的，所以并未引起人们的普遍关注。而在2017年，谷歌在他们的论文《Attention is All You Need》中介绍了一个名为The Transformer的神经网络架构，这创造了一个训练大型语言模型（LLM）的范式转变。
与其他神经网络相比，循环神经网络（RNN）和长短期记忆网络（LSTM）都比不上Transformer网络。RNN在长期依赖性方面存在问题，而LSTM无法专注于长句中的正确单词以获得正确的输出。
而Transformer网络改变了语言模型的训练方式，Transformer不像RNN那样一次处理一个词，而是可以一次注入整个输入。此外，Transformer允许平行运行多个输入，减少计算成本，训练速度更快。
意识到Transformer的潜力后，OpenAI决定利用Transformer网络，并按照其架构进行数据训练。这些模型的训练过程主要包括三个步骤：生成式预训练（Generative pre-training）、监督微调（Supervised fine-tuning）、基于人类反馈的强化学习（RLHF）。