chatGPT的概念与应用场景

Day1上午
Transformer
1、你需要的仅仅是“注意力”
2、Transformer中的block
3、自注意力机制
4、多头注意力
5、位置编码（抛弃RNN）
6、Batch Norm与layer Norm
7、解码器的构造

初代GPT
“独角兽”的威力
GPT的内部架构
基于Transformer的改造
自注意力机制的改进

Day1下午
GPT的演进
1、GPT2
2、GPT3
3、InstructGPT

chatGPT的原理实践
1、指示学习（Instruct Learning）
2、相关数据集
3、有监督微调（SFT）
4、从人类反馈中RL的思路
5、奖励建模（RM）
6、PPO
7、chatGPT的应用领域
8、chatGPT引发的讨论

chatGPT的国内替代品
1、问东风AI
2、其他替代品

chatGPT的概念与应用场景