大模型技术培训

第一天：基础篇与技术概览
· 上午（3小时）
o 大模型技术基础与*进展
  大模型的定义与关键技术概览
  生成式人工智能(AIGC)概念
  ChatGPT历史与发展
  一些关键技术
  人工智能实验环境的搭建
  机器学习环境与深度学习环境
  Python编程与数据科学工具库介绍
  GPU与cuda
  深度学习框架：PyTorch
  ChatGPT模型背后的NLP基础知识
  深度学习算法基础
  MLP与CNN、RNN
  特殊字符、分词与停用词处理技术
  词向量与Embedding
  介绍大模型前沿应用
  文心一言、通义千问等
  Midjourney等

o 企业应用场景案例分析
  金融机构中的智能风险评估系统案例
  教育机构的个性化学习路径推荐系统案例

· 下午（3小时）
o 大模型的核心技术深入
  Transformer架构的深入解析与优化
  Transformer中的block
  自注意力机制与多头注意力
  位置编码（为什么可以抛弃RNN）
  Batch Norm与Layer Norm
  解码器的构造
  chatGPT的原理介绍
  指示学习与InstructGPT
  相关数据集
  有监督微调（SFT）
  从人类反馈中RL的思路
  奖励建模（RM）
  运用PPO改进
o 企业应用场景案例分析
  法律行业的法条自动生成案例
  法律行业的智能合同审核与咨询案例
o 实战演练：基础模型的使用与体验
  演示如何使用*的开源大模型ChatGLM3
  学员动手操作，体验模型的基本功能及*特性

第二天：进阶篇与实战应用
· 上午（3小时）
o 大模型的微调和优化
  ChatGLM部署
  ChatGLM3-6B介绍
  ChatGLM3搭建流程
  应用场景（工具调用、代码执行）
  权重量化
  ChatGLM3原理
  Code Interpreter
  多模态CogVLM
  WebGLM搜索增强
  大模型训练的高效算法与优化技术
  LoRA
  Prefix Tuning
  P-Tuning
  Prompt Tuning
  freeze

o 企业应用场景案例分析
  金融科技中的自动化报告生成与分析案例
  医疗研究中的文献检索与知识提取案例
  教育技术中的智能教学辅助工具案例
· 下午（3小时）
o 实战演练：大模型的微调实践
  演示ChatGLM3微调过程
  数据准备
  模型调整
  结果评估
  学习LangChain所需的知识储备
  词嵌入与语义空间
  高维向量的快速模糊匹配
  局部敏感哈希（LSH）
  向量数据库
  建立企业级对话系统
  LangChain的原理
  大模型利用的难点与痛点
  Langchain的基本思路
  关键组件

o 大模型的部署与运维
  模型部署的*实践，包括容器化、云服务等
  ChatGLM.cpp等
  Docker简介
  K8s简介
  运维中的监控、调优与安全性管理

o 企业应用场景案例分析
  企业内部的知识管理系统与智能助手案例
  卫生行业的智能助手

大模型技术培训