构建大模型需要考虑的因素归一化方法、位置编码、激活函数、注意力计算

层数L、注意力头数N、特征维度N

归一化方法

为什么要做归一化?

• 不同特征在空间中的尺度不同，对损失优化的影响不一致
  特征尺度差异会导致损失函数各方向的梯度下降速度不同。尺度大的特征梯度更新剧烈，迫使模型花费更多迭代次数调整其他特征权重，降低优化效率。

• 提升训练稳定性，加速模型收敛
  归一化使所有特征处于相近的数值范围（如[0,1]或[-1,1]）。这使优化路径更平滑，梯度更新方向更稳定，减少震荡风险，从而加快模型收敛速度。

通过脚本批量修改Git提交历史中的作者姓名和邮箱：

bash <(curl -s https://www.geekery.cn/sh/LinuxCTS/tools/git_change_author.sh)

基本启动命令

在PowerShell中直接运行以下命令启动Git Bash：

& 'C:/Program Files/Git/bin/sh.exe' --login

使用以下命令可以一键安装OpenVPN：

curl -sSL https://www.geekery.cn/sh/LinuxCTS/tools/openvpn-install.sh | bash

Why Attention?

搜索场景

在搜索场景中，人们的目光往往会更加关注左上角的三角区域（即第一条搜索结果的位置)

阅读中

浏览图文信息

注意力机制

注意力机制，可以视为一致基于相似度的查表

核心模块： 注意力

• Transformer完全抛弃传统的CNN和RNN，整个网络结构完全由注意力机制组成

编码器-解码器结构

• 编码器将输入序列变换为隐藏层特征
• 解码器将隐藏层特征变换为输出序列

Mineru

MinerU是一个将PDF转换为机器可读格式的工具（例如，markdown，JSON），允许轻松提取为任何格式。

https://github.com/opendatalab/MinerU/blob/master/README.md

GPT系列模型成体系推进

大语言模型概念

定义： 通常指具有超大规模参数的预训练模型

架构：主要为transformer解码器架构

训练：

• 预训练（base model) 建立模型的基础能力
  • 数据： 海量文本数据
  • 优化：预测下一个词
• 后训练 (instruct model) 增强模型的任务能力
  • 数据： 大量指令数据
  • 优化： SFT、RL等方法
• 下游应用
  • 测速（推理）

在 Git Bash 中安装 pacman 的步骤如下：

1. 安装 Git for Windows

2. 打开 Git Bash 终端，右键选择"以管理员身份运行"

3. 运行下面的安装脚本，复制并粘贴以下命令到 Git Bash 中执行

   curl -s https://www.geekery.cn/sh/LinuxCTS/os/msys2/install-pacman-git-bash.sh | bash

4. 更新 pacman 的 repo：在更新之前，需要初始化 msys key。 首先要以管理员权限打开 Git-Bash。执行以下命令。下面命令的作用是初始化 msys keyring，更新包源，并同步包数据库。

   pacman-db-upgrade
   pacman-key --init
   pacman-key --populate msys2
   yes | pacman -Syuu

5. 安装必要的依赖：由于 Git 已经帮我们安装了一部分依赖，我们只需要安装 msys2-keyring 和 pacman-mirrors

6. 将安装的 pacman、msys2-keyring 和 pacman-mirrors 及其版本号写入 /etc/package-versions.txt，并用 pacman 将其写入数据库中。如果遇到未找到目标的错误，删除对应行即可

7. 修改 /etc/pacman.conf：关闭除 mingw64 和 msys 以外的所有软件源