大语言模型原理（一）：数据准备——从文本到数字

sanyinchen

豆包、DeepSeek、ChatGPT 这类能直接对话的 AI，都属于大语言模型。模型在读懂任何一句话之前，得先把语言换成数字，因为计算机能做的只有数字计算。这步转换发生在数据准备阶段，拆开看是三件事：收集清洗、分词、嵌入。 一、三大阶段，与数据准备的目的 1.1 大模型诞生的三个阶段 一个大语言模型从无到有，要经过…

正在进入完整页面…