https://www.leanku.com/tags/embedding/Recent content in Embedding on Leanku 的博客Hugozh-cnWed, 22 Oct 2025 00:01:01 +0800https://www.leanku.com/post/ai/embedding%E7%90%86%E8%A7%A3%E8%AF%AD%E4%B9%89%E7%9A%84%E5%9F%BA%E7%A1%80/Wed, 22 Oct 2025 00:01:01 +0800https://www.leanku.com/post/ai/embedding%E7%90%86%E8%A7%A3%E8%AF%AD%E4%B9%89%E7%9A%84%E5%9F%BA%E7%A1%80/<h1 id="embedding理解语义的基础">Embedding：理解语义的基础</h1> <h2 id="引言当计算机学会了理解含义">引言：当计算机学会了&quot;理解&quot;含义</h2> <p>在上一篇文章中，我们讨论了大语言模型的工作原理。但有一个根本问题还没解决：<strong>计算机是如何&quot;理解&quot;词语含义的？</strong></p> <p>计算机只能处理数字，它不认识&quot;猫&quot;，不认识&quot;爱情&quot;，更不懂&quot;苹果&quot;和&quot;橘子&quot;的相似性。但今天的AI不仅能理解这些概念，还能进行语义推理。这一切的基石就是 <strong>Embedding（嵌入）</strong>。</p> <h2 id="一什么是embedding">一、什么是Embedding？</h2> <h3 id="11-从一个思想实验开始">1.1 从一个思想实验开始</h3> <p>想象你要向一个来自外星、不懂任何人类语言的外星人解释&quot;苹果&quot;这个词。你会怎么做？</p> <p>你可以给他一个多维度的描述：</p> <table> <thead> <tr> <th>维度</th> <th>描述</th> </tr> </thead> <tbody> <tr> <td>颜色</td> <td>通常是红色或绿色</td> </tr> <tr> <td>形状</td> <td>圆形</td> </tr> <tr> <td>大小</td> <td>拳头大小</td> </tr> <tr> <td>味道</td> <td>甜或酸甜</td> </tr> <tr> <td>口感</td> <td>脆</td> </tr> <tr> <td>用途</td> <td>可以吃</td> </tr> <tr> <td>&hellip;</td> <td>&hellip;</td> </tr> </tbody> </table> <p>如果把这些维度变成数字，就得到一个向量：</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="ln">1</span><span class="cl">苹果 = [红色: 0.9, 圆形: 0.8, 大小: 0.5, 甜度: 0.7, 脆度: 0.8, 可食用: 1.0, ...] </span></span></code></pre></div><p>这就是Embedding的基本思想：<strong>用一个数字数组（向量）表示一个概念的含义</strong>。</p> <h3 id="12-正式定义">1.2 正式定义</h3> <p><strong>Embedding（嵌入）</strong> 是将离散的符号（词语、句子、图片等）映射到连续向量空间的技术。每个符号被表示为一个固定长度的实数向量。</p> <p><strong>关键特性</strong>：</p> <ul> <li> <p><strong>语义相近的符号，向量距离也相近</strong></p> </li> <li> <p><strong>向量之间可以进行数学运算</strong></p> </li> <li> <p><strong>向量的维度（长度）通常在几十到几千之间</strong></p> </li> </ul> <h3 id="13-直观理解语义空间地图">1.3 直观理解：语义空间地图</h3> <p>可以把Embedding想象成绘制了一张&quot;语义空间地图&quot;：</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="ln">1</span><span class="cl"> [国王] </span></span><span class="line"><span class="ln">2</span><span class="cl"> ↑ </span></span><span class="line"><span class="ln">3</span><span class="cl"> 男人 </span></span><span class="line"><span class="ln">4</span><span class="cl"> ↑ </span></span><span class="line"><span class="ln">5</span><span class="cl">[苹果] ← 水果 → [橘子] [王后] </span></span><span class="line"><span class="ln">6</span><span class="cl"> ↑ / </span></span><span class="line"><span class="ln">7</span><span class="cl"> 女人 / </span></span><span class="line"><span class="ln">8</span><span class="cl"> ↑ / </span></span><span class="line"><span class="ln">9</span><span class="cl"> [女王] </span></span></code></pre></div><p>在这张地图上：</p>