https://www.leanku.com/tags/ollama/Recent content in Ollama on Leanku 的博客Hugozh-cnSun, 01 Sep 2024 11:46:01 +0800https://www.leanku.com/post/ai/ollama/Sun, 01 Sep 2024 11:46:01 +0800https://www.leanku.com/post/ai/ollama/<h1 id="ollama-简介">Ollama 简介</h1> <h2 id="介绍">介绍</h2> <ul> <li>Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。</li> <li>Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种自然语言处理任务。</li> <li>Ollama 的特点在于它不仅仅提供了现成的模型和工具集，还提供了方便的界面和 API，使得从文本生成、对话系统到语义分析等任务都能快速实现</li> </ul> <h2 id="安装要求">安装要求</h2> <ul> <li>Ollama 支持多种操作系统，包括 macOS、Windows、Linux 以及通过 Docker 容器运行。</li> <li>CPU：多核处理器（推荐 4 核或以上）</li> <li>GPU：如果你计划运行大型模型或进行微调，推荐使用具有较高计算能力的 GPU（如 NVIDIA 的 CUDA 支持）</li> <li>内存：至少 8GB RAM，运行较大模型时推荐 16GB 或更高。</li> <li>存储：需要足够的硬盘空间来存储预训练模型，通常需要 10GB 至数百 GB 的空间，具体取决于模型的大小。</li> <li>软件要求：确保系统上安装了最新版本的 Python（如果打算使用 Python SDK）。</li> </ul> <h2 id="下载安装ollama">下载安装ollama</h2> <ul> <li><a href="https://ollama.com/download">https://ollama.com/download</a> 下载</li> <li>下载完成后进行安装</li> </ul> <h2 id="运行模型">运行模型</h2> <ul> <li><a href="https://ollama.com/search">https://ollama.com/search</a> 查找模型</li> <li>下载模型 如 <code>ollama run deepseek-r1</code></li> </ul> <h2 id="使用docker安装ui页面">使用docker安装UI页面</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="ln">1</span><span class="cl">docker run -d -p 3000:8080 --add-host<span class="o">=</span>host.docker.internal:host-gateway -v D:<span class="se">\o</span>pen-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main </span></span></code></pre></div><p>进入UI页面，注册本地账号，开始使用</p> <ul> <li>访问 http://localhost:3000/</li> </ul> <h2 id="ollama-api">Ollama API</h2> <p>可参考<a href="https://www.runoob.com/ollama/ollama-api.html">文档</a></p>