登入

Ollama

Ollama 是一款開源的本地大語言模型運行工具,用於在本地環境中下載、運行和管理各類大模型。模型推理在本機完成,不依賴外部雲端服務,具體效能與可用模型取決於本地硬體條件與模型配置。

💡 本地部署的大型語言模型,完全免費使用

本地部署及使用流程

  1. 開啟 Ollama 官網,下載適用於您作業系統的安裝程序。
  2. 前往 模型列表,選擇所需模型,並在終端執行指令(例如 ollama pull translategemma:4b)以完成 translategemma:4b 模型下載。
  3. 啟動 Ollama:在終端機執行 ollama run translategemma:4b,系統自動使用預設 API Key,無需手動輸入,即可開始翻譯服務。
  4. 如在使用過程中遇到問題或建議,可前往 問題回饋 頁面提交回饋。

常见问题

如果你按照教程成功運行了 Ollama 程序,並且在【ollama 翻譯模型設定】中正確填寫了模型名稱和 API 接口地址,但仍無法正常使用,提示403錯誤,可能是遇到了局域網接口跨域問題。請根據你的作業系統,按以下步驟開啟跨域支持:

  • Windows 開啟控制台 → 系統屬性 → 環境變數 → 使用者環境變量,新增兩個環境變量:
    1. OLLAMA_HOST:設定為 0.0.0.0
    2. OLLAMA_ORIGINS:設定為 *(允許所有來源訪問)
    3. 儲存後,重啟 Ollama 程序。
  • macOS 在終端機中執行 launchctl setenv OLLAMA_ORIGINS "*",再啟動 Ollama 程序。
  • Linux 在終端機中執行 OLLAMA_ORIGINS="*" ollama serve,再啟動 Ollama 程序。
⚠️ ollama 程式所運行的模型名稱和【ollama 翻譯模型設定】中的模型名稱必須一致(如程式運行的模型名稱為「translategemma:4b」,則【ollama 翻譯模型設定】中的模型名稱必須為「translategemma:4b」)。

💡 更多 ollama 操作請查看 ollama 官方文件

✅ 在解決跨域問題前,請確保 ollama 程式處於關閉狀態。