基于Ollama+AngthingLLM的本地ai知识库

环境

  • docker version 24.0.7（应该20以上就行了）
  • Ubuntu 22.04

安装ollama

  1. 官网有下载方法，我是Linux所以可以用curl -fsSL https://ollama.com/install.sh | sh

  2. 运行完后去官网选择模型library (ollama.com)，我选的qwen2:7b，所以直接运行ollama pull qwen2:7b拉取模型

  3. 因为ollama默认本地访问，所以需要修改一下环境变量，改为你的ip地址或者0.0.0.0。linux下运行命令：systemctl edit ollama.service。在打开的编辑器内新增一行

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
  1. 有并发需求的可以在环境变量加上以下变量调整，较新版本支持
OLLAMA_NUM_PARALLEL=4 #并行处理请求的数量
OLLAMA_MAX_LOADED_MODELS=4 #同时加载的模型数量
  1. 保存退出，重新加载并重启
systemctl daemon-reload
systemctl restart ollama

macos应该是launchctl setenv OLLAMA_HOST "0.0.0.0"

  1. 网页打开IP：11434，显示Ollama is running就代表成功

安装AnythingLLM

  1. 选择docker安装，Ubuntu安装docker 

    apt update -y
       
    apt install docker.io -y

  2. 拉取最新镜像

    docker pull mintplexlabs/anythingllm

  3. 创建环境变量，并本地挂载（$HOME/anythingllm为你自己的目录）

    export STORAGE_LOCATION=$HOME/anythingllm && \
    mkdir -p $STORAGE_LOCATION && \
    touch "$STORAGE_LOCATION/.env"

  4. 启动docker

    docker run -d -p 3001:3001 \
    --cap-add SYS_ADMIN \
    --add-host=host.docker.internal:host-gateway \ 
       -v ${STORAGE_LOCATION}:/app/server/storage \
       -v ${STORAGE_LOCATION}/.env:/app/server/.env \
       -e STORAGE_DIR="/app/server/storage" \
       mintplexlabs/anythingllm

  5. 网页打开http://x.x.x.x:3001 配置AnythingLLM，LLM选择Ollama，URL填http://x.x.x.x:11434 ，成功的话Ollama Model会出现你下载的模型。