简体中文 | 繁體中文 | English |

ChatOllama怎么用?OpenWrt快速部署它

typecho
2024-06-12 / 0 评论 / 1,420 阅读 / 正在检测是否收录... ===> PDD优惠福利券,千万好物,不要错过 <===

大家好呀!今天我要和大家分享一款超级好用的神器——ChatOllama🌟,以及如何在OpenWrt上通过docker-compose来部署它。如果你也是个技术小白,这篇文章绝对是你的救星💡,一起手把手来操作,轻松搞定部署!

什么是ChatOllama?
ChatOllama是一款基于AI的聊天机器人🤖,功能强大,应用广泛。无论是用来做个人助理还是知识库,它都能轻松胜任。而且,它支持在各种操作系统和环境下运行,尤其是通过Docker容器化部署,让安装和管理变得更加简单。

很多小伙伴用OpenWrt来做路由器,但其实它的功能远不止如此。在OpenWrt上安装Docker,你可以将你的路由器变成一个功能强大的服务器🌐。是不是很酷?

准备工作
在开始之前,我们需要一些准备工作:

确保你的OpenWrt设备(建议从openwrt.ai下载安装固件)已经安装了Docker和Docker-compose。如果还没有,先在命令行执行以下命令安装:

opkg update
opkg install docker dockerd
opkg install docker-compose

确保你的设备已经连接到互联网,以便下载必要的镜像和资源。确认一下Docker环境已准备好。
360截图20240612095052275.jpg

部署步骤
接下来,我们进入正题,开始部署ChatOllama。

步骤一:创建docker-compose文件

我们需要创建一个放置的目录,如mkdir -p /data/docker/chatollama,在目录内创建一个docker-compose文件来定义ChatOllama服务,命令:

cd /data/docker/chatollama
vi docker-compose.yml

docker-compose.yml文件如下:

services:
  ollama:
    image: ollama/ollama
    ports:
      - "11434:11434"
    restart: always
    volumes:
      - ollama_data:/root/.ollama
  chromadb:
    image: chromadb/chroma
    ports:
      - "8000:8000"
    restart: always
    volumes:
      - chromadb_data:/chroma/.chroma/index

  chatollama:
    environment:
      - CHROMADB_URL=http://chromadb:8000
      - DATABASE_URL=file:/app/sqlite/chatollama.sqlite
      - REDIS_HOST=redis
    image: 0001coder/chatollama:latest
    extra_hosts:
      - "host.docker.internal:host-gateway"
    ports:
      - "3000:3000"
    restart: always
    volumes:
      - ~/.chatollama:/app/sqlite

  redis:
    image: redis:latest
    restart: always
    volumes:
      - redis_data:/data

volumes:
  chromadb_data:
  redis_data:

保存并退出编辑器。

步骤二:启动服务

接下来,我们使用docker-compose启动ChatOllama服务:

docker-compose up -d

这一步会自动拉取ChatOllama的相关镜像并启动服务。如果一切顺利,你应该可以容器在运行。

360截图20240612100508128.jpg

步骤三:配置ChatOllama

打开浏览器,访问http://<你的OpenWrt设备IP>:3000,进入ChatOllama的主界面。
360截图20240612103046553.jpg

按照提示完成Ollama配置,只需在端点框下填http://host.docker.internal:11434,然后保存。
360截图20240612100655624.jpg

然后可以在模型页面下载一个qwen:0.5b的大模型:

360截图20240612102223792.jpg

另外也需要在命令行初始一下SQLite 数据库:
360截图20240612101843592.jpg

步骤四:测试ChatOllama

配置完成后,可以在Web界面上测试ChatOllama的功能。进入对话页,最下方选择模型后,输入一些常见的问题,看看它的表现。如果一切正常,你的ChatOllama已经成功部署并运行啦!🎉

360截图20240612102919138.jpg

常见问题和解决办法
1.无法访问Web界面:确保Docker服务正常运行,并检查端口映射是否正确。
2.拉取镜像失败:检查网络连接,并确保OpenWrt设备有足够的存储空间。
3.服务启动失败:查看docker-compose日志,检查是否有错误信息,并根据提示解决。

看完这篇文章,是不是觉得在OpenWrt上部署ChatOllama其实很简单?🧐只需要几个步骤,你就能拥有一个强大的AI聊天助手。还在等什么?赶快动手试试吧!希望这篇文章对你有所帮助,记得点赞👍、收藏❤️、分享🔗,让更多人知道这个宝藏神器!💎

更多关注:www.9418666.xyz

0

评论 (0)

取消