简体中文 | 繁體中文 | English |
用Jan打造离线AI神器!上OpenWrt详细步骤

用Jan打造离线AI神器!上OpenWrt详细步骤

typecho
2024-06-03 / 0 评论 / 1,560 阅读 / 正在检测是否收录... ===> PDD优惠福利券,千万好物,不要错过 <===

小伙伴们,你们了解过Jan吗?这个绝绝子的开源ChatGPT替代品不仅完全离线运行,还能在任何硬件上跑得飞快,从PC到多GPU集群都能搞定🤩。

Jan有以下5个特点:

  1. 本地运行,隐私无忧
  2. 支持远程API,灵活调用
  3. 100%离线,数据安全
  4. 跨平台支持,随心使用
  5. 强大扩展性,功能多样

今天,就来和大家一起如何在OpenWRT上,通过Docker Compose部署Jan的cpu-fs模式。真的超简单,有机就能做!

首先,准备好你的环境。你需要Docker和Docker Compose。这两者在OpenWrt上的安装非常简单,建议从openwrt.ai上下载固件,只需进入软件包,搜索并下载dockerd和docker-compose两个插件,或者通过命令一键安装:opkg update&&opkg install dockerd docker-compose。安装完成后通过以下命令确认docker环境正常:

360截图20240603101636434.jpg

Jan也支持GPU模式,那就需要通过Ubuntu等系统安装nvidia-driver和nvidia-docker2。具体安装教程可以参考官方文档📄。

接下来,我们就要开始部署Jan了!OpenWrt下我们选择使用cpu-fs模式,也就是在CPU模式下使用默认文件系统。具体步骤如下:

步骤一:创建目录,
首先,在命令行终端下,在合适位置创建jan目录,如mkdir -p /data/docker/jan,然后进入目录。

360截图20240603102320786.jpg

步骤二:docker-compose配置文件
在jan目录下,我们可以选择两种docker-compose配置文件:docker-compose.yml(使用预构建的Docker镜像)和docker-compose-dev.yml(本地构建Docker镜像)。我们这里选择简单的方法,使用wget命令下载,使用预构建的Docker镜像。配置文件中,需要将app_cpu_fs模式下把API_BASE_URL中的localhost改为你的OpenWrt路由器的IP:

360截图20240603102550298.jpg

步骤三:启动Jan服务
只需执行以下命令即可开启Jan的服务:

docker-compose --profile cpu-fs up -d

步骤四:检查Jan是否正常运行

启动完Jan的Web服务器,你可以通过浏览器访问http://你的OpenWrt路由IP:3000来使用Jan了🎉。

360截图20240603112737498.jpg

自带大模型仓库:
360截图20240603113134698.jpg

常见问题
1.Docker无法启动? 检查Docker服务是否正常运行。
2.Jan无法访问? 确认你的防火墙设置允许端口3000的访问;可更换ghcr.io/janhq/jan-server的镜像版本,地址:https://github.com/janhq/jan/pkgs/container/jan-server
3.需要更多帮助? 加入Jan的Discord社区,寻求帮助和支持。

看到这里,你是不是已经觉得很简单了呢?其实,部署Jan真的不难,只要按照步骤一步一步来,很快你就能在自己的设备上拥有一个强大的离线AI助手💪。赶快试试看吧,把这个神器分享给你的小伙伴们吧!

更多关注:www.9418666.xyz

0

评论 (0)

取消