简体中文 | 繁體中文 | English |
一体化集成大模型,体验Open-WebUI,OpenWrt安装超简单

一体化集成大模型,体验Open-WebUI,OpenWrt安装超简单

typecho
2024-04-23 / 0 评论 / 1,559 阅读 / 正在检测是否收录... ===> PDD优惠福利券,千万好物,不要错过 <===

大家好👋我是你们的知识分享伙伴, 今天给小伙伴们🏡带来一个迷你但非常Nice的教程!
最近各类人工智能(AI)大行其道,小伙伴们是不是也想尝尝鲜🍰体验下这股清流?别急,有我在就不怕啦!接下来我就为你们一步步揭秘🔑如何在OpenWrt系统上部署超级好用的开源WebUI-Open-WebUI。
首先,Open-WebUI是一个为大型语言模型(LLMs)量身打造的Web界面,它轻巧美观😍简直不要太赞!它不仅可扩展、功能丰富,而且对用户非常友好,旨在完全离线运行。它支持各种LLM运行器,包括 Ollama 和 OpenAI 兼容的 API,绝对值得拥有。项目地址:github.com/open-webui/open-webui。接下来就让我们一同动手吧!

第一步,准备好你的OpenWrt路由器(演示固件来源于openwrt.ai)的docker环境。然后进入“系统”-“软件包”,先更新列表,通过过滤器筛选luci-app-dockerman,安装luci-app-dockerman插件,已安装的可忽略此步骤。

360截图20240423102924408.jpg

第二步,拉取带有Ollama的Open-WebUI镜像。由于镜像较大,建议先到命令行终端(“服务”-“终端”)执行命令:docker pull ghcr.io/open-webui/open-webui:ollama,等待镜像拉取完成。以下是通过第三方加速拉取镜像的方法。

360截图20240423103232971.jpg

第三步,创建容器并运行。进入Docker容器页面,添加一个新的容器,点击命令行,输入以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

两次提交后,勾选点击启动。
360截图20240423103949962.jpg

第四步,访问容器。通过浏览器访问路由器的3000端口,注册一个账号即可进入。
360截图20240423104700866.jpg

点击右上角的齿轮进入设置,打开模型,添加模型填入千问的qwen:0.5b,然后点击右侧的下载按钮,等待模型下载完成。
360截图20240423115846539.jpg

下载好后回到主页就可以选择这个模型开始对话,无需联网,保证隐私。如果你的OpenWrt路由器的CPU足够强大,可以选择更好的大模型。

360截图20240423120556009.jpg

是不是很简单呢?Open-WebUI界面清新好用,自带多种AI模型支持🔥还能自定义微调,功能一应俱全!各位小伙伴赶紧动手尝鲜吧,让AI为你效劳,工作学习两相宜~

最后记得动动小手给个赞哦,有疑问也欢迎随时沟通💬

更多关注:www.9418666.xyz

1

评论 (0)

取消