何不来个私有AI搜索引擎？在OpenWrt上部署体验farfalle

最近在Github上又看到farfalle的这个AI搜索项目💥，里面说farfalle是一款超级好用的本地AI搜索利器，让我也跃跃欲试了起来😝
究竟什么是farfalle呢?farfalle是一款开源的AI驱动搜索引擎工具，支持本地部署各种大型语言模型(LLM)🤖,例如llama3、gemma和mistral等,还能连接云端算力如OpenAI的GPT-4等模型进行智能搜索和问答交互。不连网在本地运行时,可以避免隐私泄露的风险,超级安全可靠,真是白嫖d的福音呀🥰
只要你有台配置超给力X86迷你主机，装上OpenWrt（演示固件来源openwrt.ai）变身路由器,就可以拿来体验下farfalle的本地AI搜索功能。听说farfalle部署很方便,只需几条命令就能跑起来,赶快一起来跟风尝鲜吧😝
按照GitHub上的官方教程一步步操作吧👇🏻。

首先进入到openwrt的命令行终端模式（"服务"-"终端"），输入docker info确认docker-compose的环境，环境还没准备的小伙伴翻看之前教程在软件包安装dockerd和docker-compose两个插件哦。

注意：由于需要最新版本的docker-compose，需卸载自带的docker-compose插件，然后直接通过命令行安装docker-compose:

curl -L "https://github.com/docker/compose/releases/download/v2.27.0/docker-compose-linux-x86_64" -o /usr/bin/docker-compose
chmod +x /usr/bin/docker-compose

进入到/data/docker目录，通过git（安装git-http插件）克隆整个项目：

cd /data/docker
git clone https://github.com/rashadphz/farfalle.git

再进入farfalle目录，创建环境变量文件.env,并依次添加TAVILY，OPENAI，GROQ的API密钥参数。Tavily是一个针对 LLMs RAG 优化的搜索引擎，旨在提供高效、快速和持久的搜索结果，免费申请API地址：app.tavily.com/home。OPENAI，GROQ这些云服务商不是必须的，根据需要填写。

cd farfalle
vi .env

TAVILY_API_KEY=tvly-...
OPENAI_API_KEY=sk-...
GROQ_API_KEY=gsk-...

接下来修改一下docker-compose.dev.yaml文件的内容，如下：

services:
  ollama:
    volumes:
      - ./ollama:/root/.ollama
    ports:
      - "11434:11434"
    container_name: ollama
    restart: unless-stopped
    image: ollama/ollama:latest
  backend:
    build:
      context: .
      dockerfile: ./src/backend/Dockerfile.dev
    ports:
      - "8000:8000"
    environment:
      - OLLAMA_HOST=${OLLAMA_HOST:-http://host.docker.internal:11434}
      - TAVILY_API_KEY=${TAVILY_API_KEY}
      - OPENAI_API_KEY=${OPENAI_API_KEY}
      - GROQ_API_KEY=${GROQ_API_KEY}
      - ENABLE_LOCAL_MODELS=${ENABLE_LOCAL_MODELS:-True}

    env_file:
      - .env
    develop:
      watch:
        - action: sync
          path: ./src/backend
          target: /workspace/src/backend
    extra_hosts:
      - "host.docker.internal:host-gateway"

  frontend:
    depends_on:
      - backend
    build:
      context: .
      dockerfile: ./src/frontend/Dockerfile.dev
    environment:
      - NEXT_PUBLIC_API_URL=${NEXT_PUBLIC_API_URL:-http://localhost:8000}
      - NEXT_PUBLIC_LOCAL_MODE_ENABLED=${NEXT_PUBLIC_LOCAL_MODE_ENABLED:-true}
    ports:
      - "3000:3000"
    develop:
      watch:
        - action: sync
          path: ./src/frontend
          target: /app
          ignore:
            - node_modules/

然后保存后一键运行启动服务：

docker-compose -f docker-compose.dev.yaml up -d

最后等待部署完成后，即可通过浏览器访问http://你的OpenWrt路由器IP:3000,就可以在本地体验AI搜索的乐趣了🥳

不知道为啥原因，部署的farfalle最终无法成功运行，无奈只能选择试用一下作者提供的演示地址：https://farfalle.dev/

没想到亲测下来,不支持中文搜索，但farfalle的搜索效果真的好到爆炸🤯!查找各种语言知识、常见问题,瞬间就有AI生成的全面解答,比度娘更专业,比夸夸群答更有深度。平时手头资料不全也没关系,farfalle智能整合互联网上海量信息,知识面全方位覆盖🌏
最重要的是,farfalle搜索响应超级快速流畅,比云端GP贵的离谱的算力实际体验差不了多少,感觉就像在本地读取离线文件一样,绝对能满足大部分人对AI搜索性能要求🚀
对于编程、写作或者学习研究这种创作型工作来说,farfalle更是不可多得的神器!搭配自己的语言模型,可以根据需求随时调整生成结果的风格和偏向,真正做到一人使嘴一人当差🤖
总之farfalle后续的发展应该会挺好，绝对值得一试,还等什么呢?建议永久珍藏此文,学习之余也分享给更多家人朋友😘

更多关注：www.9418666.xyz