一、项目概述

1.1 项目名称

畅游通(Travel Mate)

1.2 一句话 Slogan

戴上眼镜,世界没有陌生语言

1.3 项目简介

畅游通是一款运行在 AI 眼镜上的旅行翻译助手。用户佩戴眼镜在国外旅行时,看到任何外文内容(菜单、路牌、门票、说明牌等),系统自动拍照,多模态大模型直接看图翻译,不只翻译文字,还解释上下文含义并给出实用行动建议。

1.4 解决的痛点

  • 出国旅行看不懂菜单,点菜靠猜,经常点到不想吃的
  • 路牌、地铁站名不认识,迷路焦虑
  • 门票、说明书看不懂,错过重要信息
  • 手机翻译App需要手动拍照,操作繁琐,旅行体验差

1.5 核心创新

  • 零操作翻译:戴上眼镜自动识别外文,无需手动拍照
  • 不只是翻译:多模态模型理解上下文,给出实用建议(这道菜辣不辣、这条路怎么走)
  • 多语言支持:Qwen3.7-plus 支持中英日韩法德等主流语言
  • 极简架构:仅3个节点,响应快速

---

二、工作流设计

2.1 整体架构

[开始] → [gPass眼镜插件] → [多模态大模型] → [结束]

2.2 节点详细说明

节点 1:开始
  • 接收参数:user_id(用户标识)、target_language(目标语言,默认中文)
节点 2:gPass 眼镜插件(MCP)
  • 插件 ID:20260126z7IU06451341
  • 输入prompt_message = "正在翻译,请对准文字"
  • 输出code(状态)、data(图片 URL)
  • 功能:触发眼镜拍照采集外文内容
节点 3:多模态大模型(核心节点)
  • 模型:Qwen3.7-plus
  • 温度:0.3
  • 图片输入{{gPass眼镜插件.data}}
  • 系统提示词
你是一位旅行翻译助手。用户通过AI眼镜拍摄了旅行中的外文内容(菜单/路牌/门票/说明牌等),请看图翻译并给出实用建议。

请完成:
1. 识别图片中的外语文字
2. 翻译为中文
3. 判断内容类型(菜单/路牌/门票/说明/其他)
4. 根据类型给出实用建议:
   - 菜单:这道菜是什么食材,辣不辣,大概多少钱
   - 路牌:方向指引,距离信息
   - 门票:使用规则,有效期
   - 说明:注意事项

输出JSON:
{
  "content_type": "menu|sign|ticket|notice|other",
  "original_text": "原文",
  "translation": "中文翻译",
  "practical_advice": "实用建议",
  "language_detected": "检测到的语言"
}
节点 4:结束
  • 输出:翻译结果JSON

三、端侧/云端插件运用

3.1 端侧插件:gPass 眼镜插件

项目 说明
插件 ID 20260126z7IU06451341
核心能力 眼镜设备拍照采集
输入参数 prompt_message(String):拍照提示语
输出参数 code(String):状态;data(String):图片URL
使用方式 MCP节点拖入工作流

3.2 大模型选型

节点 模型 选型理由
多模态翻译 Qwen3.7-plus 多模态识图+多语言能力,可识别图片中外文并理解上下文

四、技术方案说明

4.1 为什么不只是翻译,还要给建议?

传统翻译App只翻译文字,旅行者还是不知道"这道菜到底能不能吃"“这条路到底怎么走”。畅游通的多模态模型在看图翻译的同时理解内容类型和上下文,直接给出可执行的行动建议,从"翻译工具"升级为"旅行助手"。

4.2 输出示例

菜单翻译场景:

{
  "content_type": "menu",
  "original_text": " Mapo Tofu  ¥1,200",
  "translation": "麻婆豆腐 1200日元",
  "practical_advice": "这是一道川菜,豆腐配辣肉末,比较辣。价格约60元人民币,在日本餐厅算中等价位。不能吃辣的话建议点「冷奴」(凉拌豆腐)。",
  "language_detected": "日语"
}

路牌翻译场景:

{
  "content_type": "sign",
  "original_text": "新宿方面 ← 500m",
  "translation": "新宿方向 ← 500米",
  "practical_advice": "左转走500米可达新宿站。如果你要去歌舞伎町,也是这个方向。",
  "language_detected": "日语"
}

五、项目优势总结

  1. 极简架构:仅3个节点,响应快速
  2. 零操作体验:戴上眼镜即可,不干扰旅行
  3. 不只是翻译:理解上下文,给出实用建议
  4. 多语言支持:覆盖主流旅行目的地语言
  5. 即时性:看到什么翻译什么,无需打开手机
Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐