Qwen1.5-1.8B-Chat-GPTQ-Int4效果展示：中文方言理解（粤语/川普）初步适配实测

最近在折腾各种大语言模型，发现一个挺有意思的现象：很多模型在标准普通话上表现不错，但一遇到方言就“歇菜”了。这让我想起之前用某个模型问“食咗饭未”，它居然一本正经地分析“食咗”是不是错别字，真是让人哭笑不得。

正好看到通义千问新出的1.8B小模型，还专门做了GPTQ-Int4量化，体积小速度快。我就在想，这么小的模型，能不能理解我们的方言呢？毕竟方言才是我们日常交流的灵魂啊。

今天我就用vllm部署了Qwen1.5-1.8B-Chat-GPTQ-Int4，然后用chainlit搭了个前端，专门测试了一下它对粤语和四川话（川普）的理解能力。结果还挺让人惊喜的，咱们一起来看看。

1. 测试准备与环境搭建

1.1 模型基本情况

先简单介绍一下今天的主角——Qwen1.5-1.8B-Chat-GPTQ-Int4。

这是个只有18亿参数的小模型，在通义千问家族里算是“小弟弟”了。别看它小，该有的功能都有：聊天对话、文本生成、代码理解等等。GPTQ-Int4量化是它的亮点，简单说就是把模型“压缩”了一下，让它在保持不错效果的同时，运行速度更快，占用的内存也更少。

对于方言测试来说，小模型有个优势——它没有那么多“包袱”，可能更灵活一些。大模型有时候太“教条”了，反而理解不了方言里的那些灵活表达。

1.2 部署与验证

部署过程挺简单的，用vllm一行命令就能搞定。部署完成后，我打开终端看了一下日志：

cat /root/workspace/llm.log

看到模型加载成功的提示，心里就有底了。接着打开chainlit的前端界面，一个简洁的聊天窗口就出来了。界面长这样：

界面很干净，左边是对话历史，右边是输入框。我试了一下用普通话问了个简单问题，模型很快就给出了回答，说明部署是成功的。

好了，环境没问题，接下来咱们进入正题——方言测试。

2. 粤语理解能力测试

粤语是我的母语，测试起来特别有感觉。我设计了几种不同类型的测试，看看模型能不能理解。

2.1 日常问候与简单对话

先从最简单的开始，我输入了一句经典的粤语问候：

我输入：早晨！今日天气几好喔，你食咗早餐未啊？

模型回复：早晨！今日天气真系几好，阳光明媚。我已经食咗早餐啦，多谢关心！你食咗未啊？

看到这个回复，我有点惊讶。模型不仅理解了“食咗”（吃了）、“未啊”（了吗）这些粤语表达，还能用类似的句式回复，甚至加上了“阳光明媚”这样的描述。这说明它不只是简单识别关键词，而是真正理解了句子的意思。

我又试了几个日常场景：

场景一：问路

• 我输入：唔该，请问地铁站点行啊？
• 模型回复：你可以直行前面个路口，然后转右，就会见到地铁站入口啦。

场景二：购物

• 我输入：呢件衫几多钱？可唔可以平少少？
• 模型回复：呢件衫原价299文，而家做紧特价，249文就得啦。已经好抵买咯！

模型对数字、价格、方位词的理解都很准确，回复也很“接地气”，像是本地人在说话。

2.2 粤语俗语与文化相关

粤语里有很多有趣的俗语和歇后语，这些对模型来说应该是更大的挑战。

我试了几个：

测试一：我输入：“佢做嘢好似蚂蚁摞火炭——自取灭亡” 模型回复：呢个系一句粤语歇后语，形容一个人做嘢不顾后果，最终会害咗自己。好似蚂蚁去摞火炭，肯定会烧伤自己。

测试二：我输入：“今晚去边度打边炉啊？” 模型回复：打边炉即系食火锅啦！我推荐你去XX火锅店，啲牛肉好新鲜，汤底又正！

第一个测试里，模型不仅知道这是歇后语，还能解释它的含义。第二个测试里，它知道“打边炉”就是吃火锅，还能给出推荐。这已经超出我的预期了。

2.3 粤语拼音与用字

粤语有些字和普通话不一样，比如“嘅”（的）、“咗”（了）、“佢”（他/她）。模型对这些特殊用字的处理怎么样呢？

我故意混合使用了一些粤语用字：

我输入：我琴日去咗书店，买咗几本关于人工智能嘅书。佢哋写得好详细，对我好有帮助。

模型回复：听起来好充实啊！人工智能系一个好有意思嘅领域，而家发展得好快。多睇啲书确实可以帮助我哋跟上时代嘅步伐。你睇完有冇咩特别嘅收获啊？

模型完全理解这些粤语用字，而且在回复中也自然使用了“嘅”、“咗”、“睇”（看）等字。更难得的是，它还能根据上下文进行连贯的对话，问我看完书有什么收获。

3. 四川话（川普）理解能力测试

四川话和粤语差别很大，测试起来又是另一种感觉。四川话的特点是生动、形象，有很多独特的表达方式。

3.1 基础理解测试

先来点简单的：

我输入：你吃饭没得？今天天气巴适得很！

模型回复：还没吃哦，正准备去整点吃的。今天这个天气确实安逸，太阳晒起暖洋洋的。

“没得”、“巴适”、“安逸”——这些典型的四川话词汇，模型都理解得很到位。而且回复中的“整点吃的”也很地道。

3.2 四川话特色表达

四川话有很多特色表达，我挑了几个来测试：

测试一：程度副词

• 我输入：这个菜辣得恼火！
• 模型回复：哈哈，四川菜确实以麻辣出名。如果觉得太辣，可以配点米饭或者喝点酸奶解辣。

“恼火”在这里不是生气的意思，而是表示“非常”、“极其”。模型理解了这个用法，还给出了实用的建议。

测试二：动词搭配

• 我输入：我手机搞落了，咋个办嘛？
• 模型回复：先不要慌，你可以试试用查找手机的功能，或者问问周围的人有没有看到。以后要注意保管好随身物品哦。

“搞落了”就是“弄丢了”的意思，“咋个办嘛”是“怎么办啊”。模型不仅理解了，还给出了具体的解决方案。

3.3 川普对话连贯性

为了测试模型的对话能力，我模拟了一段较长的川普对话：

我：你晓不晓得最近哪家火锅店味道正宗？ 模型：听说春熙路那边有家老字号，锅底炒得香，菜品也新鲜。 我：贵不贵哦？我们三四个人吃。 模型：人均大概七八十，不算贵。他们最近还有团购，更划算。 我：要得，那就去试一哈。你推荐点啥子菜？ 模型：毛肚、鸭肠、黄喉这些经典菜肯定要点，他们的牛肉片也很嫩。

这段对话里，模型保持了很好的连贯性，从推荐店铺到询问人数、估算价格、推荐菜品，逻辑很清晰。用的词也很地道，“要得”（好的）、“试一哈”（试一下）、“啥子”（什么）都是地道的四川话。

4. 混合方言与普通话测试

在实际交流中，我们经常是普通话和方言混着说，特别是年轻人。所以我也测试了这种混合情况。

4.1 粤普混合

我输入：我今日去咗深圳见客户，个project倾得七七八八了，应该没问题。

模型回复：恭喜啊！project进展顺利就好。深圳而家发展得好快，每次去都觉得有唔同。

这句话里，“今日”、“咗”、“个”、“倾”、“七七八八”是粤语，“深圳”、“客户”、“project”、“没问题”是普通话或英语。模型完美理解了这种混合，回复也是粤普混合，很自然。

4.2 川普混合

我输入：这个代码bug我整了一下午，脑壳都整大了，还是没找到原因。

模型回复：调试代码确实有时候让人头疼。你可以试试打印一些中间变量，或者用调试工具一步步跟踪，可能更容易找到问题所在。

“整”、“脑壳整大了”是四川话，“代码”、“bug”、“调试”是专业术语。模型既理解了方言部分，也理解了技术部分，回答很专业。

4.3 方言识别与切换

我还测试了模型能不能识别出我在用哪种方言：

我输入：你识唔识讲四川话？（粤语：你会不会说四川话？）

模型回复：我识听少少四川话，但讲得唔系好标准。四川话好有意思，好多生动嘅表达。

模型识别出这是粤语问题，用粤语回答，并且承认自己四川话说得不好。这种语言意识的体现，在1.8B的小模型上很难得。

5. 测试结果分析与总结

5.1 方言理解能力总结

经过这么多轮测试，我对Qwen1.5-1.8B-Chat-GPTQ-Int4的方言理解能力有了比较全面的认识：

做得好的地方：

1. 基础词汇理解准确：对粤语的“食咗”、“唔该”、“几多钱”，四川话的“巴适”、“安逸”、“咋个”等基础词汇理解很到位
2. 上下文连贯：不是孤立地理解单个词汇，而是能结合上下文理解整句话的意思
3. 文化相关理解：对粤语歇后语、四川话特色表达有一定的理解能力
4. 混合语言处理：能很好地处理普通话和方言混合的情况
5. 回复自然度：回复的语言风格比较贴近方言的使用习惯

还有提升空间的地方：

1. 深层次文化内涵：对于一些包含深层文化背景的表达，理解可能不够深入
2. 方言变体处理：粤语有广府话、潮汕话等变体，四川话也有成都话、重庆话等区别，模型可能无法区分
3. 非常用表达：一些不太常用的方言俚语，模型可能没接触过

5.2 技术层面的观察

从技术角度看，这个小模型在方言理解上的表现让我有些意外。通常我们认为，模型越大，理解能力越强。但Qwen1.5-1.8B-Chat-GPTQ-Int4证明，小模型通过精心设计和训练，也能在特定任务上有不错的表现。

GPTQ-Int4量化技术在这里起到了关键作用。它让模型在保持较好性能的同时，大大降低了运行成本。对于方言理解这种需要快速响应的交互场景，速度优势很明显。

5.3 实际应用价值

这种方言理解能力在实际应用中很有价值：

1. 本地化服务：在广东、四川等方言区，可以提供更接地气的智能客服
2. 文化传承：帮助年轻人学习和理解方言，保护地方文化
3. 无障碍交流：让不熟悉普通话的人群也能享受AI服务的便利
4. 内容创作：辅助创作方言内容，比如方言短视频脚本、方言节目文案等

5.4 使用建议

如果你想用这个模型处理方言相关任务，我有几个建议：

1. 明确使用场景：如果是日常对话、简单问答，这个模型完全够用。如果是专业的方言研究、深层次文化分析，可能需要更大的模型或专门训练的模型。
2. 适当引导：在对话开始时，可以明确告诉模型你希望用什么方言交流，这样它能更好地调整回复风格。
3. 混合使用：对于复杂话题，可以先用方言建立亲切感，然后用普通话确保准确性。
4. 耐心调试：如果遇到不理解的情况，换个说法再试一次，模型可能会给你惊喜。

6. 写在最后

测试完Qwen1.5-1.8B-Chat-GPTQ-Int4的方言理解能力，我最大的感受是：AI正在变得越来越“接地气”。

以前我们总觉得AI是高高在上的技术，说的是标准的“机器语言”。但现在，它开始能理解我们的“土话”，能听懂街坊邻居的闲聊，能get到方言里的幽默和智慧。这种变化很微妙，但意义重大。

这个小模型在方言理解上的表现，虽然还有提升空间，但已经迈出了重要的一步。它让我们看到，AI不仅可以处理标准的、规范的语言，也能拥抱多样的、生动的、充满生活气息的表达方式。

技术的发展最终是为了服务人，而服务人就要理解人——理解人的语言，理解人的文化，理解人的情感。方言作为地方文化的重要载体，它的价值正在被重新认识。而AI在方言理解上的进步，让我们看到了技术人文关怀的一面。

如果你也对方言AI感兴趣，不妨自己部署试试。从简单的问候开始，慢慢尝试更复杂的对话。你会发现，和AI用家乡话聊天，是件挺有意思的事。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。