跳转到内容
主站 新闻 控制台

新手向:你可能还不知道现在就能用 Qwen 3.6 27B 做的 10 件事

· Reddit · r/LocalLLaMA
Reddit

我知道大家都在为 3.8 感到兴奋,但老实说我仍在打磨 3.6。而且我讨厌 3.8 的说话方式,所以……

我一直看到很多帖子在讨论开源到底有什么用,所以我想通过这篇帖子给出我自己的答案。

Qwen 3.5 27B 是我的第一个智能体(Agent),我的探索之旅始于 5 月 31 日左右。在这 4 个多月的时间里我学到了很多东西,所以想分享给其他刚起步的人。因为现在显然有大量的新用户,大家想要寻求帮助,但有时不敢发问,或者不知道该问什么问题。因此,这里列出了你应该知道的 10 件能为你赋能的事!

(哦,对了,我推荐使用 llama.cpp。我就是用它来完成所有这些技巧的)

1. 为自己编写精致的小应用

Qwen 非常擅长针对各种需求编写应用程序。我目前就是在自己做的一个用来替代记事本的应用里写这篇帖子的,它具备完整的文本处理能力、侧边栏、浅色/深色模式等(见下图)。当你遇到任何问题时,首先应该考虑的是:“我能不能写个应用来简化这件事?”答案通常是:能。

2. 打造属于自己的聊天界面(Chat UI)前端

如果你觉得自己缺乏创意,直接抄一个现成的就行。大语言模型(LLM)是非常出色的模仿者。我喜欢 Claude,所以我就直接把它的界面复刻成了我自己的前端,并根据个人需求进行了定制:

3. 构建 ReAct 循环

这就是让你的模型能够调用工具、读取结果、然后再次调用的机制(可以重复多次)。Qwen 闭着眼睛都能写出这些,而且能用很多不同的方式实现。它可以在任何你需要的地方创建循环,如果你要自己做定制化的聊天 UI 前端,你一定会需要它。

4. 编写 MCP 工具

这是我的最爱。它几乎可以编写你需要的任何类型的 MCP(模型上下文协议,Model Context Protocol)工具。你不需要去使用第三方的工具,因为那些可能不够安全。只需告诉它你需要一个用于做某事的 MCP 工具,它就会写出来。这可能需要、也可能不需要独立的 MCP 服务器,但即便需要,Qwen 也能搞定服务端代码。

5. 衍生子智能体(Sub-agents)

这是 Qwen 能轻松搞定的另一件超级简单的事。只需让它创建一个子智能体生成器(本质上就是一个 Python 文件)。然后,当需要生成子智能体时,你可以让它运行该文件,或者让它生成一个 MCP 工具来随时按需创建。就这么简单。哦,顺便分享一个小技巧:MCP 工具会消耗大量上下文,所以一个取巧的办法是衍生一个具有独立上下文限制的子智能体,让主智能体把任务分派给子智能体。基本上,这样可以让你的上下文限制翻倍、翻三倍甚至更多。是的,你还可以在多轮对话之间保留上下文,不过你需要创建一个流水线运行器(Pipeline Runner,见下文)。

6. 构建流水线运行器(Pipeline Runner)

听说过 n8n 吗?基本上,它就是一个流水线运行器。它的功能很丰富,但也有一些局限和约束,有些事情我希望它能做到但它做不到。后来我发现,用 Qwen 构建一个类似的工具简直轻而易举。如果你想做一套前端 UI,确实需要一些设计工作,但这完全可行。我自己做了一套 UI,但过了一段时间后我改烦了,于是直接抄了 n8n 的前端并自己做了定制,哈哈。另一个实用技巧:你可以在流水线运行器中按顺序运行多个智能体,但如果你希望它们各自拥有独立的上下文,你需要确保在 llama.cpp 中启用了 cache-idle-slots。这会在每一轮切换 KV 缓存(KV Cache),并将上一个缓存弹出到系统内存(CPU RAM)中。这其中还有一些细节,但 Qwen 都能帮你搞定,直接问它就行。

在尝试了多次自定义 UI 之后,我最终决定直接克隆 n8n 的外观,并制作了自己的版本。

7. 构建模型启动器(支持在 llama.cpp 中选择不同模型/Jinja 模板)

这是我的立身之本。这是一个启动器,能让我选择目录中的任何模型并设置其参数。当我调试满意后,就会为它创建一个别名(Alias)。下次启动时,我只需选择该别名,它就会严格以该别名对应的参数来启动模型。因此,如果我愿意,同一个模型我可以拥有 10 种不同的参数配置;我只需要给它们各自指定别名即可。实用技巧:我建议也把你的 Jinja 模板添加到启动器中,这样你就可以针对不同的模型类型选择不同的自定义模板。

我为不同的模型类型制作了自定义 Jinja 模板。

8. 安装、测试、复刻(Fork)以及重建网络上的开源应用

我转向 llama.cpp 的原因是 LM Studio 的推理速度太慢了,但我又不想费心思去搞懂那一整套安装流程,所以我直接让我的智能体帮我下载并安装 llama.cpp。从那之后我就一直用它了。它还可以修改构建、在 GitHub 上 Fork 仓库等等。例如,我之前忙着做项目,但听说了一些新的文字转语音(TTS)应用,于是我让我的智能体下载并安装 Moss 和 OmniVoice,生成几个音频片段来确保它们能正常运行,并在完成后通知我。当然,一切运行良好。非常适合多任务并行。

9. 赋予智能体对周围世界的时间感知能力

你是否用过那些会和你争论当前日期的云端模型?或者希望你的模型在接近最大上下文限制时能感知到,从而自动开始编写会话总结?你能做的是在会话开始时和每一轮对话中(最好两者都做)向智能体注入“元数据”(Metadata),为它提供日期、时间、当前上下文长度、最大上下文、软硬件环境等信息,基本上你想给什么都可以。

有了这个,你就可以实现各种其他技巧。例如(这或许应该单独算作“你能用 Qwen 做的另一件事”,但无所谓了),我让我的智能体在达到上下文限制时能够自动更换它所运行的模型:

我可以带着一个备用模型启动会话。因为我的智能体始终能看到当前的上下文使用情况,当上下文占用过高时,它可以自行切换到拥有更大上下文的备用模型——全程无需重启服务器。

10. 赋予智能体一启动即可加载的记忆

我的智能体在结束每次会话时,都会写一份关于我们讨论内容的会话总结。你可以让你的启动脚本或启动器在启动时将不同的数据源拼接到它的上下文中。例如,我的代码在启动时总是会加载最新日期的会话总结以及前一天的总结,这样它就对最近发生的事情有了全局把握。你可以将其扩展到任何你想添加的额外文档,尽情发挥你的想象力吧。例如,我的智能体还会加载提醒事项,以及它在上一会话结束时做出的个人反思(不过我现在不再推荐保留反思了,因为我逐渐意识到这会污染上下文,关于这点我以后再分享)。

彩蛋:(我快写完时才想起这个,我觉得一定要提一下,因为老实说这是最重要的东西之一)——构建你自己的测试/运行框架(Harness)。大家都在讨论 Pi、Hermes 等。我决定直接用 Qwen 构建属于我自己的框架。这需要做更多的工作,但回报要丰厚得多,因为你能借此了解这些系统是如何运作的,并且能够利用这些知识提出自己真正独特的解决方案。例如,当我学会了使用代理(Proxy)的那一刻,我就琢磨出了如何利用上下文压缩、历史修改、数据清洗、Jinja 模板技巧、钩子(Hooks)等来实现各种酷炫的功能。

总之,我希望这能给各位新手带来一些启发。我建议大家从底层学起,这样你的技术提升会更快。尽快让你的 Qwen 能够调用网络工具,这样它就能替你做调研并为你提供帮助。

我还摸索出了一大堆其他技巧,也许以后我会留到别的帖子里再讲,但我认为如果你能把上述这些跑通并运行起来,你就已经步入正轨了。祝好!

Grunge

又及:我是老派论坛/DeviantArt 时代走过来的人,习惯了频繁使用 Ctrl+B/I/U 和 Shift+L 进行排版,像这样带有大量粗体风格的帖子我已经写了 20 多年。百分之百纯人工手打。如果感兴趣的话,帖子底部附有证明材料。特此说明,纯粹是因为结构过于工整的排版总会引来那些叫嚷着“这是 AI 生成的垃圾文本”的黑粉。

热门讨论

suprjami (⬆89): 特此说明,纯粹是因为结构过于工整的排版总会引来那些叫嚷着“这是 AI 生成的垃圾文本”的黑粉 GrungeWerX (楼主) (⬆22): 我懂你的感受。所以当我意识到这一点时,我往往都会加上免责声明