GoForum🌐 V2EX

想问问大家有没有搭建本地的 LLM,我对应用场景挺困惑的

vtea · 2025-12-28 22:05 · 0 次点赞 · 4 条回复

现在大语言模型挺火,我平时用的都是在线的 chatgpt 、deepseek 之类。

最近看到 AMD AIMAX 395 什么的,我在想是否自己组一个,本地搭建一个蒸馏模型。

但除了隐私数据安全相关问题,像我这样普通人,也想不出本地应用场景的优势。

4 条回复
donaldturinglee · 2025-12-28 22:45
#1

本地跑小模型玩一玩,学习一下原理,真要在生产环境用肯定是组卡或者买 API 。

crocoBaby · 2025-12-28 22:50
#2

本地部署只玩到推理,但是 ai 含金量高的技术是预训练,所以本地部署使用场景有点鸡肋

vtea · 2025-12-28 23:25
#3

@donaldturinglee 也是,平时使用,我看买会员那种也还行 @crocoBaby 预训练对我来说太难了,我只想过用 llm 来推荐买基金的时间点

xiaket · 2025-12-28 23:35
#4

^用正常模型来给一个程式化的判据, 而不是每次需要依赖不那么可靠的本地模型来预测

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: vtea
发布: 2025-12-28
点赞: 0
回复: 0