Article Focus

内容阅读与观点延展

以清晰阅读路径承载正文、上下篇与推荐内容,让深度文章浏览更加专注自然。

押注记忆原生,MemT 1.0 破局养成系 AI 下半场内容展示

当前位置为资讯正文页面,可继续阅读上下篇或进入推荐阅读区域。

押注记忆原生,MemT 1.0 破局养成系 AI 下半场

用 AI 最让人崩溃的瞬间,莫过于你花半天纠正它把任务做对,换个新会话,它转头又踩进同一个坑里。模型做过了事,却没变成它的成长。跑通单次任务之外,它真正缺的是把反馈转化为经验,并在之后主动调用。 这种割裂在 Meta Muse、OpenAI Dots 与 xAI Grok Bot 掀起的私人助理热潮中格外明显:主流的外挂检索最多算翻查静态备忘录,没法把调教过程沉淀为行事默契,而这恰恰是长期助理最核心的门槛。 今天,记忆张量正式发布并开源 MemT 1.0 记忆原生大模型。 它和外挂方案最大的不同,不只是让记忆脱离了外挂模块,内化进底层架构,更在于模型通过训练,自己学会了如何读写、更新和调用记忆,让经验积累本身成为模型能力的一部分。 把记忆,写进模型的骨子里 市面上多数方案喜欢把存聊天记录当成记忆,但存下流水账,应付不了真实世界的动态交互,离真正的助理也还差得远。 MemT 1.0 的技术报告中就提到一场硬核的测试:用户先给出展览原定时间,随后敲定周日正式改期,中间还顺嘴提了一条未被采纳的周一备选方案。此后双方东拉西扯聊了五百多轮、攒下约 6.6 万 token 的聊天记录,期间再未提过展览半个字。 如果靠传统外挂检索,面对跨度这么长的多版本信息,极易把闲聊当定论;但 MemT 1.0 在完全脱离原始文本的「闭卷」状态下,依然准确报出了原定与改期时间,明确指出场地、票价和联系人未变,将周日定论与周一备选分得清清楚楚。 之所以能做到这一点,是因为 MemT 1.0 走了一条「记忆原生」的技术路线。 图| Code:https://github.com/MemTensor/MemT-1.0 Model:https://huggingface.co/collections/MemTensor/memt-1 在架构设计上,MemT 1.0 将模型的脑力拆分为两块: 主干网络(通用能力): 就像 AI 的出厂设置,装载着它对这个世界的通用认知。 动态记忆状态(独立记忆): 相当于模型在具体交互轨迹中实时演进的「专属工作状态」,不同用户或任务之间彼此独立,在持续交互中动态吸收新信息与经验,并直接参与后续每一轮生成计算。 面对不断涌入的交互信息,MemT-1.0 无需重新训练整个大模型,在每轮对话结束时,直接通过 token 级别的更新机制刷新记忆状态。至于哪些该留、哪些该改,则交由模型在训练中学出的一套门控机制自主决断。 这就解释了前文那场五百多轮的测试里,模型为什么能自动滤掉闲聊噪音,在日程变更时覆盖过时状态、锁定周日定论。到了后续对话与任务执行中,并行记忆注意力机制又会随时提取这些沉淀下来的状态,直接参与当前计算并引导模型的下一步决策。 当然,这种精准的取舍能力没法天生自带,全靠后天硬练。 团队喂了 340 亿 token 数据,分两步打磨这套机制:先用 200 亿 token 做继续预训练,让模型试着用过去片段预测未来;再用 140 亿 token 做后训练,请来「学霸」教师模型给记忆提取打分,用误差倒逼它改进。 取舍之外,还得装得下。MemT 的记忆状态采用固定体积,持续交互只更新已有矩阵;为了在这个固定体积里装下更多细节,团队引入了 Mixture-of-Storage(MoS)架构:基座 MoE 管计算,MoS 让多位「记忆专家」分头掌管存储空间的读写分配。 这套架构+训练的组合拳,在 11 项系统记忆基准测试(覆盖长期保留、动态更新、个性化理解等维度,历史跨度从 16K 直至百万 token)中交出了一份亮眼的成绩单: 全程闭卷作答的 MemT-1.0-Flash 和 MemT-1.0-Nano 均分分别达到 50.6 和 47.0,分别领先同组最强参数化记忆基线 12.5 分和 8.9 分。 消融实验也直接印证了训练与架构的含金量。如果拿掉后训练这一步,Nano 的均分会从 47.0 直接掉到 36.3;将 MoS 记忆专家从 2 个扩充至 4 个,测试均分则最高提升了 2.7 分。 跑分之外,测试里的两个小细节更能直观说明什么才叫高质量的记忆。 约 16K token 的历史里,用户问起自己的生日,由于从没提供过,模型老实回答不知道,没有瞎编。在一段 3.3 万 token 的对话里,模型需要根据很早之前定下的规矩,来判断两个人谁有资格领工具箱。它准确核对了徽章与登记状态,判定一人合规、一人未登记。 知之为知之,记规则不漏细节,这才是可用 AI 助理的及格线。 自我持续进化,从经验闭环开始 如果把要求拔高一步:过去的踩坑教训,真能改变模型在后续新任务里的做事方式吗? 为了跑通「任务产生反馈、提炼沉淀经验、再改善后续任务」的连续自我改进闭环,技术团队在真实编程场景里搭建了一套完整训练与执行链路。 第一步,先教会模型怎么把别人

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
知名记者:只要保持健康,湖人签下凯斯勒就可能会成为捡漏级操作
知名记者:只要保持健康,湖人签下凯斯勒就可能会成为捡漏级操作

Yahoo Sports记者Kevin O'Connor在节目中谈到了洛杉矶湖人引援沃克-凯斯勒(Walker Kessler)的这一操作,他表示这笔操作可能会成为一笔捡漏级的操作。 O'Connor说道:凯斯勒之所以能达到这么高的身价是有原因的。他是一名顶级的内线防守者、顶级的吃饼高手、顶级的内线终结者,以及顶级的挡拆掩护人,而且他在上赛季还开发出了接球投三分的能力。不可否认,湖人为了凯斯勒付出

切尔西转会传闻再起,但原始报道信息大量损坏难以辨认
切尔西转会传闻再起,但原始报道信息大量损坏难以辨认

关于切尔西的转会传闻再次出现,但这一次,原始报道本身存在大量损坏,难以辨认具体细节。 据 Caught Offside 报道,有一则与切尔西相关的转会消息引发关注。但从可获取的原始文本来看,内容大部分已损坏、无法阅读,因此无法确认具体涉及哪些球员、谈判进行到哪一步,也无法确认任何潜在谈判的阶段。 切尔西转会动向仍受关注 原文提到,每当有切尔西的转会报道出现,外界通常会提出几个固定问题:这是不是优先

内维尔:C罗越来越难讨人喜欢;他的声明我读一半就读不下去
内维尔:C罗越来越难讨人喜欢;他的声明我读一半就读不下去

雷速体育10月13日讯 近日,内维尔和卡拉格在主持《The Overlap》播客时,谈到了C罗退出国家队的风波。 卡拉格说:“在同一天晚上,梅西结束了他的国家队生涯,和发生在C罗身上的事做对比,这大概能完美地总结他们两个人的特点,或者说他们是哪种类型的人。或许梅西也有强烈的自我性格,或许他也在背后努力了很多,但至少他隐藏(自我)的很好。 但C罗... 看那份声明,6条还是8条,8条是吧?他想决定教

谎称出差的妻子,被别的男人送到我在的医院,那男人说救我未婚妻
谎称出差的妻子,被别的男人送到我在的医院,那男人说救我未婚妻

晚上十一点四十七分,急诊大厅刚送走一批车祸伤员,地面还留着没擦干净的血迹。我刚从抢救室出来,摘下口罩,正准备喝口水,门口忽然传来男人撕裂般的喊声。"医生!救命!快救救她!" 我抬头看过去。一个男人抱着女人冲进来,西装袖口被血浸透,怀里的女人脸色惨白,额头裂开一道口子,长发凌乱地贴在脸上。那张脸,我一眼就认出来了。是我的妻子,许知微。几个小时前,她还在微信里告诉我,自己临时被派去邻城出差,今晚可能要

一夜签裁汇总:湖人裁克内克特雄鹿裁波特 米勒5年2.09亿续约黄蜂
一夜签裁汇总:湖人裁克内克特雄鹿裁波特 米勒5年2.09亿续约黄蜂

北京时间10月20日,在新赛季揭幕日前一天,联盟迎来签约以及裁人潮,湖人官宣裁掉克内克特,雄鹿裁掉小凯文·波特,火箭一裁两签调整阵容,米勒5年2.09亿美元提前续约黄蜂,独行侠裁掉鲍威尔。 湖人官宣裁掉克内克特 湖人正式裁员缩减大名单,湖人已经裁掉了2024年首轮17号秀克内克特;裁员后湖人大名单缩减至18人,东契奇和里夫斯领衔开启新赛季。 去年交易截止日前,为了引援马威,湖人曾把克内克特交易到黄