66读书

日日新多模态大模型：ai终于能像人一样能看能听能干活（第2页）

这章没有结束，请点击下一页继续阅读！

比如你对着它说“帮我把空调温度调高一点，我有点冷”，它不仅能把这句话转成文字，还能理解“冷”是情绪和需求，然后直接向智能家居发送“调高空调温度”的指令；如果是客服场景，客户带着怒气说“我的快递三天了还没到，你们怎么搞的”，日日新能听出客户的愤怒情绪，还能结合订单信息（文字）、快递物流轨迹（图片），给出“抱歉让您久等了，快递员正在派送，预计半小时内送达”的安抚式回复，比人工客服的反应还快。

更绝的是“音视频结合理解”：给它看一段电影片段，它能听懂角色的台词、背景音乐的情绪，还能结合画面里的表情、动作，分析出“这段情节是主角的内心挣扎，背景音乐的低沉旋律强化了悲伤的氛围”；甚至能根据这段分析，生成一段新的电影解说文案，还能配上合适的背景音乐。

这种能力在教育、娱乐领域特别吃香：比如在线教育里，日日新能听懂学生的提问，结合课件里的图片、文字，用语音和文字结合的方式解答；在短视频创作里，它能根据博主的口播语音，自动匹配相关的图片、视频素材，还能生成字幕和背景音乐，让创作效率翻倍。

3. 本事三：“过目不忘”——长时记忆在线，能处理复杂任务

传统AI模型还有个大毛病——“健忘”，处理超过几分钟的任务就会“断片”。比如让它根据一段10分钟的会议视频写总结，它可能只记住开头和结尾的内容，漏掉中间的关键决策；让它指挥机器人组装一个零件，做到一半可能就忘了下一步该干啥。

但日日新靠自研的长时记忆架构，彻底治好的“健忘症”。它就像有个“无限大的笔记本”，能把接收到的文字、图片、视频、音频信息都存下来，而且能随时调取、整合。比如让它分析一场2小时的行业论坛直播，它能全程记录嘉宾的发言、PPT里的图表、观众的提问，最后生成一份包含“核心观点、数据支撑、争议问题”的完整报告，连嘉宾随口提的一个案例都不会漏掉。

在机器人领域，这个能力更关键：日日新能记住机器人的每一个动作和环境变化。比如机器狗在工厂巡检，它能记住每台设备的位置、已经检查过的区域、发现的故障点，就算中间被派去处理突发情况，回来也能接着完成巡检，不会重复检查或遗漏区域；甚至能根据记忆里的设备数据，预判“某台设备明天可能出现故障”，提前生成巡检计划。

这种长时记忆能力，让日日新能处理越来越复杂的任务——从简单的“文字翻译”“图片识别”，升级到“会议总结”“机器人调度”这些需要长期信息整合的工作，真正从“工具”变成了“助手”。

4. 本事四：“说干就干”——能生成、能指挥，还能对接物理世界

如果说“看懂、听懂、记住”是日日新的“软实力”，那“能生成、能指挥”就是它的“硬实力”。它不光能理解信息，还能把理解转化成“输出”——生成文字、图片、视频、3D模型，甚至能直接向机器人发送指令，让AI从“只会想”变成“会动手”。

先说说内容生成能力：日日新能做的远不止“文字写作文、图片画插画”。它能生成4K高清的短视频，比如给它一个主题“春天的公园”，它能生成包含“花开、鸟鸣、游人散步”的动态视频，还能配上背景音乐和字幕；它能生成3D工业模型，比如输入“一台三轴机床的设计要求”，它能直接生成可用于生产的3D图纸，连零件的尺寸、材质都标注得清清楚楚；它还能生成代码，比如告诉它“做一个简单的电商网页登录界面”，它能写出对应的HTML和CSS代码，还能实时预览效果。

更关键的是对接物理世界的能力：日日新和商汤的开悟世界模型3.0、大晓机器人深度联动，能把虚拟世界的理解转化为现实世界的动作。比如它通过摄像头看到工厂里“螺丝松了”，会先分析“需要用十字螺丝刀拧3圈，用力5牛”，然后把这个指令发送给机器狗，机器狗收到后就会精准完成拧螺丝的动作；它看到快递仓库里“货架上的货物摆放混乱”，会生成“先把零食类货物移到第一层，日用品移到第二层”的搬运计划，再指挥搬运机器人按计划干活。

这种“从数字理解到物理行动”的能力，是日日新和其他多模态模型最核心的区别。很多AI模型只能在电脑里“画饼”，而日日新能把“饼”做出来，真正走进工厂、仓库这些物理场景，解决实际问题。

三、日日新的“中国芯”：为啥适配国产芯片这么重要？