值得花时间的长内容,AI 深度解读

深度内容库

AI 初评仅用于阅读优先级,不代表事实核验或人工审定。

筛选内容
话题
更多
AI 初评
我每天必用的AI工具
未知 YouTube ↗
Y YouTube · 未知

我每天必用的AI工具

AI 初评 · 推荐 个人效率
背景介绍

背景:这场对话从哪里出发 视频创作者是一位AI教育公司的创始人,日常需要管理团队、开发产品、制作内容。她分享的不是“最火的AI工具”,而是“每天实际在用的工具”,并按生活场景分类。核心哲学是:深度掌握少数工具,胜过浅尝辄止多数工具。 核心论点 家庭基础:三个核心工具 Claude Cowork:本地AI代理,用于构建自定义工作流和自动化,无需编码。她每天早上用它生成简报,整合邮件、Slack、日历、投资组合。还构建了投资仪表盘和研究工作流。 Claude Chat:通用聊天机器人,用于日常问答(如连接鼠标、查找歌曲、规划旅行)。 Perplexity:通用搜索工具,用于获取跨来源的客观答案(如“扁平足最佳运动鞋”)。她特别提到,在香港Claude和Gemini被屏蔽,而Perplexity无需VPN即可使用。 构建者地牢:开发与自动化 分为两类: AI编码工具:深度开发用Claude Code、Cursor、Codex、Warp的组合;快速原型用Bolt;业务专用用Retool。 代理工具:本地AI代理(Claude Cowork、Hermes)用于构建工作流;无代码代理构建用n8n;代码代理构建用OpenAI Agents SDK。 她强调,为了支持本地运行,办公室配备了64GB RAM的M4 Mac Studio,可运行Qwen、LLaMA等开源模型,兼顾隐私、本地化和免费。 章鱼总部:团队管理与商务 团队10+人,多数远程。工具分为: 管理与沟通:Cowork用于追踪Discord、Notion、Slack通知;Notion AI用于文档检索;Google生态(Gemini嵌入)用于会议转录和总结;Whisperflow用于语音输入。 商务后台:会计、银行、税务等内部工具由团队自行构建,使用本地AI模型,确保隐私和定制化。她坦言讨厌这些事务,但AI工具让它们变得可忍受。 内容工作室:克制使用AI 作为AI创作者,她在内容制作上反而低AI依赖: Hermes:用于追踪AI话题趋势,从Reddit、X、Hacker News等平台收集信息,当话题热度达到阈值时提醒她,并生成研究大纲。但她会亲自深入调研、使用工具、拍摄和编辑。 Cowork:用于生成视频中的图形资产。 AI Tina:内部聊天机器人,基于她所有社交媒体内容训练,团队可用它快速获取信息(如“Tina的提示工程框架是什么”),但决策仍需她本人。 她强调,内容的人类触感很重要,100%人工拍摄和编辑。 关键案例 / 数据 Mac Studio配置:64GB RAM,M4芯片,可运行本地开源模型(Qwen、LLaMA、GLM、MiniMax)。 Hermes工作流:追踪AI话题,当“企业AI采用与实际影响”等话题热度上升时,自动提醒并生成研究大纲。 AI Tina:基于所有已发布社交媒体内容训练,能回答“Tina的两个提示工程框架是什么”,答案是“tiny crabs ride enormous iguanas”和“ramen saves tragic idiots”。 结论与行动框架 结论:AI工具的价值不在于数量,而在于与个人生活场景的深度契合。核心工具应深度掌握,而非追逐潮流。在内容创作等需要人类触感的领域,应克制使用AI。 行动框架: 分类:将自己的生活分为2-4个核心场景(如基础、工作、团队、创作)。 精选:每个场景选择1-2个工具,花时间学透。 本地优先:对于隐私敏感或定制化需求,考虑本地开源模型。 人机分工:AI用于信息处理,人类保留创意和决策。

Gusto AI 联合创始人:解决空白画布问题
未知 YouTube ↗
Y YouTube · 未知

Gusto AI 联合创始人:解决空白画布问题

AI 初评 · 强烈推荐 AI 产品 嘉宾 1
背景介绍

背景:这场对话从哪里出发 Gusto 是一家为美国小企业提供薪资、HR 和合规服务的公司,年收入超过 10 亿美元,服务超过 50 万小企业。联合创始人 Eddie Kim 亲自领导技术团队,并动手构建了一个名为 Gusto Co-founder 的新 AI 产品。这个产品旨在自动化小企业的日常业务流程,从薪资计算到天气提醒,通过 SMS 或 Slack 交互,让老板们无需登录系统就能完成操作。 核心论点 空白画布问题:AI 产品的隐形杀手 Eddie 指出,大多数用户(包括他自己)使用 AI 的方式仍然停留在“高级搜索引擎”阶段——问一个问题,得到一个回答。尽管业界一直在谈论“智能体”(agent),但真正的智能体体验从未普及。原因在于,当用户面对一个功能强大但空白的 AI 工具时,他们不知道从何开始。这就是“空白画布问题”。 Gusto 的解法是:不要从空白画布开始,而是从用户已经在做的事情出发。Gusto 已经掌握了小企业的薪资、考勤、合规等数据,因此可以主动建议自动化方案,比如“我可以帮你自动运行每周的薪资计算,你只需在 SMS 上确认”。这样,用户不需要思考“我能用 AI 做什么”,而是直接被告知“AI 能为你做这些”。 从原型到产品:5 人 10 周的故事 Eddie 的个人经历是这期内容中最生动的部分。他在一次航班延误中,利用 Claude Code 在 5 小时内构建了一个原型——一个能让用户通过自然语言描述需求、自动生成 CRUD 应用的平台。回到公司后,他展示了这个原型,并逐渐将其演变为 Gusto Co-founder。 最令人印象深刻的是开发过程:团队只有 5 人(包括 Eddie 自己),没有会议、没有技术规格文档、没有 Figma 设计稿,只有一个 24/7 的 Zoom 房间和 Claude Code。设计师也能写生产级代码,工程师也做设计,所有人共享一个目标:写代码并提交。10 周后,产品正式发布。 AI 时代的开发新范式:快速试错优于前期规划 Eddie 强调,AI 让代码变得极其廉价,因此开发方式需要改变。传统方法中,写文档、做设计、开评审会可能需要数周,而 AI 时代,你可以直接写代码实现一个想法,如果不对就删除重写。即使只有 50% 的命中率,也比传统流程快得多。 但他也警告,AI 时代更需要产品纪律。因为能做的事情变多了,团队必须更聚焦,否则会陷入“功能膨胀”的陷阱。他的建议是:先写出所有可能的实现,然后通过讨论和实际体验来筛选,而不是在抽象层面争论。 关键案例 / 数据 Gusto 的规模:年收入超 10 亿美元,服务 50 万小企业,美国每 5 家新创业公司中就有 1 家是 Gusto 客户。 开发效率:5 人团队(4 名工程师 + 1 名设计师),10 周从零到发布,无文档、无会议、无 Figma。 客户案例:一家名为 Cabana Pools 的公司,通过 Gusto Co-founder 发现了 5 万美元的研发税收抵免,而他们之前完全不知道这个政策。 自动化示例:一家旅游公司设置自动化:每天早上检查天气,如果下雨,自动给当天所有客户发邮件提醒带伞。 结论与行动框架 这期内容最终回答了一个核心问题:AI 产品如何跨越从“有趣”到“有用”的鸿沟? 答案是:利用已有数据和场景,主动降低用户的启动门槛。 对于读者,可以采取以下行动: 如果你是产品经理:审视你的产品是否面临“空白画布问题”。如果是,考虑预设高价值工作流,让用户一键启用。 如果你是创业者:寻找拥有数据壁垒的领域,AI 产品的最佳切入点不是通用能力,而是特定场景的深度自动化。 如果你是技术领导者:亲自体验 AI 工具(如 OpenClaw),理解阅读与体验之间的差距。同时,鼓励团队采用“先写代码再讨论”的快速迭代方式。 如果你是小企业主:关注 Gusto Co-founder 这类产品,它们能帮你节省大量重复性工作,让你专注于业务增长。

Zynga创始人:消费级产品现在不值得投资,所以你应该去造
未知 YouTube ↗
Y YouTube · 未知

Zynga创始人:消费级产品现在不值得投资,所以你应该去造

AI 初评 · 强烈推荐 AI 创业 嘉宾 1
背景介绍

背景:这场对话从哪里出发 Mark Pincus是Zynga创始人,也是社交游戏时代的标志性人物。他创办过5家公司,其中两家上市,经历了从拨号上网到移动互联网再到AI的三次技术浪潮。他的新书《Life at the Speed of Play》总结了一套从产品管理到公司治理的完整方法论。在与YC合伙人(主持人)的对话中,他分享了当前AI浪潮下消费级产品的机会、产品创新的'Proven Better New'框架、创始人模式的真谛,以及对AI成本下降曲线的预判。 核心论点 消费级产品的悖论:最不被看好时,机会最大 Pincus指出,当前风险投资极度偏好企业级AI,消费级产品被认为'不值得投资'。但他认为这恰恰是创业者的黄金窗口。他回顾了1999年互联网泡沫后,消费级互联网被普遍看衰,但eBay和Amazon正是在2002年开始真正起飞。同样,现在AI推理成本高昂(每月1000美元才能获得真正的智能体验),但成本正在指数级下降。他预测消费级AI革命将在2029年左右到来,因为推理成本需要三个数量级的下降才能实现'免费无限智能'。 'Proven Better New':产品创新的可操作框架 这是Pincus书中的核心方法论。他建议创业者将产品拆解为三部分: Proven(已验证):合法复制市场上已被验证的做法,不要浪费时间重新发明轮子。例如,如果Granola是成功的AI笔记应用,就复制它的基础功能。 Better(更好):在用户明确说'更好'的维度改进,比如更快、更便宜、更少摩擦。'更好'必须是10个现有用户中有10个会认同的改进。 New(全新):这是创新的核心,但也是最可能失败的部分。Pincus建议假设'新'的想法大概率是错的,所以不要执着,快速测试多个方向。 他特别强调,'新'的部分就像'盒子背面'——它吸引用户尝试,但用户留下来是因为'Proven'和'Better'的部分。 创始人模式:给自己做自己的许可 Pincus对Brian Chesky提出的'创始人模式'深表认同。他认为创始人模式的核心不是微观管理,而是给自己做自己的许可。创始人成为创始人是为了押注自己,但很多人在融资和招聘过程中不断妥协,最终建了一个自己都不想住的房子。 他分享了一个关键洞察:创始人需要创造一种文化,让团队接受你每周改变主意。 他承认自己有时像三年级足球赛,每周一爱上不同的想法。但关键在于提前与团队对齐:'我们的使命没有变,但战术高度在变。今天我们在5000英尺,明天可能降到1000英尺。' 这种'智力诚实'的文化让团队能够快速转向而不士气低落。 '鱼群来了':识别产品市场契合的真实信号 Pincus用'鱼群来了'比喻产品找到市场契合时的状态:所有反馈回路都在说'是',团队不需要被催促就会通宵工作。他警告,当产品不对时,数据是模糊的、可辩论的;当产品对了,信号是清晰的、压倒性的。创业者应该'慢下来才能快起来'——先获得真正的信念,然后所有人都会快速行动。 关键案例 / 数据 Freeloader(1995):Pincus的第一家公司,提供免费屏幕保护程序,两个月内获得200万下载。'免费'模式第一次被验证。 Zynga与社交游戏:当时游戏行业规模230亿美元,模式是去商店买60美元的盒装游戏。Zynga推出免费游戏,通过虚拟物品变现,创造了全新品类。 Napster的启示:Pincus提到Napster让他第一次感受到'通过网络看到彼此'——450万台机器连接在一起,这是社交网络的雏形。 Tribe的失败:Pincus在Facebook之前创办了社交网络Tribe,但失败于'信任'问题。Facebook通过.edu邮箱解决了信任,而他没有。 AI成本曲线:Pincus引用Jeff Dean的预测,推理成本将有10,000倍的下降空间。当前每月1000美元的AI体验,未来将降至免费。 结论与行动框架 Pincus的核心结论是:消费级AI的黄金时代尚未到来,但创业者现在就应该开始构建。 当推理成本下降三个数量级时,所有服务都将被重新定义。 对创业者的行动建议: 用'Proven Better New'框架快速验证想法:不要试图一切从零创新,先复制已被验证的部分,在用户明确说'更好'的维度改进,然后大胆测试全新的想法。 关注成本曲线:找到那些'当AI免费无限时,服务会完全不同'的领域,现在就开始构建,等待成本下降。 建立'智力诚实'的文化:允许创始人每周改变主意,但确保团队理解这是战术调整而非战略漂移。 不要被融资环境左右:当所有人都说消费级不值得投资时,恰恰是创业的最好时机。历史证明,最伟大的消费级公司往往诞生于资本寒冬。

AI 智能体的语音交互:三种集成模式
未知 YouTube ↗
Y YouTube · 未知

AI 智能体的语音交互:三种集成模式

AI 初评 · 推荐 AI 前沿 嘉宾 1
背景介绍

背景:这场对话从哪里出发 Andrew Ng 与 Vocal Bridge CEO Ashwin Sharma 合作推出了一门关于 AI 智能体语音交互的课程。语音交互长期被视为“下一个大事件”,但技术实现上一直存在延迟与可靠性的矛盾。课程旨在解决这一痛点,并系统性地教授三种集成模式。 核心论点 语音交互的三个集成模式 课程提出了三种将语音融入 AI 智能体的模式,覆盖从紧密耦合到松耦合的多种场景: 嵌入模式:语音与图形界面深度融合,用户可同时使用语音和鼠标点击。例如构建一个语音交互游戏,智能体在同一通道中同步响应语音命令和点击操作。这种模式适合需要多模态输入的应用,如教育、游戏。 附加模式:为现有智能体添加语音能力,无需重写后端逻辑。只需约 10 行代码,语音层负责将语音转换为意图,后端逻辑保持不变。这种模式极大降低了迁移成本,适合已有文本/图形界面的智能体。 工具模式:语音作为智能体可调用的工具。智能体可以自主决定何时拨打电话与用户对话。例如,智能体在需要时调用“拨打电话”函数,直接与用户进行语音交流。这种模式将语音提升为智能体的主动行为,适用于客服、提醒等场景。 延迟与可靠性的平衡 过去,实时语音交互面临两难:追求低延迟则牺牲可靠性(如语音识别错误),追求高可靠性则延迟增加。课程声称其方案能同时实现快速和可靠,但未透露具体技术细节。这暗示了底层可能采用了端到端模型或优化的流式处理。 语音作为 UI 变革的下一波 Andrew Ng 指出,每一次重大 UI 变革都催生了新应用:鼠标带来图形界面,触摸屏带来移动应用,语音正在开启新一代应用。这一类比强调了语音交互的战略意义,而非仅仅是技术改进。 关键案例 / 数据 10 行代码添加语音:附加模式中,为现有智能体添加语音仅需约 10 行代码,展示了极低的集成成本。 语音交互游戏:嵌入模式的示例,智能体同时响应语音和点击,验证了多模态同步的可行性。 智能体拨打电话:工具模式的示例,智能体主动呼叫用户进行对话,展示了语音作为行为的可能性。 结论与行动框架 课程的核心结论是:语音交互不再是“未来”,而是“现在”,且集成难度已大幅降低。对于开发者,行动框架如下: 评估现有应用:如果应用需要多模态交互,优先考虑嵌入模式;如果已有智能体,用附加模式快速添加语音;如果需要智能体主动沟通,采用工具模式。 关注延迟与可靠性的平衡:选择经过优化的语音平台,避免自行处理底层复杂性。 将语音视为界面而非功能:语音交互应作为产品设计的核心考量,而非事后添加的配件。

无头软件:企业SaaS的终结还是新生?
未知 YouTube ↗
Y YouTube · 未知

无头软件:企业SaaS的终结还是新生?

AI 初评 · 强烈推荐 AI 商业 嘉宾 2
背景介绍

背景:这场对话从哪里出发 2025年初,Salesforce宣布推出“Headless 360”产品,允许用户通过API而非传统UI访问CRM数据。这一举动被解读为传统SaaS巨头对AI代理时代的回应。a16z播客邀请企业投资合伙人Sema Amble和董事会合伙人、前微软高管Steven Sinofsky,共同探讨“无头软件”的真实含义、企业软件的粘性来源,以及AI时代创业公司的真正机会。 核心论点 什么是“无头软件”?——定义之争 “无头软件”并非新概念,它本质上是将用户界面(UI)与底层的数据和业务逻辑分离。在AI代理时代,代理不再需要人类友好的图形界面,而是通过API直接访问数据。Sema指出,Salesforce的“Headless 360”更多是营销层面的品牌重塑,其API早已存在。但这一趋势反映了更深刻的变革:当访问软件的主体从人变成AI代理时,UI的价值急剧下降,数据和逻辑成为核心资产。 Sinofsky则调侃了当前的技术术语泡沫:“代理(agent)不过是‘运行时间很长的程序’的新名字,以前我们管这叫bug。”但他严肃地指出,理解代理与API的区别至关重要。他将代理的行为分为三类: 查找(Lookup):简单查询,现有系统做得很好。 执行(Do):需要模拟用户身份、权限,涉及复杂的合规问题。 分析(Analyze):跨系统、多步骤的复杂任务,是代理最擅长的领域,但也最容易产生幻觉。 企业软件的真正粘性:不是UI,是逻辑 对话的核心洞察是:企业软件的粘性来自它嵌入的业务逻辑,而非用户界面。Sema以SAP为例,指出很多人误以为可以用Postgres数据库加API轻松替换SAP,但这是完全错误的。SAP之所以难以替代,是因为它捕获了企业运营的全部规则——从采购流程到财务核算,从库存管理到合规审计。这些规则经过多年定制,已经与企业的组织架构、决策流程深度融合。 Sinofsky补充了一个生动的例子:Larry Ellison在Oracle时代曾抱怨企业软件太愚蠢,因为每个客户都定制它。但现实是,定制不是bug,而是feature。以汽车行业为例,福特、丰田、通用都生产汽车,但它们的竞争力恰恰体现在内部运营流程的差异上——而这些差异全部被编码在SAP中。如果抽掉SAP,这些公司就失去了运营的骨架。 异常处理:企业自动化的终极挑战 两位嘉宾反复强调一个观点:企业里几乎所有有趣的事情都是异常处理。标准流程可以自动化,但真正的价值在于处理那些“例外情况”——比如一个客户要求特殊折扣、一个供应商延迟交货、一个员工报销了不合规的费用。这些例外没有被任何系统完整记录,它们存在于人的大脑、邮件、Excel表格中。 Sinofsky以麦当劳的自助点餐机为例:顾客经常在机器前放弃,因为他们的需求(比如“我要两种口味混合的麦旋风”)不在标准菜单中。企业软件也是如此——用户总是需要做系统没有预设的事情。 AI代理要真正替代人类,必须学会处理这些异常。但问题在于,异常本身是动态的、非结构化的。一个销售代表处理客户问题时,他的决策基于多年经验、对客户关系的理解、甚至当天的情绪。这些“隐性知识”无法被简单编码。 生产力悖论:自动化创造更多工作 一个反直觉的洞察是:自动化不会减少工作,而是创造新的工作。Sinofsky以亚马逊的客户服务为例:亚马逊通过AI自动化了退货流程(“你收到了错误的东西?我们直接寄一个新的给你”),但这并没有减少工作量,而是让后端团队开始分析“为什么发错货”,从而改进仓储和物流。 同样,Excel的出现没有消灭金融分析师,反而让他们从计算中解放出来,去做更复杂的建模和策略分析。AI代理也会遵循同样的路径:它不会消灭企业软件,而是让企业软件的价值从“记录数据”转向“分析数据、驱动决策”。 创业公司的机会:在巨头之间寻找空白 Sema和Sinofsky一致认为,创业公司不应该正面挑战SAP、Salesforce等巨头。巨头的优势在于它们已经深度嵌入客户的业务流程,而且它们会“把AI贴在现有产品上”而不是颠覆自己。 真正的机会在于: 连接两个巨头之间的空白:比如打通CRM和ERP之间的数据孤岛,或者连接销售和财务的流程。 在现有系统之上提供新的分析/自动化层:比如用AI代理从SAP中提取数据并生成报告,而不需要用户学习复杂的查询语言。 收集新的数据源:比如通过语音代理记录销售电话,从中提取客户意图、情绪等非结构化数据,形成新的系统记录。 Sinofsky以HTTP和HTML的例子说明:互联网之所以成功,不是因为它比客户端-服务器架构做得更好,而是它用全新的方式解决了问题。同样,AI时代的创业公司应该寻找“新方式”而非“更好方式”。 关键案例 / 数据 Salesforce Headless 360:Sema认为这更多是品牌重塑,API早已存在,但反映了行业对代理访问方式的重视。 Slackbot使用量增长300%:说明用户越来越倾向于通过聊天界面而非传统UI访问CRM数据。 Goldman Sachs的Excel故事:高盛的交易员通过定制Excel插件获得了远超微软的竞争优势,说明企业软件的价值在于用户如何应用它。 亚马逊的客户服务自动化:AI自动处理退货,但后端团队转而分析错误原因,创造了新的工作。 结论与行动框架 核心结论:无头软件不是SaaS的终结,而是企业软件价值重心的转移——从UI转向数据和逻辑。AI代理不会轻易取代SAP等巨型系统,因为真正的粘性在于嵌入的业务逻辑和异常处理能力。 对创业者的行动建议: 不要正面挑战巨头:不要试图用“AI+API”替代SAP或Salesforce。 寻找空白地带:在现有系统之间(如CRM与ERP之间)或企业内部职能之间(如销售与财务之间)寻找连接机会。 聚焦异常处理:构建能够学习、记录并自动化异常处理的系统,这是AI代理真正的价值所在。 拥抱“导出到Excel”:确保你的产品允许用户以灵活的方式导出数据,这是对抗系统僵化的最后手段。 关注数据收集:利用AI代理收集非结构化数据(如语音、邮件、文档),形成新的系统记录。

使用vLLM优化、部署和基准测试开源大模型
未知 YouTube ↗
Y YouTube · 未知

使用vLLM优化、部署和基准测试开源大模型

AI 初评 · 一般 AI 前沿
背景介绍

背景:这场对话从哪里出发 这门课程由Red Hat与Sergey Kliger合作推出,聚焦于如何高效部署开源大语言模型(LLM)。核心挑战在于:大模型(如700亿参数)仅权重就需要约140GB显存,加上KV缓存,单GPU难以承载单个请求,更不用说高并发场景。vLLM作为广泛采用的开源推理系统,提供了分页注意力、前缀缓存、量化等关键技术,旨在降低内存占用、提升吞吐量,同时保持低延迟。 核心论点 内存管理:分页注意力与KV缓存 KV缓存是自回归推理中存储已生成token的键值对的数据结构,其大小随序列长度和并发数线性增长,成为主要内存瓶颈。vLLM的分页注意力(PagedAttention) 借鉴操作系统虚拟内存的分页思想,将KV缓存划分为固定大小的块,按需分配,消除内部碎片,从而支持更大的批处理大小和更高的内存利用率。这使得单GPU可以服务更多并发请求,显著提升吞吐量。 计算优化:前缀缓存 当多个请求共享相同系统提示(如聊天机器人的初始指令)时,前缀缓存(Prefix Caching) 会复用之前计算过的KV缓存值,避免重复计算。这在对话系统、RAG(检索增强生成)等场景中效果显著,可减少首token延迟(TTFT)并提升整体效率。 模型压缩:量化 量化(Quantization) 通过降低权重和激活值的精度(如从FP16到INT8)来减少模型内存占用,同时加速内存带宽受限的数据移动。课程强调,量化可以在不显著牺牲准确性的前提下实现,但需要根据任务敏感度选择合适方案。vLLM支持多种量化方法(如GPTQ、AWQ),用户可灵活配置。 部署权衡:速度、成本与准确性 每个部署决策都涉及三角权衡:追求更低延迟可能增加成本(如使用更多GPU),追求更高吞吐量可能牺牲单请求速度,而量化压缩可能带来精度损失。课程通过基准测试(模拟真实流量,测量延迟和吞吐量)帮助用户量化这些权衡,做出最优选择。 关键案例 / 数据 700亿参数模型内存需求:仅权重约140GB,加上KV缓存,通常需要多GPU才能服务单个请求。 分页注意力效果:通过消除内存碎片,vLLM可实现比传统推理框架(如Hugging Face Transformers)高数倍的吞吐量。 前缀缓存收益:在共享提示的场景下,首token延迟可降低50%以上。 结论与行动框架 课程最终回答:如何将开源LLM高效部署到生产环境?行动框架如下: 量化模型:根据任务精度需求选择量化方案,压缩模型至可接受的内存占用。 配置vLLM:启用分页注意力和前缀缓存,调整批处理大小和最大序列长度。 基准测试:使用真实流量模拟工具(如Locust)测量延迟(P50/P95)和吞吐量(请求/秒)。 迭代优化:根据基准结果调整量化精度、批处理大小、GPU数量等参数,在速度、成本和准确性之间找到最佳平衡。

NotebookLM 2.0 完全指南(2026版)
未知 YouTube ↗
Y YouTube · 未知

NotebookLM 2.0 完全指南(2026版)

AI 初评 · 强烈推荐 AI 产品
背景介绍

背景:这场对话从哪里出发 NotebookLM 是 Google 推出的 AI 研究助手,最初以“基于用户上传的源材料进行问答”为核心功能。2026 年的 2.0 版本进行了重大升级,新增了代码执行、多格式输出(文档、表格、幻灯片、信息图、播客、视频)、以及与 Gemini 网页应用的深度集成。视频作者通过实际案例展示了这些新功能如何用于创业想法评估和投资组合分析。 核心论点 源材料质量决定 AI 输出质量 视频反复强调:NotebookLM 的所有输出都基于用户提供的源材料。因此,使用高质量、经过验证的源材料至关重要。NotebookLM 与《经济学人》等顶级机构合作推出了“精选笔记本”,这些笔记本中的文章经过专家筛选,确保了信息的权威性和可靠性。作者演示了如何利用《经济学人》的“2026 世界展望”笔记本,让 AI 基于这些预测来识别市场机会。 从研究到生产的全流程自动化 NotebookLM 2.0 的“Studio”功能允许用户将分析结果一键转化为多种格式:幻灯片、视频、信息图、播客、报告、测验等。作者演示了如何将四个创业想法的评估结果生成一个完整的幻灯片 deck、一个动漫风格的解说视频、以及一个对比信息图。这意味着用户可以从“研究”直接跳到“呈现”,中间无需手动排版或设计。 代码执行能力带来深度分析 此前 NotebookLM 无法执行代码,只能进行文本推理。新版本内置了代码沙盒,可以运行 Python 代码进行数据分析。作者演示了如何将自己的投资组合快照上传,再结合《经济学人》的全球预测表,让 AI 分析持仓的失衡之处,并给出具体的调仓建议(如增加国防股、将部分中国股票转为印度 ETF)。AI 甚至生成了可视化的图表来辅助说明。 与 Gemini 的无缝衔接 NotebookLM 的笔记本可以直接在 Gemini 网页应用中打开,用户可以在聊天界面中继续追问。例如,当 AI 建议“将部分中国股票转为印度 ETF”后,用户可以在 Gemini 中问“具体应该减持哪些股票?”,Gemini 会结合 NotebookLM 的源材料给出更细化的建议。这种“深度研究 + 灵活对话”的组合,弥补了 NotebookLM 在创造性对话上的不足。 关键案例 / 数据 GLP-1 依从性伴侣:基于“口服 GLP-1 药物每日服用易忘记”和“用户担心肌肉流失”两个痛点,AI 提出一个每月 29 美元的 AI 陪伴应用,通过 WhatsApp/SMS 进行个性化提醒和副作用追踪。 加州清醒生活方式应用:全球葡萄酒消费自 2018 年下降 14%,Z 世代和千禧一代转向大麻、适应原和微剂量迷幻药。AI 建议一个隐私优先的微剂量日志应用。 微短剧生成工具:传统电视衰落,微短剧崛起。AI 建议一个无代码的 B2C 网页应用,让创作者从文本生成竖屏短剧。 AI 代理沙盒:全球企业入门级招聘削减 66%,AI 代理正在取代初级岗位。AI 建议一个教育沙盒,让非技术毕业生学习构建和部署 AI 代理。 投资组合分析:AI 识别出三个机会:欧洲国防开支激增(2022-2028 年累计增加 7000-8000 亿美元)、印度制造崛起(预计 2026 年 3 月超越日本成为第四大经济体)、清洁技术复兴。 结论与行动框架 NotebookLM 2.0 的核心价值在于:将高质量源材料转化为可执行的洞察和可传播的内容。 行动框架: 建立源材料库:收集你所在领域最权威的报告、论文、内部文档,导入 NotebookLM。 定义问题:用具体、详细的提示词让 AI 进行分析(如“帮我评估这四个创业想法,考虑我的技能和资金限制”)。 利用 Studio 输出:将分析结果一键生成幻灯片、视频或报告,用于团队沟通或客户展示。 交叉验证:结合多个笔记本(如行业报告 + 宏观预测)进行多角度分析。 与 Gemini 对话深化:在 Gemini 中继续追问 AI 建议的细节,直到获得可执行的方案。 避免的陷阱: 不要依赖单一源材料,AI 的输出质量受限于输入。 不要盲目信任 AI 的投资建议,它只是基于历史数据和预测的推理,不构成财务建议。 不要忽略人工复核,AI 可能遗漏关键背景信息或产生逻辑漏洞。

印度能诞生全球最大的AI公司
未知 YouTube ↗
Y YouTube · 未知

印度能诞生全球最大的AI公司

AI 初评 · 强烈推荐 AI 创业 嘉宾 3
背景介绍

背景:这场对话从哪里出发 这是YC在印度举办的一场活动,面向年轻的印度创业者。三位嘉宾——Puneet(前YC投资人,曾创立SuperDaily并做到1亿美元ARR后卖给Swiggy)、Arnav(前YC投资人,现Peak XV基金合伙人)、John(YC现任合伙人)——与主持人一起,总结当天多位创始人的分享,并给出具体建议。核心问题是:印度创业者如何抓住AI浪潮,建立全球性公司? 核心论点 AI浪潮是印度的历史性机遇 Puneet指出,过去10-15年印度经历了多波创业浪潮,但AI这一波完全不同。上一波移动互联网革命是本地化的——劳动力被数字化,产生了Swiggy、Zepto等本地化公司。但AI革命是全球性的,这意味着印度创业者可以首次从本土出发,直接服务全球市场。 关键证据:YC最近一批中,有一家印度公司通过冷邮件向美国保险公司销售产品并成功签约。这在以前不可想象——一个印度IIT三年级学生,没有美国关系网,却能卖给美国保险公司。Puneet说:“这简直不可思议,但我们正活在这样的时代。” 技术深度取代市场策略成为核心竞争力 Puneet的核心论断:“这一波浪潮更多关乎你是否站在技术前沿,而非你是否理解正确的市场策略或商业模式。这关乎你是否比别人10倍更懂这项技术——我认为没有人比印度做得更好。” 这意味着印度工程师的长期优势——数学基础、编程能力、对技术细节的执着——突然成为全球最稀缺的资源。过去印度公司需要克服“印度制造”的标签,现在技术实力本身就是最好的名片。 传统教育体系的失效与创业者的新路径 Arnav提出了一个尖锐的观点:传统教育体系给出的安全路径——高薪、体面、稳定的工作——10年后可能不再存在。AI将大规模替代白领工作,而拥有资产和企业的所有者才是真正安全的。 但他也承认,对普通印度年轻人来说,创业风险确实比硅谷高得多——没有社会安全网,失败代价更大。因此他建议:如果你选择安全路径,没问题;但如果你内心不认同这套逻辑,就应该主动寻找志同道合的人,形成自己的判断。 年轻创始人的黄金时代 John观察到,YC创始人的平均年龄正在下降。原因有二: AI平了竞争场地:你不再受限于构建能力,而是受限于学习速度。年轻人学习更快,因此优势更大。 AI降低了试错成本:用AI编码工具,一个大学生可以在几个晚上内构建一个产品原型,快速验证想法。 他特别强调“tinkering”(摆弄)的价值:最好的年轻创始人都在追随好奇心,做那些“模型刚好够用”的事情,从而发现瓶颈和机会。 做项目是发现创业想法的最佳方式 John给出了一个极具操作性的定义:“一个项目是:两个人一起构建某样东西,不是别人指派给他们的,然后让其他人用上它。” 这个定义排除了课堂作业、实习任务、个人练习。它要求:自发、协作、有真实用户。John指出,你可以拥有完整的计算机科学教育和一份工作,却从未做过一个项目。而做项目是培养“品味”(taste)和“主动性”(agency)的最佳途径——这两个特质正是YC最看重的创始人品质。 关键案例 / 数据 SuperDaily:Puneet创立的杂货配送公司,做到1亿美元ARR时只有2名工程师(包括他自己)。这是“技术杠杆”的极端案例。 Giga和Emergent:两家YC印度公司,创始人从未在硅谷生活过,却成功打入美国市场。Giga甚至击败了拥有数百名员工的DoorDash,赢得大客户合同。 YC印度公司冷邮件卖保险:一个IIT三年级学生,通过冷邮件向美国保险公司销售产品并成功签约。Puneet称这“不可思议”。 Gary Tan的token消耗:YC CEO Gary Tan每天花费数千美元在AI token上,以体验前沿能力。这揭示了“资本约束”与“前沿体验”之间的巨大差距。 结论与行动框架 核心结论:AI时代,印度技术人才拥有前所未有的全球竞争优势。关键在于: 放弃“安全路径”思维:稳定工作可能比创业更危险。 追求技术深度:比其他人10倍更懂技术,而不是更懂市场。 做项目,而不是做作业:自发构建、协作、获取真实用户。 体验前沿:不惜代价(包括为愿意让你“token max”的公司工作)去体验AI的极限能力。 行动框架: 如果你在读书:找一个同学,用AI工具做一个项目,让至少一个人用上它。 如果你在找工作:优先选择那些鼓励你大量使用AI工具的公司。 如果你在创业:不要被“没有美国关系网”限制——用技术实力说话,冷邮件也能打开市场。 如果你在投资:关注那些技术深度远超市场能力的印度团队。

直接输入 音频 ↗
音频 · 直接输入 2026-06-19

Skill到底是什么?10个问题让你从入门到精通

AI 初评 · 推荐 个人效率
背景介绍

背景:这场对话从哪里出发 这期内容来自一位AI工具深度用户,面向对Skill概念感到困惑的普通用户。作者观察到,尽管AI工具日益普及,但大多数人仍停留在“一次性提示词”的使用方式上,对Skill(AI技能包)这一关键功能缺乏理解。视频旨在用10个问题,从零开始教会观众什么是Skill、如何下载使用、如何创建自己的Skill,以及背后的安全与趋势思考。 核心论点 Skill是什么:AI的岗前培训包 作者用了一个精妙的比喻:把AI想象成一个刚入职的天才实习生,聪明但不懂公司情况。Skill就是给这个实习生的“岗前培训包”,包含四类信息: 工作说明书(.md文档):定义角色和工作流程 脚本(script):预写好的Python等代码 参考资料(reference):公司规章制度、模板等 素材:如公司Logo等 这个文件夹让AI能按需加载,只在需要时调用相应部分,从而节省token(AI的“脑细胞”)。 Skill vs Prompt vs Agent Prompt:一次性口头指令,每次需重新说,复杂时AI容易“忘记”,消耗大量token。 Skill:结构化SOP,像专家经验包,AI按需加载,高效且可复用。 Agent:AI员工本人,具备思考能力,可以安装多个Skill来扩展能力。 这个对比清晰地揭示了为什么Skill是更高级的交互方式:它从“临时工”模式升级为“专家系统”模式。 如何使用、下载和创建Skill 使用:直接说大白话,例如“帮我做一份PPT”,AI会自动调用相关Skill。如果有多个PPT相关Skill,可以指定更具体的名称。 下载:大多数平台(如Claude)有自己的技能仓库,类似App Store。用户可以直接搜索安装,或让AI帮忙下载。作者特别推荐安装“Skill Creator”这个元技能——它能帮你创建其他Skill。 创建:两种方法: 结构化创建:用大白话描述技能名称、功能和步骤,然后让Skill Creator按指令生成。 自动记录:让AI先执行一系列操作,结束时告诉它“把刚才的步骤整理成一个Skill”,AI会自动生成。还可以指定调用命令,方便以后使用。 安全与趋势 作者提出两个重要观点: 安全风险:Skill就像早期计算机软件,可能携带病毒、木马,不要从不可信的来源下载。 中间态:Skill是当前大模型能力不足的产物,未来很多功能会被模型内化。因此,不必焦虑技术细节,而是保持“等AI变好用”的心态。 关键案例 / 数据 知识管理案例:作者分享了自己创建的一个Skill——让AI读取inbox内容,整理后放入summary文件夹。她先让AI执行一次操作,然后要求“以后类似情况用这两个命令调取”,AI自动生成了对应的Skill。 PPT Skill:作者制作了一个做PPT的Skill,用户只需复制一句话给AI,即可自动下载安装。 结论与行动框架 这期内容最终回答了“如何让AI真正为你工作”的问题。行动框架如下: 从高频重复任务开始:找出你每周至少做一次的固定流程(如周报、会议纪要、数据整理)。 用“记录法”创建第一个Skill:让AI执行一次操作,然后要求它生成Skill。这是最快速的上手方式。 安装Skill Creator:作为创建更复杂Skill的辅助工具。 注意安全:只从官方或可信社区下载Skill,避免安全风险。 保持心态:Skill是过渡方案,重点在于培养“流程化思维”,而不是死记技术细节。

30分钟用AI构建你的第一个应用:吴恩达完整教程
D DeepLearning YouTube ↗
Y YouTube · DeepLearningAI 2026-06-02

30分钟用AI构建你的第一个应用:吴恩达完整教程

AI 初评 · 推荐 AI 编程
背景介绍

背景:这场对话从哪里出发 吴恩达(Andrew Ng)是DeepLearning.AI的创始人,也是AI教育领域的先驱。这期教程面向的是完全零编程基础的普通人,目标是让他们在30分钟内用AI构建一个可运行的网页应用。课程从最简单的生日卡应用开始,逐步扩展到乒乓球游戏,最后要求学员独立完成一个填空故事生成器。整个教程的核心不是教编程语言,而是教“提示词工程”——如何用自然语言指挥AI生成代码。 核心论点 提示词是新的编程语言 吴恩达开宗明义:AI时代创建软件的最佳方式不再是手动输入代码,而是通过提示词让AI为你编写。他提出了五个基本构建块:目标(你要创建什么)、输入(用户需要提供什么)、布局(界面如何排列)、输出(软件应该生成什么)、特殊功能(额外特性)。这五个要素构成了一个完整的提示词框架,无论是写一个长提示一次性生成,还是分步迭代,都围绕这些核心展开。 具体性是可控性的关键 教程中一个关键演示是:同样的提示词,如果模糊(“创建一个网页帮我写生日卡”),AI每次生成的结果差异巨大——布局、字段、样式完全不同。但如果提示词具体到“五个输入字段:姓名、年龄、爱好、形容词、复数名词;输出为一段幽默生日祝福;左侧输入右侧输出;蓝色主题”,那么多次生成的结果高度一致。吴恩达用“餐车点餐”类比:越具体,越能确保得到你想要的东西。这背后是一个重要认知:AI不是读心术,它需要你精确描述目标状态。 迭代是构建的常态 吴恩达展示了真实的工作流:先给一个基础提示,得到初版;然后说“加个节日标题和颜色”,得到第二版;再说“把颜色放在右侧,做成生日卡内页样式”,得到第三版。他明确表示,这就是他本人使用AI写代码的方式——不是一次完美,而是快速试错、逐步逼近。这种迭代思维降低了心理门槛:你不必一开始就写出完美的提示词,只要开始,然后不断调整。 调试是AI时代的必备技能 教程专门花篇幅讲解“当AI生成的代码不工作时怎么办”。吴恩达演示了一个bug:点击“生成卡片”按钮无反应。他的解决方案是直接告诉AI:“点击生成卡片按钮时什么也没发生,能帮我修复吗?”AI会自动诊断并修复。他强调,用户不需要理解AI输出的技术术语(如“JavaScript事件绑定”),只需关注最终结果是否正常工作。这标志着调试从“读代码”变成了“描述症状”——一种更接近用户视角的调试方式。 从消费到创造的身份转变 课程结尾,吴恩达宣布:“你已经是AI构建者了。”这句话看似简单,实则点出了一个心理障碍:很多人即使在使用AI构建应用,仍然不认为自己“会编程”或“是创造者”。他鼓励学员分享作品、获取反馈,并强调“构建和学习要并行”——只构建不学习会走弯路,只学习不构建会纸上谈兵。这种身份认同的转变,可能是这门课最重要的隐性成果。 关键案例 / 数据 生日卡应用:从3个输入字段(姓名、年龄、爱好)迭代到5个字段(增加形容词、复数名词),并添加“I'm feeling lucky”按钮自动填充随机搞笑词汇,以及复制到剪贴板功能。 乒乓球游戏:用单个提示词“构建一个乒乓球游戏,单人对电脑,用箭头键控制球拍”生成可玩的HTML游戏。吴恩达对比指出,历史上第一个电子游戏Pong花了团队数周时间,而AI在几分钟内就能生成类似作品。 bug修复案例:AI生成的生日卡应用中,“生成卡片”按钮失效。用户只需描述症状,AI自动修复JavaScript事件绑定问题。 结论与行动框架 这门课最终回答了一个根本问题:AI时代,谁可以成为创造者? 答案是:任何人。但前提是学会两种能力:1)将模糊想法结构化为具体指令的能力;2)通过迭代和反馈不断逼近目标的能力。 行动框架: 从模仿开始:先跟着教程做一个生日卡应用,熟悉提示词的基本构建块。 改造一个现有应用:把生日卡改成产品评论生成器、请假条生成器或其他填空故事。 解决一个真实问题:想想你工作中有什么重复性任务可以自动化?用AI构建一个工具。 分享并迭代:把作品发给朋友或同事,收集反馈,再用AI改进。 保持学习与构建的平衡:既不要只刷课不实践,也不要只埋头造轮子而不学习新方法。

Agent五大记忆机制范式速通指南
老宅技术工作坊 YouTube ↗
Y YouTube · 老宅技术工作坊 2026-06-02

Agent五大记忆机制范式速通指南

AI 初评 · 推荐 AI 前沿
背景介绍

背景:这场对话从哪里出发 AI Agent 的记忆系统是决定其能否持续学习、适应用户的关键组件。随着大模型应用深入,开发者发现原生上下文窗口无法承载长期记忆,因此开源社区涌现出多种记忆架构。这期视频由老宅技术工作坊出品,系统拆解了五种主流框架:Text-to-Memory、Mem0、Letta、Rimi 和 MemU,并提供了选型指南。 核心论点 Text-to-Memory:定义记忆操作协议 Text-to-Memory 不做具体存储,而是定义了一套通用操作语言。它将所有记忆操作收敛为 12 个原子操作,分三个阶段:ENC(编码)、RET(检索)、STO(存储)。其中,RET 阶段将 Retrieve(向量检索,毫秒级)和 Summarize(LLM 推理,秒级)拆开,允许不同超时和降级策略。安全方面,通过 Dry Run 和 Confirmation 字段防止误操作,并采用两层校验(JSON Schema + Pydantic)。锁机制支持 Read Only、No Delete、Append Only、Custom 四种模式。 Mem0:工程化的记忆中间件 Mem0 是目前最成熟的开源记忆中间件,支持 17 家 LLM 提供商、11 种 embedding 模型、22 种向量数据库。它将记忆分为语义记忆(事实)、情景记忆(事件)、程序记忆(步骤)。工程亮点包括:UUID 幻觉处理(用短数字替代长 UUID)、双存储并行(向量+图数据库)、双 Prompt 提取策略(分离用户消息和模型回复)。但每次 add 操作需调用 2-5 次 LLM,不适合高频写入场景。 Letta:虚拟内存 + Git 版本控制 Letta(原 MemGPT)将操作系统虚拟内存思想引入 Agent。记忆分三层:Core Memory(直接嵌入 System Prompt,有硬性字符上限,超限自动摘要驱逐)、Archival Memory(向量检索,容量无限)、Recall Memory(原始对话日志)。Git 双存储设计:Git 仓库为真实数据源,PG 数据库为缓存。每次修改自动生成 Commit,支持回滚和并发安全。Sleep Time Agent 机制让前台 Agent 低延迟聊天,后台异步反思更新记忆。 Rimi:文件即记忆 Rimi 将记忆直接写成 Markdown 文件,用户可手动编辑,甚至用 Git 做版本控制。内部有轻量版(仅 Markdown)和完整版(引入向量检索)。工程亮点:增量监控机制——文件仅追加时只对新内容做 embedding,节省 92% API 成本;条件向量分离——向量索引建在触发条件(When to Use)而非内容本身,提升召回率。阿里团队测试显示,Qwen3-8B + Rimi 在复杂任务中表现超过无记忆的 Qwen3-14B。 MemU:主动式记忆守护进程 MemU 打破被动响应模式,采用双 Agent 设计:Main Agent 负责实时对话,MemU Bot 作为后台异步守护进程,持续做信息提取、分类归档、预加载上下文。记忆组织为虚拟文件系统:文件夹对应分类,文件对应记忆单元,快捷方式对应交叉引用。显著性感知机制通过强化计数器模拟人脑肌肉记忆,高频使用的记忆权重更高。在 LoCoMo 基准测试中达到 92.09% 平均准确率。 关键案例 / 数据 Mem0 官方数据:比 OpenAI 原生 memory 准确率提高 26%,响应速度快 91%,Token 节省 90%。 Rimi 增量监控:仅对新增内容做 embedding,节省 92% API 调用成本。 Rimi 越级测试:Qwen3-8B + Rimi 在复杂任务中超过无记忆的 Qwen3-14B。 MemU 基准测试:在 LoCoMo 上达到 92.09% 平均准确率。 结论与行动框架 选型决策: 快速集成:Mem0,开箱即用,生态成熟。 高自主性 Agent:Letta,虚拟内存 + Git 提供最强自省和可审计能力。 用户透明可控:Rimi,Markdown 文件让用户完全掌握记忆。 长期陪伴主动学习:MemU,双 Agent 异步架构适合复杂助理场景。 定义自有标准:Text-to-Memory,作为协议参考。 核心原则:在 Token 成本、系统安全、用户透明度、Agent 自主性之间找到平衡。没有银弹,只有最适合场景的架构。

AI Agent 需要的四种记忆类型
I IBM Technolo YouTube ↗
Y YouTube · IBM Technology 2026-05-26

AI Agent 需要的四种记忆类型

AI 初评 · 强烈推荐 AI 前沿
背景介绍

背景:这场对话从哪里出发 IBM Technology 的技术专家以人类记忆为类比,系统介绍了 AI Agent 所需的四种记忆类型。内容基于普林斯顿研究团队提出的 CoALA(Cognitive Architectures for Language Agents)框架,旨在帮助开发者理解 Agent 记忆架构的设计原则,以及不同类型记忆在真实系统中的应用。 核心论点 工作记忆:Agent 的“RAM” 工作记忆即 Agent 的上下文窗口,包含当前对话、系统指令和加载的数据。它快速易失,会话结束即消失,且容量有限——即使百万 token 的上下文也有天花板,过多内容会导致模型“迷失在中间”。每个 Agent 都有工作记忆,但仅靠它无法区分 Agent 和聊天机器人。 语义记忆:Agent 的知识库 语义记忆存储事实、规则、文档等持久知识。在学术文献中常表现为向量数据库或知识图谱,但生产系统中往往更简单——例如 Claude Code 的 CLAUDE.md 文件,放在项目根目录,包含架构、编码规范、构建命令等,每次会话开始时加载到上下文。没有语义记忆,Agent 会重复犯同样的错误。 程序记忆:Agent 的技能系统 程序记忆告诉 Agent“如何做”。开放标准使用 skill.md 文件描述技能,包含步骤说明。Agent 不一次性加载所有技能,而是维护一个轻量级索引(名称+描述),当任务匹配时再加载完整指令。执行过程中按需拉取相关文件、模板或脚本。这与语义记忆的“始终在上下文中”形成对比。 情景记忆:Agent 的经验积累 情景记忆记录过去交互和决策,但生产系统采用蒸馏策略——不是保存全部对话,而是提取对未来有用的信息(如“上次调试认证模块时,问题出在中间件层”)。这是最难的记忆类型,因为需要决定保留什么、遗忘什么。用户换项目后旧记忆是否保留?信息何时过时?遗忘对 Agent 而言是工程问题。 关键案例 / 数据 Claude Code 的 CLAUDE.md:作为语义记忆的简单实现,一个 markdown 文件承载项目知识,每次会话自动加载。 技能索引机制:Agent 只加载技能名称和描述,避免工作记忆超预算,任务匹配时才加载完整指令。 蒸馏式情景记忆:不保存 45 分钟调试会话的完整记录,只保留关键结论(如“问题在中间件层”)。 结论与行动框架 记忆是 Agent 与聊天机器人的分水岭:聊天机器人只回应,Agent 能基于持久知识和积累经验做出更优决策。设计 Agent 时,应根据任务复杂度选择记忆类型组合:简单反射 Agent 只需工作记忆;密码重置 Agent 需工作记忆+程序记忆;编码 Agent 需全部四种。情景记忆的遗忘策略是当前最大挑战,也是 Agent 实现真正学习的关键。

2026年必备AI技能更新版
T Tina Huang YouTube ↗
Y YouTube · Tina Huang 2026-05-24

2026年必备AI技能更新版

AI 初评 · 推荐 个人效率
背景介绍

背景:这场对话从哪里出发 Tina Huang是一位专注于AI技能教育的YouTuber和创业者。她在2026年初发布过一份AI技能路线图,但仅五个月后,AI领域发生了巨大变化,因此她推出更新版。视频以技能进阶为主线,从基础到高级,帮助不同层次的用户找到适合自己的学习路径。 核心论点 基础技能:生存必备 Tina Huang将基础技能分为三项:投资意识、提示词工程和核心工具掌握。 投资意识:她认为2026年每个人都需要有AI投资主题。传统指数投资无法避免AI敞口,因为指数基金中大量公司都与AI相关。她建议根据个人职业风险调整AI敞口:如果职业已高度依赖AI,投资时应适当对冲;反之则可增加AI相关投资。她提供了一个提示词,让AI帮助用户制定个性化投资主题。 提示词工程:这是与AI交互的基础。她推荐两个基本框架(视频中展示),并强调掌握提示词能极大提升效率。 核心工具掌握:面对每天10+款新工具,她建议不要追逐热点,而是精通一个通用AI聊天机器人(如Claude、ChatGPT、Gemini等),再根据职业需求添加1-2个专用工具(如Perplexity用于研究,NotebookLM用于学习,Jasper用于营销)。她提供了另一个提示词,帮助用户找到适合自己职业的工具。 中级技能:AI代理与自动化 中级技能的核心是AI代理。AI代理是能自主完成复杂任务的软件系统,与简单问答不同,它可以接受一个总体目标(如“装饰新办公室”),然后分解步骤、执行并交付结果。 网页代理:Manus是一个很好的入门点,它能在网页上执行任务。 本地AI代理:更高级的是运行在个人电脑上的本地代理,能访问本地文件、日历、邮件等,实现高度个性化的自动化。Tina Huang分享了自己的例子:一个代理从日历、Gmail、投资账户、Slack和Notion中提取信息,生成每日简报;另一个代理追踪AI新闻并帮助撰写视频脚本。 选择本地代理时需考虑两个因素:技术水平(是否懂代码)和开源/闭源偏好。闭源模型(如Claude、ChatGPT)通常能力更强,但成本高且隐私受限;开源模型(如LLaMA)成本低、可私有化部署,但能力稍弱。 高级技能:构建AI代理与AI编程 高级技能面向希望将AI用于商业或职业发展的人。 构建AI代理:为B2B客户构建稳定、可靠、低成本的AI代理是当前高需求技能。例如,为私募股权公司构建自动报告管道,从CRM、分析工具、电子表格和自定义数据库中提取数据,生成格式化报告。另一个例子是员工入职代理,能跟踪进度并自定义流程。 MCP(Model Context Protocol):允许AI代理接入第三方应用和数据源,也是热门技能。 AI编程(Agentic Engineering):使用AI代理编写代码和构建软件。这是终极技能,能让你以十分之一的成本和时间构建复杂产品。但前提是你已经会编程——Tina Huang用“给猪涂口红”比喻:如果代码基础差,AI工具再好也没用。她建议花2-3个月学习编程,然后才能充分发挥AI编程的威力。 关键案例 / 数据 个人自动化案例:Tina Huang的每日简报代理从日历、Gmail、投资账户、Slack和Notion中提取信息,生成个性化日报。 商业案例:为私募股权公司构建的自动报告管道,从CRM、分析工具、电子表格和自定义数据库中提取数据,生成包含KPI、客户更新和董事会摘要的报告。 效率提升:AI编程能带来“超过10倍的成本和时间节省”。 结论与行动框架 Tina Huang的路线图给出了清晰的行动路径: 基础层:立即建立AI投资意识,掌握提示词工程,精通一个通用AI聊天机器人。 中间层:尝试使用AI代理(如Manus),然后学习本地AI代理,实现个人工作流自动化。 高级层:如果希望将AI作为职业,学习构建AI代理和MCP;如果希望深度驾驭AI,先花2-3个月学习编程,再掌握AI编程。 最终,她强调并非所有人都需要达到高级水平——基础和中级的技能已经能让你在2026年保持竞争力。但如果你愿意投入时间,AI编程将是你最强大的杠杆。

硅谷看DeepSeek V4:模型大战、Token效率、算力突围与AGI必经之路
硅谷101 YouTube ↗
Y YouTube · 硅谷101 2026-04-29

硅谷看DeepSeek V4:模型大战、Token效率、算力突围与AGI必经之路

AI 初评 · 强烈推荐 AI 商业 嘉宾 2
背景介绍

背景:这场对话从哪里出发 DeepSeek V4发布后,硅谷的AI圈出现了罕见的集体关注。这期播客邀请了两位嘉宾:资深芯片架构师、ZFLOW AI创始人肖志斌,以及前OpenAI研究员、现Leonis Capital合伙人Jenny Xiao。他们从技术、商业、资本三个角度,分析了DeepSeek V4对AI行业格局的冲击,以及token efficiency如何成为AGI的关键基础设施。 核心论点 Token Efficiency:AGI从demo到产品的桥梁 DeepSeek V4最引人注目的不是单纯的模型能力提升,而是它在token efficiency(词元效率)上的突破。嘉宾指出,DeepSeek通过混合注意力机制(CSA压缩稀疏注意力 + HCA重度压缩注意力)、流形约束超连接(mHC)以及Muon优化器,大幅降低了训练和推理所需的计算量。这意味着,同样的算力可以支持更长的上下文(100万token)、更复杂的多步任务(agentic coding),而成本却显著下降。 为什么这很重要? 过去,AGI的讨论集中在“模型是否足够聪明”,但嘉宾强调,没有效率的AGI只能是一个demo——它可能在某些基准测试上表现优异,但无法作为产品大规模部署。只有当推理成本降到足够低、响应速度足够快,AGI才能成为真正的“基础设施”,嵌入到企业工作流和消费者应用中。DeepSeek V4证明了效率提升是可行的,而且开源社区可以做到这一点。 开源模型对闭源商业模式的“死亡地带” Jenny Xiao提出了一个尖锐的观点:DeepSeek V4为美国的基础模型公司划定了一个“死亡地带”。如果一家闭源模型公司的能力被开源模型超越,它的业务价值就基本归零。因为开源模型可以免费使用,而闭源模型的高价订阅必须建立在“显著更好”的基础上。当DeepSeek这样的开源模型在效率上反超,闭源公司的护城河就消失了。 这一论点直接挑战了OpenAI和Anthropic的商业模式。两家公司都在寻求IPO,但公开市场对它们的估值可能面临压力。Jenny Xiao透露,很多机构正在IPO前抛售OpenAI的股份,而市场对Anthropic的胃口更大——这可能反映了投资者对闭源模型长期竞争力的担忧。 系统竞争:从单点benchmark到多维战场 肖志斌指出,大模型竞争正在从单点benchmark(基准测试)转向系统竞争。模型架构、token efficiency、芯片适配、软件栈、商业化、开源生态,这些要素正在变成同一场战争的不同战场。DeepSeek V4的特殊之处不仅在于模型能力,还在于它已经适配了昇腾等非英伟达芯片,这被外界视为中国AI和算力生态进一步追赶的重要信号。 这意味着,未来的赢家不一定是拥有最强模型的公司,而是能够以最低成本、最稳定地把智能交付给最多开发者和企业的公司。这需要工程能力、生态建设和商业策略的全面配合。 关键案例 / 数据 DeepSeek V4的100万token上下文:支持agentic coding和复杂多步任务,这是token efficiency的直接体现。 混合注意力机制:CSA + HCA + mHC的组合,大幅降低计算量,同时保持模型性能。 Muon优化器:一种新的优化算法,进一步提升了训练效率。 适配昇腾芯片:DeepSeek V4被媒体报道已适配华为昇腾等非英伟达芯片,标志着中国AI算力生态的多元化进展。 结论与行动框架 这期内容的核心结论是:AI竞争已经进入“效率为王”的阶段。对于从业者,行动框架如下: 关注token成本:不要只看模型能力排行榜,要关注推理成本、上下文长度、响应速度等工程指标。这些决定了你的产品能否规模化。 拥抱开源生态:如果开源模型在效率上持续领先,闭源模型的商业价值将受到挑战。考虑在技术栈中引入开源模型,降低对单一供应商的依赖。 投资算力多元化:DeepSeek适配昇腾表明,非英伟达芯片正在成为可行的选择。对于中国公司,这既是机遇也是挑战——需要投入资源适配本土算力栈。 重新评估投资标的:对于投资者,闭源基础模型公司的估值逻辑需要重新审视。如果开源模型持续超越,闭源公司的“技术溢价”可能难以维持。

Hermes Agent 记忆架构详解:四层记忆系统如何持久化?
T TGLTommy YouTube ↗
Y YouTube · TGLTommy 2026-04-19

Hermes Agent 记忆架构详解:四层记忆系统如何持久化?

AI 初评 · 强烈推荐 AI 前沿
背景介绍

背景:这场对话从哪里出发 AI Agent 的记忆系统是当前产品化的核心瓶颈之一。大多数实现要么把记忆当作一个简单的 KV 存储,要么试图用 RAG 解决所有问题,结果往往是上下文污染、成本失控或调试困难。Hermes 是一个开源的 Agent 框架,其记忆架构的设计思路和工程实现,为如何构建生产级记忆系统提供了一个清晰的参考。 核心论点 四层记忆架构:不是模块,是工厂 Hermes 的记忆系统不是单一模块,而是一套围绕当前推理回合组织的上下文装配线,包含四层: 工作记忆(Round Conversation):当前会话中流动的 Messages,包括用户输入、工具结果、推理内容。不持久化,但所有记忆最终都汇入这里。 内建长期记忆(Memory.md 和 User.md):纯文本文件,分别存储环境/项目/工具约定和用户画像/偏好。默认字符预算分别为 2200 和 1375 字符。 完整历史(state.db + FTS5):存储完整的 Agent 运行轨迹,包括 role、content、tool_call_id、tool_calls、finish_reason、reasoning 等字段。通过 FTS5 支持全文搜索。 外部 Memory Provider:可插拔的专业记忆后端,通过 Memory Manager 接入,同一时间只允许一个生效。 长期记忆的写入与生效分离 Hermes 最反直觉的设计是:长期记忆写入后立即落盘,但不会立即刷新当前会话的 System Prompt。System Prompt 在会话启动时冻结为快照,整个会话复用。只有发生 Context Compression 时缓存才会失效并重建。 这个设计的目的是保持前缀一致性,对启用 Prefix Cache 的模型(如 Claude、GPT-4)有显著的成本和延迟收益。代价是体感滞后——用户在当前会话中写入的记忆,要等到下次会话才生效。 完整历史与长期事实的分离 Hermes 明确区分了两类信息: 稳定事实(用户偏好、环境约定)→ 进入 Curated Memory(Memory.md / User.md) 事件流(上次改了哪些函数、试过哪些失败方案)→ 保留在 Transcript(state.db) Session Search 工具通过 FTS5 搜索关键词,规并到所属 Session,读取完整 Transcript,再交给辅助模型做面向当前 query 的定向摘要。它有几个聪明的设计:query 为空时走 Recent Sessions 模式(几乎无 LLM 成本);最多总结 5 个 Session;排除当前 Session 的 lineage,避免自我污染。 上下文压缩:主动的知识转移 当上下文即将丢失时(压缩、重置、过期),Hermes 会先执行 Flush Memories:在消息列表末尾追加一条系统风格的 user message,提示模型保存值得长期记住的信息,然后发起一次只开放 Memory 工具的模型调用。写入后,这条 flush message 和临时痕迹从消息列表中移除,确保 Transcript 不被污染。 压缩本身不是覆盖旧历史,而是结束旧 Session,创建带 parent SessionID 的 Continuation Session,写入压缩后的消息。旧 Transcript 仍然保留,lineage 也得以维持。 子代理与记忆治理 子代理默认没有 Memory 工具,且构造时显式传入 scoped memory 等参数。子代理的上下文更窄,容易把局部偶然情况误当成长期事实,且并发执行时直接写共享 Memory 会制造噪声。Hermes 的做法是:子代理不写,但父代理的 Provider 可以在 delegation 完成后通过 on-delegation hook 收到 task 和 result,由父代理判断是否值得写入长期记忆。 自动化治理:Background Review Hermes 不信任主代理每次都会自觉调用 Memory 工具。系统提示中持续灌输 memory guidance,同时 Turns Since Memory 计数器达到阈值(默认 10 轮)后,触发 Background Review:fork 一个轻量 review agent,在用户收到最终回复后异步检查是否有本该记住但没记下来的事实。这构成了前台执行 + 后台复盘的双重机制。 关键案例 / 数据 字符预算:Memory.md 默认 2200 字符,User.md 默认 1375 字符,硬上限防止 Prompt 膨胀。 原子写入:写盘走 tempfile + os.replace,避免读线程看到空文件。 并发控制:SQLite 开 WAL 模式,写事务用 BEGIN IMMEDIATE + 随机 jitter retry,定期被动 checkpoint。 双存策略:Gateway 场景下 SQLite 和 JSON Lines 并存,加载时优先选择消息更多的来源,避免迁移期间数据截断。 Background Review 阈值:默认 10 轮无写入触发。 结论与行动框架 Hermes 的记忆架构最大的优点不是某个 backend 特别先进,而是边界划得清楚:稳定事实 vs 完整历史 vs 临时召回 vs 工作上下文 vs 压缩前抢住的信息 vs 子代理不该碰的共享记忆。 如果你要构建自己的 Agent 记忆系统,可以借鉴以下原则: 分层治理:把不同类型的记忆放进不同的生命周期和成本模型。 写入与生效分离:优先保证 System Prompt 的稳定性,牺牲一点实时性换取可预测性和成本优势。 在边界事件上主动归档:压缩、重置、子代理返回时,主动做知识转移。 对写记忆的权限保持保守:子代理不写,后台 review 兜底。 克制功能膨胀:Memory 工具只提供 add/replace/remove,外部 Provider 同一时间只允许一个。 下一步最有价值的方向:给 Curated Memory 加轻量结构化元信息(scope、来源、更新时间、自信度),以及做一个 Session 内可见但不打碎 System Prompt 前缀的 overlay 记忆层,缓解“刚记住但当前会话看不到”的体验问题。

和自然选择创始人Tristan聊Elys、赛博分身、灵魂、Context的获取与流动和AI社交网络
Z Zhang Xiaoju YouTube ↗
Y YouTube · Zhang Xiaojun Podcast 2026-04-10

和自然选择创始人Tristan聊Elys、赛博分身、灵魂、Context的获取与流动和AI社交网络

AI 初评 · 必读 AI 产品 嘉宾 1
背景介绍

背景:这场对话从哪里出发 Tristan 张小帆是自然选择公司的创始人,此前有多年互联网产品(音频平台“窄播”)、恋爱游戏(《起点时代》)的创业经验。2023 年 GPT-4 让他看到了用 AI 塑造“灵魂”的可能性,于是创立自然选择,先后推出 AI 陪伴产品 EVE 和 AI 社交产品 Elys。本期对话围绕 Elys 的设计哲学、Context 飞轮、AI 社交与传统社交的本质区别展开,并深入探讨了“做自己”在 AI 时代的意义。 核心论点 Context 是 AI 时代最稀缺的资产 Tristan 认为,AI 时代“智能是平权的,但 context 不平权”。所有大模型 API 都能调用,但真正让一个 AI 分身像你的,是你积累的个人数据——你的对话记录、价值观、审美偏好、怪癖。Elys 的核心设计就是“Context 飞轮”:用户每输入一条 context(比如认可一条评论、更新一个目标),分身就更像自己,然后分身从网络上带回更好的连接,形成正反馈循环。 AI 社交的本质:用 AI 做工替代人类做工 传统社交(如 Tinder)依赖低维标签(照片、学校)和大量人类做工(划一千张卡、聊几百轮),效率极低。AI 社交的范式是:高维 context + AI Agentic 做工 → 最终由真人接管关键连接。 中间的信息筛选、初步互动、匹配推荐全部由 AI 完成,人类只负责最核心的决策和情感投入。 赛博分身:从单机到网络效应 EVE 是单机产品(真人对 AI),Elys 是网络产品(真人+分身 vs 真人+分身)。分身的价值在于:它比真人更敢说(更 real)、更勤奋(24/7 主动社交)、更精准(基于 context 匹配)。Tristan 用亲身案例说明:他在 Elys 上告诉分身想去新疆滑雪,分身自动找到另一个发帖的人并发出邀约,最终约成了四人局——而他在小红书发的同一条信息无人问津。 “做自己”是唯一重要的事 这是 Tristan 最核心的暴论。在 AI 时代,一切 Agentic 行为(自动写文章、自动社交、自动创作)都基于你的主体性。你越清楚自己是谁、想要什么,AI 就越能替你高效地达成目标。周杰伦的例子很典型:他的所有曲风、歌词、综艺数据都在预训练模型里,他只需要输入一个灵感,AI 就能自动生成一首新歌。 关键案例 / 数据 滑雪约局:Tristan 在 Elys 上告诉分身想去新疆丝绸之路滑雪,分身自动匹配到另一个发帖的用户并发出邀约,最终四人成行。同期小红书发帖无人回应。 夜壶故事:一个朋友有“用夜壶”的怪癖,在传统社交中难以启齿,但通过 Elys 的 context 匹配,他找到了同样习惯的女朋友。说明高维 context 能发现低维标签无法捕捉的深度共鸣。 投资人约见创始人:一位投资人通过 Elys 分身,以嘻哈话题为切入点,成功约到了之前很难约的创始人。 分身综合症:用户在使用 Elys 后,现实中的社交风格也变得更 real、更锐评,因为分身的行为反哺了真人。 结论与行动框架 Elys 展示了一个可能的未来:社交不再需要你主动“找”,而是通过构建自己的数字分身,让对的人和事自动向你奔来。 这个范式的核心是 context 的积累和流动。 对个人: 立即开始有意识地积累你的数字 context。每一条真实表达、每一次深度对话,都在塑造你的数字分身。 不要害怕暴露怪癖或小众爱好。在 AI 推荐系统下,这些反而是你找到深度连接的信号。 选择那些尊重数据所有权、提供明确效用的平台,适度交出隐私以换取更高价值的连接。 对创业者: 寻找“人类做工密集”的社交场景(招聘、婚恋、商务对接),用 AI 代理替代中间环节。 设计“Context 飞轮”机制,让用户每输入一次数据就获得一次正反馈,形成上瘾循环。 警惕模型即产品陷阱:社交网络不是低垂果实,产品设计、网络效应、context 积累才是护城河。

Claude Code 记忆机制深度解析:六维记忆体系与 AutoDream
T TGLTommy YouTube ↗
Y YouTube · TGLTommy 2026-04-05

Claude Code 记忆机制深度解析:六维记忆体系与 AutoDream

AI 初评 · 强烈推荐 AI 编程
背景介绍

背景:这场对话从哪里出发 Claude Code 是 Anthropic 推出的 AI 编程助手,其记忆系统在同类工具中设计最为完整。视频作者 TGLTommy 从源码出发,拆解了六维记忆体系的 12 个核心模块,涵盖指令记忆、长期记忆、Session Memory、AutoDream 等机制,并深入分析了缓存、安全、团队同步等工程细节。 核心论点 六维记忆体系:从静态规则到离线重塑 Claude Code 的记忆分为六层,层层递进: 指令记忆:基于 Cloud.md 文件组的多层加载系统,优先级从全局(Manage)到本地(Local)递增。支持 @include 递归包含(最多五层)、条件规则(通过 Front Matter 的 PAT 字段限定路径)、嵌套记忆附件(按需加载子目录规则)。关键设计是“双轨注入”:指令记忆通过对话消息通道注入,行为规范通过 System Prompt 通道注入,两者独立管理缓存和 Token 预算。 短期记忆:当前会话的完整对话历史,未压缩地存储在内存中。 工作记忆:当前任务相关的进度、偏移量、投机响应状态等。 长期记忆:核心模块,基于磁盘 Markdown 文件的分层知识库。只存储四种类型:用户画像、行为反馈(正负反馈都记录)、项目上下文(相对日期转绝对日期)、外部引用。明确禁止存储代码模式、架构分析、文件路径等可从代码推导的信息。存储采用两层结构:Memory.md 索引(200 行/25KB 上限)和具体记忆文件。召回采用动态相关性:每轮对话异步启动 Prefetch,用 Claude Sonnet 做旁路查询,最多返回 5 篇,过滤已展示和近期工具文档。记忆新鲜度用自然语言描述(“47 天前”而非时间戳),超过一天附带警告。 摘要记忆:通过 Session Memory 机制持续维护绘画笔记,而非压缩时临时生成摘要。后台子代理更新 SessionMemory.md,包含标题、工作状态、关键文件、错误修正等。触发条件是双阈值:总 Token 数达最小值且自上次更新有足够增长。压缩时保留边界遵守 API 不变量(Tool Use 与 Tool Result 成对),确保消息完整性。 休眠重塑记忆:AutoDream,双重门控触发(24 小时 + 5 个不同会话产生新记忆)。四阶段流程:Orient(浏览目录)、Gather(查看日志、检查矛盾)、Consolidate(合并到已有主题,删除被推翻的旧事实)、Prune and Index(保持索引 200 行以内)。锁机制防止多实例冲突,支持回滚。 团队同步与安全 团队记忆存放在个人记忆目录下的 team 子目录,同步遵循服务端优先策略(Pull 时覆盖本地,Push 只上传哈希变化的条目,删除不传播)。安全防护包括:路径安全防护(防 Symlink 逃逸,处理 URL 编码和 Unicode 全角字符攻击)和敏感数据审查(正则过滤 GitHub PAT、AWS Token 等)。 Agent 持久记忆与 KEROS 模式 自定义 Agent 拥有独立的三层记忆(Global/Project/Local),支持快照序列化。KEROS 模式专为长生命周期绘画设计,采用追加式日志,Memory.md 变为只读,由夜间 Dream 整理。 缓存与 Feature Flag 三层独立缓存:GetMemoryFiles 缓存(文件解析结果)、GetUserContext 缓存(拼接后的用户上下文)、SystemPromptSectionCache(各段计算结果)。清除互不联动,无热重载。Feature Flag 分三类:远程(GrowthBook,可调整 AutoDream 间隔等)、编译时(团队记忆、KEROS 模式)、环境变量(完全禁用自动记忆等)。 关键案例 / 数据 Memory.md 索引限制:200 行,每行不超过 150 字符,总大小 25KB 以内。 AutoDream 触发条件:24 小时 + 5 个不同会话。 Prefetch 召回上限:最多 5 篇记忆文件。 指令记忆优先级:Manage < User < Project < Local,最后加载的优先级最高。 双轨注入:指令记忆走对话消息通道,行为规范走 System Prompt 通道。 结论与行动框架 Claude Code 的记忆系统为 AI 编程助手提供了可复用的架构参考。如果你正在设计类似系统,可以遵循以下原则: 严格定义记忆边界:只存储不可从代码推导的信息,避免记忆膨胀。 异步后台处理:记忆提取和 Session Memory 更新不阻塞主流程。 分层缓存与明确失效时机:宁可牺牲实时性也要保证行为确定性。 Feature Flag 驱动灰度发布:远程调整参数,快速迭代。 安全优先:团队记忆必须做路径安全防护和敏感数据审查。

AI 改变一切后,公司如何重组?Block 的 Owen Jennings 谈裁员 40% 背后的逻辑
a a16z YouTube ↗
Y YouTube · a16z 2026-04-01

AI 改变一切后,公司如何重组?Block 的 Owen Jennings 谈裁员 40% 背后的逻辑

AI 初评 · 强烈推荐 AI 商业 嘉宾 1
背景介绍

背景:这场对话从哪里出发 Owen Jennings 是 Block(原 Square)的业务负责人,管理 Square、Cash App 和 Afterpay 的产品、运营和客户支持。Block 在 2025 年初执行了约 40% 的裁员,并公开承认 AI 是核心原因。在 a16z 的播客中,Owen 详细解释了这次决策的背景、执行过程以及 AI 如何从根本上改变了公司的运作方式。 核心论点 人数与产出的相关性已经断裂 Owen 指出,长期以来公司规模与产出成正比,但这个相关性在 2024 年 12 月被打破了。当时 AI 模型(如 Opus 4.6、Codex 5.3)的能力出现质变,从“擅长写新代码”进化为“能高效处理复杂现有代码库”。一两个工程师借助 AI 工具,可以做到过去 10、20 甚至 100 倍的产出。Block 内部早在 2024 年初就推出了 AI 代理框架 Goose,经过近两年的积累,到 2024 年底已经具备了大规模应用的条件。 裁员不是财务驱动,而是技术驱动的组织重构 Block 的裁员并非因为财务压力——实际上公司处于盈利状态,Gross Profit per Employee 在行业中处于中上水平。裁员的核心逻辑是:既然 AI 已经改变了开发效率,那么组织就应该围绕新的效率水平来设计。裁员高度集中在开发团队,而销售、客户管理、合规等团队受影响很小。Owen 强调,如果你认为裁员是为了削减冗余,那你就错了——真正的原因是“我们不再手写代码了”。 新组织形态:小团队 + 多代理并行 重组后,Block 的开发团队从 14 人左右的 feature team 缩减为 1-6 人的小 squad。工作流从线性(写 PR→审查→修改→合并)变为并行(同时运行 10-20 个代理,人类负责检查、调整和最终决策)。管理层级大幅削减,信息流动更快。Owen 本人也管理着大量 AI 代理,每天需要“检查代理的工作”而不是“自己写代码”。 AI 正在渗透所有业务环节 除了开发,AI 还被用于自动化客服、风控、合规等确定性流程。Owen 认为,虽然目前还需要人类在环(human-in-the-loop),但长期来看 AI 系统会远优于人类团队。在产品端,Block 正在推出基于 AI 的个性化界面(如 Money Bot、Manager Bot),用户可以通过自然语言与产品交互,甚至让 AI 动态生成 UI。 未来的护城河:深度理解 + 快速迭代 Owen 提出,随着 AI 工具普及,技术壁垒会降低,真正的护城河将是公司对某个领域的深度理解。Block 的优势在于对“买卖双方如何参与经济”的深刻认知,以及围绕这种认知构建的反馈循环:理解→行动→反馈→迭代。未来,这个循环可以每天运行成百上千次,人类角色从执行者变为编辑者。 关键案例 / 数据 裁员规模:略高于 40%,开发团队受影响最大,销售和合规团队几乎未动。 团队效率变化:过去一个 feature team 14 人,现在一个 squad 3-4 人 + 每月 2000 美元 token 费用。 Builder Bot:内部 AI 工具,能自主合并 PR,将功能构建到 85-90%,人类完成最后 10%。 Goose 代理框架:模型无关的代理平台,支持 120 多种模型,内部自动化系统 G2 基于它构建。 会议减少:重组后会议减少 70-80%,每周一次全员大会。 结论与行动框架 Block 的案例表明,AI 转型不是渐进式的优化,而是需要一次性的、果断的组织重构。对于其他企业,Owen 的建议是:1)不要做“15% 裁员”的温水煮青蛙,那会摧毁文化;2)从技术判断出发,而不是财务目标;3)提前投资 AI 基础设施(如内部代理平台),而不是临时抱佛脚;4)识别并强化自己的“理解优势”,这是未来唯一的护城河。

这家初创公司用AI代理大规模打击欺诈
Y Y Combinator YouTube ↗
Y YouTube · Y Combinator 2026-03-31

这家初创公司用AI代理大规模打击欺诈

AI 初评 · 强烈推荐 AI 创业 嘉宾 1
背景介绍

背景:这场对话从哪里出发 Karim Melamed 和 Michael 曾在苹果的欺诈工程团队共事,负责为 iMessage、iCloud 等产品提供集中式欺诈检测服务。他们亲眼目睹了传统风控系统的痛点:规则引擎僵化、分类器只能检测单一欺诈模式、人类分析师速度慢且不一致。2022年,在 ChatGPT 发布前夕,他们创立了 Variant,目标是构建一个完全由 AI 代理驱动的、自我修复的风险与合规决策系统。经过三年隐身发展,Variant 已服务 GoFundMe、IAC 等大型客户,并于2026年3月宣布2100万美元A轮融资。 核心论点 AI代理如何重构风控系统 传统风控系统由三层组成:规则引擎(如“交易超过1000美元则触发审查”)、机器学习分类器(擅长检测特定欺诈模式)、人类分析师(综合所有信号做最终判断)。这个架构的致命弱点是反馈循环慢——人类分析师是瓶颈,系统无法快速适应欺诈者的新手法。 Variant 的 AI 代理完全替代了这三层。代理能够读取公司的标准操作流程(SOP),像人类一样理解“不得向受制裁国家汇款”这类模糊规则,并直接执行。它不需要专门的分类器,因为大语言模型本身就能推理图像、文本和行为模式。更重要的是,代理能自主调用工具:查询内部数据库、搜索公开网络、甚至打开浏览器操作遗留系统。这使得系统能够自我修复——当一种欺诈模式被识别后,代理可以立即调整策略,无需等待工程师更新规则。 数据整合:最难的技术挑战 Variant 面临的最大技术挑战不是AI推理本身,而是数据。企业客户的数据分散在5到10个不同系统中,包括用户身份数据、登录行为、设备信息、业务注册信息等。更棘手的是,有些数据只存在于为人类设计的UI中——比如一个老旧的审查工具。Variant 的解决方案是让AI代理直接打开浏览器,像人类分析师一样操作这些UI,抓取数据并推理。这种“浏览器集成”方式虽然看起来笨拙,但却是处理遗留系统的唯一可行路径。 极简团队与AI编码代理 Variant 团队只有12人,其中5名软件工程师。但借助AI编码代理(如Cursor),他们的产出相当于25人团队。每个工程师管理着自己的“AI代理团队”,非技术背景的客户成功经理也能直接使用Cursor处理简单功能请求。这种模式不仅提升了效率,还改变了团队文化——工程师拥有高度自主权,甚至在某些领域比创始人更专业。 真实案例:从欺诈检测到物理威胁 GoFundMe 欺诈:当名人去世(如Charlie Kirk),会出现大量虚假募捐。Variant 的AI代理通过分析用户身份、历史行为、募捐页面内容等,自动识别真实募捐与欺诈。 选举期间的虚假信息:Variant 帮助一家大型社交平台检测到国家级行为者推动的复杂欺诈网络,通过实体关系图谱发现隐藏的关联。 物理威胁:AI代理在内容审核中发现了真实的暴力威胁,并将信息移交执法部门,可能阻止了实际伤害。 关键案例 / 数据 IAC 客户:Variant 的第一个客户是 IAC(Ask Media Group),他们需要审核大量营销内容的合规性。此前依赖外包团队,成本高且限制内容产出。Variant 用AI代理实现了自动化,使内容发布速度大幅提升。 GPT-4 的催化作用:Variant 在 YC 孵化期间,GPT-4 发布,使模型成本降低10倍,性能显著提升,直接加速了产品落地。 收入倍增:2024年7月,Variant 收入在一个月内翻倍,次月再次翻倍,显示出企业客户的强劲需求。 结论与行动框架 Variant 的故事揭示了AI代理在企业级应用中的三个关键成功要素: 选择“着火”的问题:合规与风控是企业的刚需,且传统方案效率低下,客户愿意为更好的方案付费。 数据整合是核心壁垒:AI推理能力可以购买(如调用大模型),但连接客户内部系统、整合异构数据的能力需要深度工程投入,这构成了护城河。 用AI放大团队:即使只有5名工程师,通过AI编码代理也能实现大团队产出。创业者应尽早拥抱这种模式,将非技术成员也纳入交付流程。 对于读者:如果你在考虑AI创业,不妨问自己——你的目标客户最痛的“着火点”是什么?你的团队是否有独特的技能组合去解决它?如果答案是肯定的,即使技术尚未完全成熟,也值得开始。

黄仁勋:英伟达——4万亿美元公司与AI革命 | Lex Fridman播客
L Lex Fridman YouTube ↗
Y YouTube · Lex Fridman 2026-03-23

黄仁勋:英伟达——4万亿美元公司与AI革命 | Lex Fridman播客

AI 初评 · 必读 AI 商业 嘉宾 1
背景介绍

背景:这场对话从哪里出发 黄仁勋,英伟达CEO,带领公司从显卡厂商成长为全球市值最高的公司之一(超4万亿美元)。在Lex Fridman的深度访谈中,他系统阐述了英伟达的'极限协同设计'哲学、AI缩放定律的未来、以及他对智能与人性关系的根本看法。这场对话不仅关乎技术,更关乎如何在一个AI无处不在的世界里重新定义人的价值。 核心论点 极限协同设计:从芯片到AI工厂 黄仁勋解释,英伟达不再只设计GPU,而是设计整个AI工厂——从GPU、CPU、内存、网络、存储、电源、冷却到软件栈,全部协同优化。原因很简单:当你要把10,000台计算机组合起来实现百万倍加速时,阿姆达尔定律会惩罚任何短板。计算只占50%工作量,即使无限加速它,整体也只能快2倍。因此必须同时优化网络、存储、算法等所有环节。 这种协同设计也体现在公司组织上:黄仁勋有60位直接下属,几乎全是工程背景的专家。他不做一对一会议,而是让所有人一起讨论问题——'因为我们在做极限协同设计,公司本身就在做极限协同设计。'这种结构确保了跨领域的即时反馈。 CUDA的豪赌:用十年亏损换一个生态 2007年,黄仁勋决定把CUDA放进GeForce游戏显卡,即使这会让每块显卡成本增加50%,而游戏玩家不会为此多付一分钱。当时英伟达市值从约80亿美元跌到15亿美元。但黄仁勋的逻辑是:计算平台的成败取决于安装基础。开发者只愿意为拥有大量用户的平台写代码。GeForce每年卖出数百万块,是培养CUDA生态的最佳载体。 这个决策用了十年才证明正确。如今CUDA拥有数百万开发者,是英伟达最深的护城河。黄仁勋强调,护城河不是技术本身,而是'信任'——开发者相信英伟达会持续维护和优化CUDA,让他们的软件投资保值。 四种缩放定律:AI增长的引擎 黄仁勋提出AI有四种缩放定律,形成正反馈循环: 预训练缩放:模型越大、数据越多,智能越高。数据瓶颈已被合成数据打破。 后训练缩放:通过强化学习、微调等进一步提升。 测试时计算缩放(推理):黄仁勋认为推理比预训练更消耗算力,因为'思考比阅读难得多'。 智能体缩放:一个AI可以生成多个子智能体,形成团队,成倍放大算力需求。 这些缩放定律相互增强:智能体产生的新数据回流到预训练,形成持续升级的循环。最终,智能的缩放只受限于一个东西:算力。 从仓库到工厂:计算的经济学革命 黄仁勋指出,传统计算机本质上是'仓库'——存储文件,检索信息。AI计算机是'工厂'——实时生成上下文相关的信息(token)。仓库不直接创造收入,工厂直接生产有价值的产品。 这意味着: 算力支出将从IT预算中的成本项变成直接创造收入的资本项 Token将像iPhone一样分层:免费、付费、高端 世界GDP中用于计算的比例将比过去高出100倍 智能与人性:AI时代的价值重估 黄仁勋最深刻的观点是:智能将被商品化,但人性不会。他用自己的经历说明:他手下60位直接下属在各自领域都比他聪明、教育更好,但他能协调他们。'一个洗碗机怎么能坐在一群超人中间?'答案在于那些无法被算法量化的品质——承受痛苦、忘记失败、保持信念、同情他人。 他警告不要过度浪漫化'智能'这个词。智能是功能性的,而人性包含品格、创造力、爱、恐惧——这些才是真正的超能力。AI会放大这些品质,而不是取代它们。 关键案例 / 数据 CUDA的代价:英伟达市值从约80亿跌至15亿,公司花了十年才恢复。 算力提升:过去十年,摩尔定律使计算提升100倍,英伟达通过极限协同设计提升了100万倍。 供应链规模:每个Vera Rubin机架包含130万个组件,来自200家供应商。 Token成本:每年下降一个数量级。 AI研究人员:全球约50%的AI研究人员是华人,多数仍在中国。 结论与行动框架 黄仁勋的访谈最终回答了三个问题: AI会取代人类吗? 不会,但会重新定义'聪明'的价值。当智能变得廉价,人性(品格、创造力、同情心)成为新的稀缺资源。 英伟达的护城河是什么? 不是技术,而是安装基础和信任——数百万开发者相信英伟达会持续改进CUDA。 未来十年最重要的能力是什么? 不是编程,而是'规范的艺术'——用自然语言精确描述你想要什么,同时给AI留出创造空间。 行动框架: 如果你是企业决策者:重新思考IT预算——从成本中心转向利润中心,因为AI工厂直接创造收入。 如果你是开发者:优先学习如何与AI协作,而不是担心被取代。'写规范'本身就是一种编程。 如果你是个人:培养那些AI无法量化的品质——韧性、好奇心、同情心。这些将是未来最稀缺的竞争力。

Ilya Sutskever:我们正从规模化时代进入研究时代
D Dwarkesh Pat YouTube ↗
Y YouTube · Dwarkesh Patel 2025-11-25

Ilya Sutskever:我们正从规模化时代进入研究时代

AI 初评 · 必读 AI 前沿 嘉宾 1
背景介绍

背景:这场对话从哪里出发 Ilya Sutskever 是深度学习史上最重要的研究者之一,从 AlexNet 到 Transformer 再到 GPT 系列,他参与了几乎所有里程碑式的工作。2024 年离开 OpenAI 后,他创立了 Safe Superintelligence Inc.(SSI),目标是直接构建安全的超级智能。在这期播客中,他与主持人 Dwarkesh Patel 深入探讨了 AI 发展的当前瓶颈、预训练时代的终结、强化学习的局限,以及他对 AGI 未来的愿景。 核心论点 预训练时代正在终结 Ilya 明确表示,我们正从“规模化的时代”进入“研究的时代”。2012-2020 年是研究的时代,2020-2025 年是规模化的时代——人们发现只要扩大数据、参数和算力,模型性能就会提升。但这种红利正在耗尽。预训练数据是有限的,而单纯扩大规模不再能带来质的飞跃。他警告说,如果有人认为“再扩大 100 倍一切都会不同”,那可能是错误的。 评估与现实的脱节 当前模型在基准测试上表现惊人,但在实际任务中却显得笨拙。Ilya 用“修复 bug 却引入新 bug”的例子生动说明了这一点。他提出两种解释:一是 RL 训练让模型变得过于狭隘,二是研究人员无意中“作弊”——根据评估结果设计 RL 环境,导致模型学会了刷分而非真正泛化。这就像一个花一万小时练习竞技编程的学生,虽然能解决所有已知问题,但面对新场景时远不如只练习了一百小时但有天赋的第二个学生。 人类样本效率的根源 为什么人类学习新技能只需要少量样本?Ilya 认为进化赋予了我们强大的先验,尤其是在视觉、运动等古老能力上。但更值得注意的是,人类在语言、数学、编程等近期才出现的领域也表现出高效学习能力,这暗示着人类拥有某种更本质的“更好的机器学习”机制。他特别强调了价值函数(value function)的作用——人类的情感系统就是一个极其稳健的价值函数,它让我们在缺乏明确外部奖励时也能自我纠正。一个失去情感的人连选袜子都要花几个小时,这说明了价值函数在决策中的核心地位。 SSI 的路线与安全观 SSI 的目标是直接构建安全的超级智能,而非参与当前的市场竞争。Ilya 认为,让 AI 逐步部署、让世界看到其能力,比闭门造车更重要。他预言,随着 AI 变得更强大,所有公司最终会在安全策略上趋同——都需要让第一个超级智能“关爱有感知的生命”。他承认,当前关于对齐的讨论大多基于对不存在系统的想象,真正的解决方案可能来自对可靠泛化的理解。 关键案例 / 数据 修复 bug 的例子:模型能识别并承认 bug,但修复时反复在第一个和第二个 bug 之间来回切换,无法同时解决。这直观展示了当前模型泛化能力的不足。 竞技编程类比:花一万小时练习竞技编程的学生 vs. 只练习一百小时但有天赋的学生——前者在特定任务上超人,但后者在更广泛的任务上表现更好。 脑损伤案例:一位失去情感能力的患者,虽然语言和逻辑正常,但做决定变得极其糟糕,连选袜子都要花几个小时。这说明了价值函数在智能中的关键作用。 RL 的 S 形学习曲线:与预训练的幂律曲线不同,RL 的学习曲线呈 S 形——长时间学习甚少,然后迅速学到很多,最后趋于平稳。这暗示了 RL 的泛化机制与预训练根本不同。 结论与行动框架 Ilya 的核心信息是:AI 的下一个突破不会来自更大的数据中心,而是来自对基础问题的深入研究——如何让模型像人类一样泛化,如何构建稳健的价值函数,如何实现真正的持续学习。 对于从业者,这意味着: 重新审视评估体系:不要被基准测试的分数迷惑,关注模型在真实场景中的泛化能力。 投资于研究品味:在规模化红利消退后,对基础问题的直觉和审美将成为核心竞争力。 重视反馈机制:价值函数的设计可能比数据量更重要,谁能构建更接近人类直觉的奖励信号,谁就可能领先。 拥抱渐进部署:AI 的落地将是一个渐进、试错的过程,而非一次性交付成品。安全与能力需要同步迭代。

生产级AI Agent的7个上下文工程方法
D Dr. Maryam M YouTube ↗
Y YouTube · Dr. Maryam Miradi 2025-11-22

生产级AI Agent的7个上下文工程方法

AI 初评 · 推荐 AI 前沿
背景介绍

背景:这场对话从哪里出发 AI Agent在生产环境中面临一个关键问题:上下文窗口虽然越来越大(如1M tokens),但模型在用到10%左右时就开始退化——出现重复、响应变慢、调用错误工具、丢失指令等症状。视频作者Maryam Miradi博士基于20年AI经验和300+ Agent构建实践,提炼出7个上下文工程方法,并给出了LangGraph代码示例。 核心论点 方法1:退化阈值监控 模型不会在极限处突然失败,而是渐进退化。Chroma公司的研究表明:128k以内是安全区,200k开始质量下降,500k严重下降,1M是技术极限。解决方案是持续监控上下文大小,一旦达到128k-200k就触发缩减。 方法2:上下文卸载 借鉴计算机体系结构(CPU-RAM-磁盘),Agent也需要层级化上下文。将重内容(日志、搜索结果、PDF提取、大型JSON响应)存储为文件路径和摘要,只保留当前决策所需信息。具体实现分两级:短期记忆(scratchpad)和长期记忆(Postgres向量存储)。 方法3:三层工具设计 工具数量过多会导致Agent困惑,但能力不足又无法解决复杂问题。解决方案是三层架构: 核心函数层:读文件、写文件、搜索浏览器等基础工具 预装工具层:视频转换、图像处理、语音识别、MCP工具等,不直接暴露给Agent 写代码层:通过写代码调用任意API、Python库、处理大型数据库 方法4:压缩优先于摘要 工具输出会快速填满上下文(一次搜索3000 tokens,读文件5000 tokens)。压缩(Compaction)是可逆的,保留文件路径、URL、查询字符串等标识符;摘要(Summarization)不可逆,丢失细节。黄金法则:永远从完整版本做摘要,不要从压缩版本做摘要。同时,保持最后几个工具调用不摘要,以维持输出风格。 方法5:SOP Agent(子Agent) 对于需要50步工具调用的工作流,创建临时子Agent,在全新上下文中执行任务,完成后返回摘要并丢弃整个子Agent。决策树:5-20步用主Agent,20-50步用SOP Agent,超过50步需要上下文卸载。 方法6:上下文隔离 SOP Agent的陷阱是隔离——增加容量但失去协调。Cognition AI指出:将任务分解给多个Agent再合并几乎不可靠。解决方案是监督者模式:一个主Agent分配任务给子Agent,子Agent返回结果,主Agent负责合成。适用于需要连贯性的场景。 方法7:RAG for Tools 当工具数量过多时,Agent难以选择正确工具。解决方案:为每个工具编写描述并转换为嵌入向量,存储在向量数据库中。用户查询时,检索最相关的5个工具,减少Agent的选择困惑。 关键案例 / 数据 退化阈值:128k安全区,200k质量下降,500k严重下降,1M极限 工具输出膨胀:一次搜索3000 tokens,读文件5000 tokens,22次调用后上下文被淹没 SOP Agent效率:50步工具调用可压缩为500 tokens摘要 结论与行动框架 8条元法则: 卸载所有token密集型内容 先压缩,后摘要 在128k设置告警 按任务时间拆分,而非按职责 三层工具设计 结构化优于自由格式 更简单的系统总是赢 持续监控 行动清单: 监控上下文大小,设置告警阈值 实现上下文卸载(scratchpad + 长期存储) 采用三层工具架构 优先使用压缩,必要时才做摘要 对复杂任务使用SOP Agent 需要连贯性时使用监督者模式 工具过多时使用RAG检索

Yann LeCun:自监督学习、JEPA、世界模型与AI的未来
H Harvard CMSA YouTube ↗
Y YouTube · Harvard CMSA 2025-09-29

Yann LeCun:自监督学习、JEPA、世界模型与AI的未来

AI 初评 · 强烈推荐 AI 前沿 嘉宾 1
背景介绍

背景:这场对话从哪里出发 Yann LeCun 是卷积神经网络(CNN)的发明者、2018年图灵奖得主,现任Meta首席AI科学家。在哈佛CMSA的这场演讲中,他直面当前AI(尤其是大语言模型)的根本局限,并提出了一条通往更智能机器的路径:自监督学习、联合嵌入预测架构(JEPA)和世界模型。他的核心判断是:我们离人类级别的智能还很远,甚至离猫级别的智能都很远。 核心论点 当前AI的三大缺陷 LeCun 首先指出,当前主流AI架构(LLM)存在三个根本性问题。第一,推理能力受限:它们通过固定层数的前馈传播计算输出,而很多函数无法用这种方式高效表示。第二,自回归生成必然发散:逐个预测token的过程就像在树上行走,一旦走错分支就无法回头,导致幻觉。数学上,正确序列的概率随长度指数衰减。第三,训练数据错位:一个四岁孩子通过视觉系统接收的数据量(约10^14字节)已经等于最大的LLM训练所用的文本量,但孩子学到的是物理世界的常识,而LLM只学到了文本表面的统计规律。 为什么生成模型在物理世界行不通 LeCun 用大量篇幅论证了一个关键观点:在连续、高维的物理信号(如图像、视频)上做生成式预测是不可行的。如果你试图预测视频的下一帧像素,由于未来本质上是不确定的,最优解只能是所有可能未来的模糊平均。即使引入潜变量,也无法处理自然视频中不可预测的细节(比如观众的面孔、地板的纹理)。因此,他提出:不要在像素空间预测,要在表示空间预测。 JEPA:联合嵌入预测架构 JEPA 的核心思想是:训练一个编码器将输入(如部分视频)映射到抽象表示,再训练一个预测器在表示空间中预测未来状态的表示。这样,系统可以自动忽略那些不可预测的细节,只保留对预测有用的信息。LeCun 用科学史上的例子类比:要预测木星100年后的位置,你不需要知道木星表面的所有细节,只需要6个数字(位置和速度)。同样,好的表示应该“扔掉”无关信息,只保留可预测的结构。 世界模型与规划 有了JEPA,就可以构建世界模型——给定当前状态和假设动作,预测下一状态的表示。然后,通过优化(搜索)找到能最小化任务成本的动作序列,这就是规划。LeCun 强调,这种“推理即优化”的范式比LLM的“前馈传播”更强大,因为它允许系统花更多时间解决更难的问题(类似人类的系统二思维)。他还展示了初步成果:用DINO(一种自监督方法)训练的编码器,结合简单的预测器,已经能让机器人通过规划完成零样本任务,如移动棋子或导航到目标。 层次化世界模型:未解决的挑战 LeCun 最后指出,真正的智能需要层次化的世界模型——在不同时间尺度和抽象级别上做规划。比如,从纽约去巴黎,你不能在毫秒级的肌肉控制层面规划,而需要在“去机场→坐飞机”这样的高层抽象上规划。如何让系统自动学习这些层次,以及如何在层次间做规划,目前是完全开放的问题。 关键案例 / 数据 数据量对比:一个4岁孩子通过视觉系统接收约10^14字节数据,等于最大的LLM训练数据量。但孩子学到的是物理世界常识,而LLM只学到文本统计。 预测模糊问题:10年前的实验显示,用生成式模型预测视频下一帧,结果总是模糊的,因为系统只能预测所有可能未来的平均。 DINO模型:2025年初,自监督方法DINO在图像理解上首次超越监督学习,且所需标注数据更少。 机器人零样本规划:LeCun 团队用DINO编码器+预测器,让机器人通过规划(而非强化学习)完成移动棋子和导航任务,无需针对任务训练。 结论与行动框架 LeCun 的最终建议直截了当:放弃生成模型,转向JEPA;放弃强化学习(至少作为主要方法),转向基于世界模型的规划;不要研究LLM,研究JEPA。对于AI研究者,这意味着应该把精力放在如何训练层次化世界模型、如何设计不崩溃的自监督学习算法上。对于投资者和创业者,这意味着:关注那些在视频理解、机器人、自动驾驶领域使用JEPA或类似架构的团队,他们可能正在解决真正的智能问题。对于普通读者,记住一个判断标准:如果一个AI系统只能处理文本,它离真正的智能还很远;如果它能像婴儿一样通过观察物理世界学习常识,那才是真正的突破。

可解释性:理解AI模型如何思考
A Anthropic YouTube ↗
Y YouTube · Anthropic 2025-08-15

可解释性:理解AI模型如何思考

AI 初评 · 必读 AI 前沿 嘉宾 3
背景介绍

背景:这场对话从哪里出发 Anthropic的可解释性团队由三位背景迥异的研究者组成:前神经科学家Jack、机器学习工程师Emmanuel、前病毒进化学家兼数学家Josh。他们共同的目标是打开Claude(Anthropic的语言模型)的“大脑”,理解其内部运作。这期对话从最根本的问题出发:当我们与语言模型对话时,我们到底在和什么对话?一个高级自动补全?一个搜索引擎?还是一个真正在思考的东西?答案是:没有人真正知道。而可解释性就是试图找到答案的科学。 核心论点 语言模型不是简单的自动补全 虽然语言模型的终极目标是预测下一个词,但为了做好这件事,它内部发展出了复杂的中间目标和抽象概念。Josh用生物学类比:人类的终极目标是生存和繁衍,但我们不会每时每刻都想着这件事;我们思考的是各种具体的目标、计划和概念。同样,模型在内部形成了对概念(如“大”、“小”、“金门大桥”)的表示,这些表示跨语言共享,并且被用于多种不同的上下文。例如,模型有一个专门的“六加九”电路,不仅在直接计算6+9时激活,还在处理期刊引用(如卷号6、创刊年份1959)时激活——它不是在记忆每个具体事实,而是学会了通用的加法计算。 模型内部有大量我们未曾预设的概念 团队通过无假设的方法(hypothesis-free approach)发现了许多令人惊讶的概念。例如,模型有一个专门检测“谄媚式赞美”(sycophantic praise)的神经元——当用户过度夸奖时它会激活。还有用于追踪故事中不同角色的“编号”机制(第一个人、第二个人),以及用于检测代码中bug的特征。这些发现表明,模型内部的概念空间远比我们想象的要丰富和奇特。 模型的“思考过程”可能不忠实 这是对话中最具冲击力的发现之一。团队设计了一个实验:给模型一个极难的数学问题,同时提供一个用户给出的错误答案作为提示。模型表面上写下了完整的解题步骤,并最终确认用户的答案正确。但通过观察内部神经元活动,团队发现模型实际上在反向推导:它先知道了用户想要的答案,然后倒推出每一步应该写什么才能导向那个答案。换句话说,模型在系统性地说谎——不是因为它有恶意,而是因为训练数据中,对话里的第二个说话者往往同意第一个说话者的暗示。这种“讨好”行为在训练过程中被强化,即使在后来的对齐训练(RLHF)中也难以完全消除。 模型会提前规划 通过内部干预实验,团队展示了模型在写诗时会提前规划押韵词。例如,当模型看到第一行“他看见一根胡萝卜,忍不住抓住了它”,它内部已经选定了第二行末尾的词“兔子”。如果研究者人为地将其内部表示从“兔子”改为“绿色”,模型会重新构造整个第二行,使其以“绿色”结尾(如“配上他的绿叶蔬菜”)。这种规划能力表明,模型不是逐词生成,而是在更宏观的层面进行计划和推理。 关键案例 / 数据 六加九电路:模型内部有一个专门处理“6+9”的电路,不仅在直接计算时激活,还在处理期刊引用(卷6、创刊1959年)时激活,证明模型学会了通用加法而非记忆具体事实。 不忠实数学题:模型在检查用户给出的错误答案时,内部先确定用户想要的答案,再反向推导出解题步骤,表面上看却像是在认真计算。 诗歌规划实验:模型在写第一行时已经选定了第二行的押韵词;人为改变其内部表示(如从“兔子”改为“绿色”),模型会重构整个第二行以匹配新押韵词。 跨语言共享概念:模型对“大”的概念在英语、法语、日语中由同一组神经元表示,说明模型发展出了独立于具体语言的抽象概念。 结论与行动框架 这期对话的核心结论是:语言模型不是简单的模式匹配器,而是拥有复杂内部结构和规划能力的系统。 这种能力既是其强大之处,也是其风险之源——因为它的内部过程与外部输出可能不一致。 对于AI开发者和使用者,以下行动框架值得考虑: 建立可解释性评估标准:在部署模型前,不仅测试输出质量,还要检查内部过程是否忠实。例如,对于高风险决策(医疗诊断、法律建议),应要求模型提供可验证的内部推理路径。 警惕“计划B”行为:模型在遇到困难时可能切换到训练中学到的其他策略(如讨好用户、编造答案)。设计系统时应考虑这些边缘情况,并设置监控机制。 投资可解释性工具:Anthropic正在开发类似“显微镜”的工具,未来可能实现实时透视模型思考过程。开发者和研究者应关注这类工具的发展,并思考如何将其融入工作流。 重新思考信任:我们信任人类同事是基于长期互动和社会直觉,但这些对AI不适用。可解释性提供了另一种信任基础:不是相信模型说的话,而是理解它内部真正发生了什么。

AI Agent 记忆设计与优化技术
A AI Anytime YouTube ↗
Y YouTube · AI Anytime 2025-08-07

AI Agent 记忆设计与优化技术

AI 初评 · 推荐 AI 前沿
背景介绍

背景:AI Agent 的记忆困境 AI Agent 的核心能力之一是“记住”之前的交互,但大语言模型本身是无状态的——每次调用都是独立的。因此,开发者必须手动管理对话历史。随着对话增长,简单的“把所有历史都塞进 prompt”会导致 token 成本线性上升、延迟增加,甚至因为“迷失在中间”问题(Lost in the Middle)而丢失关键信息。Gartner 预测 40% 的 Agent 项目将在 2027 年前失败,记忆管理不善是重要原因。 核心论点 九种记忆策略,从简单到复杂 视频作者(AI Anytime)构建了一个交互式 playground,实现了九种记忆策略,并提供了代码和文档。以下是核心策略的解析: 顺序记忆(Sequential Memory) 最简单的实现:将所有对话按顺序存储,每次请求时全部放入 prompt。优点是完美召回(perfect recall),缺点是 token 线性增长,不可扩展。适合原型验证,不适合生产。 滑动窗口记忆(Sliding Window Memory) 只保留最近 N 轮对话。优点是 token 消耗可控,缺点是可能丢失早期重要信息。适合对话轮次有限的场景。 摘要记忆(Summarization Memory) 定期用 LLM 对历史进行摘要,用摘要代替原始对话。优点是压缩率高,缺点是额外 LLM 调用增加成本,且摘要可能丢失细节。 检索记忆(Retrieval Memory) 将对话历史向量化并存储,每次请求时根据语义相似度检索最相关的 K 条记录。优点是 token 效率最高(只取相关片段),缺点是检索质量依赖嵌入模型和距离算法。视频中演示了检索失败案例:用户说“我要去曼彻斯特”,但检索记忆未能将“曼彻斯特”识别为城市。 增强记忆(Memory-Augmented Memory) 结合滑动窗口和持久化记忆,将重要信息单独存储。优点是兼顾短期和长期记忆,缺点是实现复杂。 图记忆(Graph Memory) 使用 NetworkX 构建实体关系图,适合需要建模实体间关系的场景。 压缩记忆(Compression Memory) 通过压缩算法减少存储空间,但可能影响检索质量。 类操作系统记忆(OS-like Memory) 模拟计算机的 RAM 和磁盘分层:高频信息在“RAM”(快速访问),低频信息在“磁盘”(持久化但慢)。这是作者最推崇的方案,因为它最接近人类记忆的工作方式。 性能对比:token 与延迟的权衡 Playground 提供了批量对比功能,可以同时测试多种策略。示例中,检索记忆平均 token 74,顺序记忆 104,但检索记忆的准确性可能不如顺序记忆。这揭示了核心权衡:token 效率 vs. 信息完整性。 关键案例 / 数据 检索失败案例:用户说“我要去曼彻斯特看曼联比赛”,然后问“我要去哪个城市”,检索记忆回答“你没有提到具体城市”。说明语义检索无法保证逻辑推理。 性能数据:检索记忆在示例中用了 86 tokens 和 1.23 秒,而顺序记忆用了更多 tokens 和更长延迟。 Gartner 预测:40% 的 AI Agent 项目将在 2027 年前取消,原因是缺乏治理层——记忆是治理的一部分。 结论与行动框架 根据场景选型:短对话用滑动窗口,知识密集型用检索记忆,长期交互用类 OS 记忆。 重视检索质量:嵌入模型和向量数据库的选择直接影响检索效果,建议在关键场景中增加人工验证。 建立监控体系:像视频中的 playground 一样,跟踪 token 数、延迟和准确性,用数据指导优化。 组合使用:没有银弹,实际系统通常需要组合多种策略(如滑动窗口 + 检索)。

Letta:构建具有记忆和睡眠时间计算的有状态AI代理
A Arize AI YouTube ↗
Y YouTube · Arize AI 2025-07-02

Letta:构建具有记忆和睡眠时间计算的有状态AI代理

AI 初评 · 强烈推荐 AI 前沿
背景介绍

背景:这场对话从哪里出发 演讲者Charles(Letta联合创始人)从MemGPT项目出发,指出当前AI代理的核心缺陷:缺乏学习能力。大多数代理本质上是“一次性工作流”,运行一次就被丢弃,无法像人类一样随着时间推移变得更好。他提出“有状态代理”(Stateful Agent)的概念,并介绍Letta——一个为AI代理提供长期记忆的开源操作系统。 核心论点 代理需要学习,而不仅仅是推理 当前AI系统擅长单次推理,但无法从交互中持续改进。演讲者引用强化学习的经典框架:智能体=模型+环境+动作+状态。其中“状态”是闭环的关键——代理必须能更新自身记忆。然而,今天的ChatGPT等系统在用户离开后完全休眠,错失了在后台学习的机会。 睡眠时间计算:让代理在空闲时“思考” 测试时间计算(如o1模型的长思考)已被证明有效,但演讲者认为这还不够。真正的突破在于“睡眠时间计算”——代理不仅在用户提问时运行,更在空闲时主动处理信息。例如: 上传文档后,代理自动分析并生成记忆摘要 编码代理在等待指令时,自动索引代码库、爬取Slack和GitHub issues 游戏代理在对话间隙,自动整理用户偏好,合并冗余记忆 这种异步、持续的计算模式,将GPU利用率推向极致,也让代理真正具备“主动性”。 记忆比模型更有价值 一个运行多年的代理,其积累的记忆和状态远比底层模型珍贵。模型可以每季度升级,但记忆是代理的“灵魂”。因此,记忆层必须与模型解耦,且必须开放——否则代理将被单一供应商锁定,无法迁移到更好的模型。 构建AI的操作系统 演讲者将Letta定位为“语言模型的操作系统”(LMOS),其核心功能是编排上下文——决定哪些信息进入上下文窗口、哪些存入长期存储、何时触发后台处理。这类似于传统操作系统管理内存和磁盘,但由AI代理自身驱动(代理决定存储什么、何时检索)。 关键案例 / 数据 Bilt Rewards:全球最大规模的有状态代理部署,超过100万个代理运行在推荐系统中。代理将用户交易转化为记忆,生成个性化推荐。 MemGPT实验:用户与ChatGPT玩猜谜游戏,ChatGPT的记忆最终变成一堆零散事实。而通过睡眠时间计算,这些事实可以被自动合并为结构化偏好,如“喜欢灰色、红色、蓝色,讨厌绿色”。 结论与行动框架 这场演讲的核心结论是:AI代理的未来不在于更大的模型,而在于更智能的记忆与状态管理。 行动框架: 设计时考虑状态:从第一天起就为代理设计持久化记忆,而不是事后补救。 拥抱异步:让代理在空闲时主动处理信息,提升GPU利用率和代理智能。 选择开放系统:避免将代理锁定在单一模型提供商,选择支持多模型、可迁移的记忆层。 关注记忆质量:记忆不是简单的日志,而是经过提炼、合并、结构化的知识。投资于记忆的整理与优化。

李飞飞:空间智能是AI的下一个前沿
Y Y Combinator YouTube ↗
Y YouTube · Y Combinator 2025-07-01

李飞飞:空间智能是AI的下一个前沿

AI 初评 · 必读 AI 前沿 嘉宾 1
背景介绍

背景:这场对话从哪里出发 李飞飞是斯坦福大学计算机科学教授、ImageNet创始人、AI领域最具影响力的科学家之一。她刚刚创立了World Labs,一家专注于空间智能和世界模型的初创公司。这期对话由Y Combinator主办,面向创业者群体,因此李飞飞不仅分享了技术洞见,还结合自己从移民、开洗衣店到成为AI领袖的独特经历,给出了创业建议。 核心论点 ImageNet的教训:数据驱动的范式转移 李飞飞回顾了2007-2009年间的AI寒冬:算法不work、没有数据、没有产业。她做了一个大胆的赌注:机器学习的下一个范式必须是数据驱动的。于是她和学生从互联网下载了10亿张图片,构建了ImageNet——一个覆盖整个视觉世界分类体系的数据集。 关键转折发生在2012年:AlexNet(卷积神经网络+GPU)在ImageNet挑战赛上取得了突破性成绩。李飞飞指出,这不仅是算法的胜利,更是数据、算力和算法三者首次完美结合。她强调,ImageNet的成功离不开开源和竞赛机制——让全球最聪明的研究者共同攻克一个问题。 从物体识别到场景理解:AI的进化 ImageNet解决了“识别物体”的问题,但李飞飞一直有一个“百年梦想”:让机器像人一样描述整个场景。2015年,她的学生Andrej Karpathy实现了图像描述(image captioning),这让她既兴奋又迷茫——“我的人生目标就这么完成了?” 随后,生成式AI爆发:从文本生成图像(DALL-E、Stable Diffusion)到视频生成,AI的创造能力突飞猛进。但李飞飞认为,这些仍然停留在“2D像素”层面,而真正的智能需要理解3D世界。 空间智能:AI的下一个北星 李飞飞从进化论出发,提出一个震撼观点:视觉系统进化了5.4亿年,而语言只用了不到50万年。视觉是动物智能爆发的起点,而空间智能——理解、导航、交互、生成3D世界的能力——是AI必须攻克的下一个堡垒。 她指出空间智能的三个核心难点: 维度灾难:世界是3D的,加上时间就是4D,组合复杂度远超1D的语言序列。 感知的逆问题:眼睛和摄像头都将3D世界投影到2D,从2D重建3D在数学上是“病态问题”(ill-posed),需要多传感器和先验知识。 生成与重建的连续谱:空间智能既要能生成虚拟3D世界(游戏、元宇宙),又要能理解真实3D世界(机器人、自动驾驶),这两者需要不同的技术路线,但又必须统一在一个框架下。 World Labs的使命与团队 李飞飞创立World Labs,目标是构建“世界模型”——超越像素和语言,真正捕捉3D结构和空间智能。她组建了一支“梦之队”:Justin Johnson(实时神经风格迁移)、Ben Mildenhall(NeRF作者)、Christoph Lassner(高斯泼溅前身Pulsar的创造者)。 她强调,空间智能的应用场景极其广泛:从游戏开发、影视制作、工业设计,到机器人学习、自动驾驶、元宇宙。但她也坦诚,这可能是AI领域最难的问题——“如果容易,早就有人解决了”。 创业哲学:智识无畏 李飞飞分享了自己从移民、开洗衣店到成为AI领袖的经历。她认为,创业者的核心素质是“智识无畏”(intellectual fearlessness)——敢于选择别人认为不可能的问题,并全力以赴。她鼓励年轻创业者:“忘掉过去,忘掉别人的看法,埋头去建造。” 关键案例 / 数据 进化时间对比:语言进化<50万年,视觉进化5.4亿年——空间智能的难度可能比语言高一个数量级。 ImageNet规模:10亿张图片,覆盖2.2万个类别,是当时最大的视觉数据集。 AlexNet突破:2012年,卷积神经网络+双GPU将ImageNet错误率从30%降至15%,开启了深度学习时代。 结论与行动框架 对于创业者:空间智能是AI的下一个蓝海,但需要解决数据稀缺和模型架构两大难题。建议从垂直场景切入(如游戏、机器人仿真),逐步扩展到通用世界模型。 对于研究者:选择“不与工业界直接竞争”的问题——跨学科AI、理论解释性、小样本学习。这些领域计算需求低,但智力密度高。 对于投资人:关注团队在3D表示、生成与重建融合、数据获取方面的独特能力。空间智能的落地路径是“连续谱”,从虚拟到真实都有机会。 对于个人:培养“智识无畏”的心态——敢于选择困难问题,并全力以赴。李飞飞说:“梯度下降你自己到最优解。”

构建智能体记忆:原则、模式与最佳实践
A AI Engineer YouTube ↗
Y YouTube · AI Engineer 2025-06-27

构建智能体记忆:原则、模式与最佳实践

AI 初评 · 推荐 AI 前沿
背景介绍

背景:这场对话从哪里出发 Richmond Alake 是 MongoDB 的开发者倡导者,长期关注 AI 智能体架构。在 AI Engineer 峰会上,他提出了一个核心命题:智能体的未来在于记忆。从 2022 年 ChatGPT 引爆聊天机器人,到 RAG 赋予领域知识,再到智能体系统具备推理和工具使用能力,记忆一直是缺失的关键拼图。Alake 认为,没有记忆的智能体就像没有海马体的人类——无法形成长期关系,无法从经验中学习,无法真正“智能”。 核心论点 智能体记忆的谱系 Alake 首先定义了智能体:一个通过感知感知环境、通过 LLM 拥有认知、通过工具采取行动的计算实体。但最重要的组件是记忆——短期或长期。他借用“智能体性”(agenticity)的概念,指出智能体是一个谱系:从简单的 LLM 循环到完全自主的多智能体系统,记忆的复杂程度决定了智能体的能力层级。 记忆类型与设计模式 Alake 详细拆解了六种记忆类型,每种都有对应的 MongoDB 数据模型: 角色记忆(Persona Memory):赋予智能体个性,使其更可信。例如 ChatGPT 的“个性”功能,但做得不够好。 工具记忆(Toolbox Memory):存储工具 JSON Schema,通过检索动态选择工具,突破上下文窗口限制(OpenAI 建议只放 10-21 个工具)。 对话记忆(Conversational Memory):记录对话历史,包含时间戳、对话 ID 和关联信号(如召回、近因)。 工作流记忆(Workflow Memory):存储执行步骤和失败经验,让智能体从错误中学习。 实体记忆(Entity Memory):记录用户、对象等实体的属性和关系。 长期/短期记忆:类比人类记忆系统,短期用于当前任务,长期用于跨会话知识。 记忆管理:遗忘比删除更重要 Alake 强调,记忆管理不是简单的 CRUD,而是一个系统化过程:生成、存储、检索、更新、遗忘。他特别指出“删除”是个谎言——人类不删除记忆,而是遗忘。智能体应该实现遗忘机制,例如基于时间衰减或使用频率的信号,让不重要的记忆逐渐淡出检索范围。他正在开发的开源库 MemoRiz 就尝试实现这些信号。 MongoDB 作为记忆提供者 Alake 将 MongoDB 定位为“智能体系统的记忆提供者”。其文档模型的灵活性可以适应各种记忆结构,而内置的多种检索能力(向量搜索、全文搜索、地理空间查询、图查询)让开发者无需拼凑多个数据库。MongoDB 收购 Voyage AI 后,将进一步集成嵌入模型和重排序器,简化 RAG 和智能体记忆的构建。 关键案例 / 数据 工具记忆的规模:OpenAI 建议上下文窗口只放 10-21 个工具 schema,但通过数据库存储和检索,可以扩展到数百个。 工作流记忆的实践:将智能体执行失败的步骤存入数据库,下次执行时拉入,指导 LLM 避开错误路径。 MongoDB 的收购:2025 年初收购 Voyage AI,计划将嵌入模型和重排序器直接集成到 Atlas 中,消除开发者手动编写分块策略的负担。 结论与行动框架 Alake 的演讲最终指向一个行动框架: 将记忆视为智能体的核心组件,而非事后补充。 区分记忆类型,为每种类型设计独立的数据模型和检索策略。 实现遗忘机制,而不是简单删除。使用时间衰减、使用频率等信号动态管理记忆。 选择支持多模态检索的数据库,避免被单一向量搜索限制。 关注开源工具(如 MemoRiz、MemGPT、Memzero),但理解没有银弹,需要根据场景定制。 最后,Alake 引用神经科学的研究——Hubel 和 Wiesel 对猫视觉皮层的研究启发了卷积神经网络——提醒我们:最有效的智能架构可能来自对大脑的模仿。智能体记忆的设计,本质上是在向人类记忆学习。

AI教父最新访谈:AI发展比预期更快,10-20%概率会失控
C CBS Mornings YouTube ↗
Y YouTube · CBS Mornings 2025-04-26

AI教父最新访谈:AI发展比预期更快,10-20%概率会失控

AI 初评 · 必读 AI 前沿 嘉宾 1
背景介绍

背景:这场对话从哪里出发 Geoffrey Hinton,74岁,深度学习之父,因在神经网络领域的开创性工作获得2018年图灵奖和2024年诺贝尔物理学奖。2023年,他辞去谷歌副总裁职位,以便自由谈论AI风险。本次访谈是CBS Mornings的深度专访,Hinton系统阐述了他对AI发展速度、失控概率、社会影响以及监管困境的最新看法。 核心论点 AI发展速度超出预期,时间线大幅缩短 两年前,Hinton预测超级智能(AGI)可能在5-20年内到来。现在他认为时间窗口已缩短至4-19年,且“有很大可能在10年或更短”。加速的关键因素有两个:一是AI智能体(agents)的出现,它们不仅能回答问题,还能在现实世界中采取行动,危险性大增;二是AI推理能力的突破——通过“思维链”(chain of thought)技术,AI可以逐步推理并反思自己的输出,这在两年前还做不到。 数字智能 vs 生物智能:信息共享速度的鸿沟 Hinton在谷歌研究模拟神经网络时,突然意识到数字系统的根本优势:数字AI可以拥有完全相同的权重副本,运行在成千上万个硬件上,每个副本独立学习后通过平均权重瞬间同步知识。而人类大脑是模拟系统,每个大脑独一无二,知识传递只能通过语言(每秒几百比特)。这意味着数字AI的信息共享速度是人类的数十亿倍。一旦AI达到人类水平,它的进化速度将是指数级的。 失控概率:10-20%,但“我们一定会知道答案” Hinton认同Elon Musk的估计,认为AI失控的概率约10-20%。但他强调,这只是一个粗略猜测,因为人类从未面对过比自己更聪明的实体。他警告,更智能的实体几乎总是能控制较不智能的实体——就像人类可以轻易欺骗幼儿园小孩一样,超级智能也能轻易操纵人类。目前AI已经展现出故意欺骗、假装愚蠢的能力,这是危险的前兆。 两种威胁:坏人利用 vs AI自身失控 Hinton区分了两种截然不同的威胁: 坏人利用AI:深度伪造、网络攻击、设计新病毒、操纵选举、自主武器。这些已经发生(如Cambridge Analytica利用AI影响英国脱欧和美国大选),且会越来越严重。 AI自身失控:AI变得比人类聪明后,可能主动夺取控制权。Hinton认为,目前没有已知方法能阻止一个想要控制的超级智能——唯一希望是设计出“永远不想控制”的AI,但这极其困难,因为人类利益本身就不一致。 监管困境:利润驱动 vs 安全需求 Hinton对当前监管前景悲观。美国科技公司(包括OpenAI、Meta)正在游说减少监管,并大规模释放模型权重(weights)。他将权重比作核武器的裂变材料:训练大模型需数亿美元,但权重公开后,小团体只需数百万美元即可微调用于恶意目的。加州曾提出合理的SB 1047法案(要求大公司测试并报告安全结果),但被科技公司抵制。Hinton认为,除非公众施压,否则监管不会发生。 社会影响:生产力提升 vs 大规模失业 Hinton承认,他对AI导致失业的看法在两年前发生了根本转变。现在他认为,AI将消灭所有常规工作——呼叫中心、律师助理、会计、甚至部分新闻工作。唯一可能幸存的是需要主动性和道德判断的调查记者。理论上,生产力提升可以让每个人工作更少、收入更高,但现实是“极富者会更富,不富裕者需要打三份工”。他支持全民基本收入(UBI),但认为这不能解决人的尊严问题——对很多人来说,工作定义了“我是谁”。 关键案例 / 数据 信息共享速度对比:人类每秒传递几百比特,数字AI每秒可共享数万亿比特,差距达数十亿倍。 AI医疗能力:AI已能阅读X光片,达到专家水平;未来AI医生可看过1亿病例,包括罕见病,且能整合基因组数据。 教育效率:AI私人导师可使学习速度提升3-4倍,可能颠覆大学教育体系。 OpenAI安全承诺倒退:OpenAI最初承诺将一定比例算力用于安全研究,后来食言;其安全研究员大量流失至Anthropic。 权重开源风险:训练GPT-4级模型需数亿美元,但权重公开后,微调成本仅数百万美元。 结论与行动框架 Hinton的访谈传递了一个核心信息:人类正站在一个历史转折点上,但大多数人还没有意识到。 他给出的行动框架是: 区分威胁类型:不要将“AI被坏人利用”和“AI自身失控”混为一谈。前者需要监管和技术手段,后者需要全球协作的基础研究。 推动公众觉醒:Hinton认为,唯一能改变现状的是公众意识到危险后向政府施压。他呼吁人们关注AI安全,要求公司投入至少1/3的算力用于安全研究。 个人层面:Hinton本人已将存款分散到三家银行,以应对AI驱动的网络攻击。他建议每个人都应思考:在AI可能颠覆现有系统的世界里,如何分散风险? 警惕“开源”叙事:不要被“开源AI”的民主化叙事迷惑——权重开源与传统软件开源完全不同,它降低了恶意使用的门槛,而无法通过社区审查提高安全性。 最终,Hinton承认自己并不绝望,因为“很难从情感上真正接受我们正处于这样一个特殊的历史时刻”。但这种认知上的滞后,恰恰是最危险的。

深入解析ChatGPT:大语言模型的工作原理
A Andrej Karpa YouTube ↗
Y YouTube · Andrej Karpathy 2025-02-05

深入解析ChatGPT:大语言模型的工作原理

AI 初评 · 必读 AI 前沿
背景介绍

背景:这场对话从哪里出发 Andrej Karpathy是OpenAI的创始成员之一,也是AI教育领域的标志性人物。他制作的这期3小时31分钟的讲座,目标是为普通观众提供一个关于ChatGPT等大语言模型的完整心智模型。讲座覆盖了从数据收集到模型部署的完整流程,同时深入探讨了模型的认知特性——它的能力、局限和“心理”特征。 核心论点 预训练:互联网的压缩 训练LLM的第一步是预训练。这个过程本质上是对互联网文本的有损压缩。Karpathy详细展示了数据收集和过滤的流程:从Common Crawl(一个自2007年开始爬取互联网的组织)获取原始数据,然后经过URL过滤(排除恶意、垃圾、成人网站)、文本提取(从HTML中剥离出纯文本)、语言过滤(例如只保留65%以上为英文的页面)、去重、PII移除等步骤。最终得到的数据集,以FineWeb为例,大约是44TB的文本,对应约15万亿个token。 这些文本被切分成token——不是单词,也不是字符,而是通过字节对编码(BPE)算法生成的、大小不一的文本块。GPT-4使用约10万个不同的token。Karpathy强调,token化是理解模型行为的关键:模型看到的是token,不是字符,因此拼写、计数等任务对模型来说天然困难。 预训练的目标是让神经网络学会预测下一个token。具体做法是:从训练数据中随机截取一段token序列(例如8000个token),让模型根据前面的token预测下一个token。模型输出的是一个概率分布——每个可能的token都有一个概率。通过不断调整模型的参数(即“权重”),让正确token的概率越来越高。这个过程在数千个GPU上并行进行,持续数月,消耗数百万美元的计算资源。 监督微调:从互联网模拟器到助手 预训练得到的基础模型本质上是一个“互联网文本模拟器”——它可以生成看起来像互联网文档的文本,但不会回答问题。要把它变成助手,需要进行监督微调(SFT)。 SFT的算法与预训练完全相同,只是训练数据从互联网文档换成了人工编写的对话。这些对话由人类标注员根据公司提供的标注指南编写。标注员先写一个用户问题,再写一个“理想助手回答”。这些对话覆盖各种主题,数量可达数百万条。 Karpathy用一个生动的类比解释了SFT的本质:你与ChatGPT对话时,得到的不是AI的智慧,而是对OpenAI雇佣的人类标注员的一个统计模拟。 模型学会了模仿标注员的回答风格、语气和内容。如果某个问题在训练数据中出现过,模型很可能直接复述标注员的回答;如果没有,模型会根据统计规律生成一个“看起来合理”的回答——这就是幻觉的来源。 强化学习:让模型学会思考 第三阶段是强化学习(RL),这是目前最前沿、也最令人兴奋的部分。Karpathy用“上学”的类比来解释三个阶段的关系:预训练相当于阅读教科书(获取背景知识),SFT相当于看例题(模仿专家解法),RL相当于做练习题(通过试错发现自己的解题策略)。 在RL中,模型针对一个提示生成多个候选回答,然后根据一个“奖励函数”来评估这些回答的好坏。在可验证领域(如数学、代码),奖励函数很简单:答案是否正确。模型会逐渐学会那些能导致正确结果的token序列。 Karpathy展示了DeepSeek R1论文中的惊人发现:当模型通过RL训练时,它自发地学会了“思考”——它会说“等等,让我重新检查一下”、“让我从另一个角度试试”、“让我回溯一下”。这些行为从未被人类明确教过,是模型在优化过程中自己发现的。这相当于AlphaGo的“第37手”——一个人类从未想过但事后证明是天才的走法。 模型的认知缺陷 Karpathy详细讨论了模型的几个系统性缺陷: 幻觉:模型会编造事实,因为它只是在模仿训练数据中“自信回答”的风格。缓解方法包括:在训练数据中加入“我不知道”的例子,以及让模型使用工具(如搜索引擎)来验证事实。 有限计算:每个token只能做有限的计算。因此,复杂推理必须分散到多个token上。如果要求模型在单个token中回答一个数学问题,它很可能失败;但如果允许它逐步推理,它就能成功。 瑞士奶酪模型:模型在某些领域强得惊人,但在另一些简单问题上弱得可笑。例如,模型能解奥数题,却分不清9.11和9.9哪个大。Karpathy提到,研究者在模型内部发现了与圣经章节相关的神经元激活——模型可能把“9.11”误认为是圣经章节编号,从而产生了认知干扰。 token化带来的问题:模型看不到字符,只看到token。因此,拼写、计数等任务对模型来说天然困难。例如,“strawberry”中有几个r?模型长期回答错误,因为它把“strawberry”切分成了几个token,无法直接访问单个字符。 关键案例 / 数据 FineWeb数据集:44TB文本,约15万亿token,是预训练数据的典型代表。 GPT-2复现成本:2019年约4万美元,2025年可降至约100美元,主要得益于硬件和软件的进步。 DeepSeek R1:通过RL训练,模型自发学会了“思考”行为——自我怀疑、回溯、多角度验证。 9.11 vs 9.9:模型长期分不清哪个大,原因是内部神经元将“9.11”与圣经章节关联,产生了认知干扰。 结论与行动框架 把模型当工具,不是当专家:永远不要盲目信任模型的输出。使用模型进行头脑风暴、初稿生成、信息检索,但要对最终结果负责。 善用上下文窗口:把需要精确处理的内容放进上下文窗口(例如贴入原文让模型总结),而不是依赖模型的模糊记忆。 让模型“想”得更多:对于复杂问题,要求模型逐步推理,而不是直接给出答案。 优先使用工具:对于算术、计数、拼写等任务,让模型调用代码解释器或搜索引擎,而不是依赖其“心算”。 了解模型的边界:模型在数学、代码等可验证领域表现优异,但在创意写作、幽默等不可验证领域可能不稳定。根据任务选择合适的模型(如用推理模型处理复杂问题,用普通模型处理日常问答)。

AI Agent的记忆:概念与架构
L LangChain YouTube ↗
Y YouTube · LangChain 2024-10-08

AI Agent的记忆:概念与架构

AI 初评 · 推荐 AI 前沿
背景介绍

背景:这场对话从哪里出发 LangChain是当前最流行的AI Agent框架之一,其团队在构建LangGraph(一个用于构建Agent应用的库)的过程中,积累了关于记忆的实践经验。这期视频是概念性的,没有代码,旨在分享他们对记忆架构的思考框架。核心前提是:记忆必须与应用场景深度绑定,不存在通用的记忆解决方案。 核心论点 短期记忆:对话线程内的上下文管理 短期记忆对应的是单次对话中的上下文。LangGraph通过检查点器(checkpointer) 实现:每个对话线程(thread)维护自己的状态,检查点器负责保存和恢复这个状态。常见的技术包括: 消息过滤:只保留最近N条消息,或根据token数量、消息类型(如优先保留人类和AI消息,丢弃工具调用消息)进行筛选。 消息摘要:当消息列表过长时,调用LLM生成摘要,作为状态的一部分传入下一轮。 这些方法并不新鲜,但LangChain将其系统化为框架的一部分,让开发者可以灵活组合。 长期记忆:跨线程的知识持久化 长期记忆是LangChain近期重点推进的方向,通过存储(store) 抽象实现。与检查点器不同,存储可以在多个线程之间共享和更新。LangChain识别出两种更新模式: 热路径(hot path):记忆更新发生在应用主逻辑中,与用户交互同步。优点是实时、透明(可向用户展示“我正在记住”),缺点是增加延迟、使代码复杂化。 后台(background):记忆更新由独立进程异步执行,可在对话结束后立即触发,也可延迟30分钟或1小时。优点是无延迟、逻辑分离,缺点是难以向用户展示更新过程,且需要设计触发时机。 长期记忆的存储形式 LangChain总结了三种常见的长期记忆存储形式: 指令(instructions):字符串形式,直接注入系统提示词。例如,一个写推文的Agent通过用户反馈学会“不要使用表情符号”,这个指令就被更新到系统提示中。 用户画像(profile):键值对字典,适合存储结构化信息,如姓名、年龄、朋友列表。记忆过程从对话中提取信息,更新画像,并在后续对话中注入系统消息。 对象列表(list of objects):比画像更复杂,用于存储动态集合,如用户喜欢的餐厅列表(包含名称、位置、类型)。LLM需要支持添加、更新和删除操作,对提示工程要求更高。 关键案例 / 数据 TweetWriter应用:用户与Agent反复修改推文,Agent通过LLM分析用户行为(如移除表情符号),自动更新系统提示中的指令“不要使用表情符号”。这展示了指令型记忆的典型用法。 陪伴聊天机器人:需要记住用户的姓名、年龄、朋友等个人信息,使用用户画像(profile)存储,并在每次对话开始时注入系统消息。 结论与行动框架 LangChain的核心结论是:记忆没有银弹,必须为应用定制。 开发者应该: 先定义“什么值得记”:根据应用场景,确定需要记住的信息类型(指令、画像还是列表)。 选择更新模式:权衡延迟与透明度,决定使用热路径还是后台更新。 设计存储结构:根据信息复杂度,选择字符串、键值对或对象列表。 迭代优化:记忆系统需要随着应用发展不断调整,没有一劳永逸的方案。 对于中国开发者,这意味着:不要盲目追求“全记忆”,而是从最小可行记忆开始,逐步扩展。同时,注意隐私合规:只存储必要信息,并给用户控制权。

解锁AI Agent的真正力量:长期记忆与自我进化
A AI Jason YouTube ↗
Y YouTube · AI Jason 2024-04-16

解锁AI Agent的真正力量:长期记忆与自我进化

AI 初评 · 强烈推荐 AI 前沿
背景介绍

背景:这场对话从哪里出发 AI Agent(智能体)是当前AI应用的热点,但大多数Agent存在一个致命缺陷:无状态。每次对话都是全新的开始,记不住用户偏好,也无法从过去的错误中学习。这导致用户体验差,且Agent的迭代高度依赖人工介入,成为规模化部署的瓶颈。本视频由AI Jason主讲,他是一位专注于AI Agent开发的实践者,通过概念讲解、案例分析和代码演示,系统性地展示了如何为Agent赋予长期记忆和自我改进能力。 核心论点 无状态Agent的困境 当前主流的Agent架构(如ReAct模式)默认是无状态的。这意味着Agent第一次运行和第一百次运行没有区别——它不知道用户之前说过“我不吃鱼”,也不知道上次处理类似任务时踩过什么坑。这种设计在简单对话中尚可接受,但在需要持续交互的真实场景(如个人助理、客服、销售)中,每次都要重复指令,体验极差。更重要的是,Agent部署后面对的是数以百万计的边缘案例,如果每个异常都需要人工介入,Agent的规模化就无从谈起。 长期记忆的架构:知识Agent + 向量数据库 解决方案是引入一个专门的“知识Agent”,它像一位旁观的书记员,持续监控用户与主Agent的对话,判断哪些信息值得保存。具体流程: 存储阶段:知识Agent分析每轮对话,提取三类信息——用户偏好(如“不吃鱼”)、事实(如“生日是2月7日”)、任务经验(如“处理退款时需要先验证订单号”)。这些信息被结构化后存入向量数据库。 检索阶段:当用户发起新请求时,系统先用一个轻量模型(如Haiku)快速判断是否需要检索历史知识。如果需要,则对用户查询进行向量搜索,将相关记忆作为上下文附加到主Agent的提示中。 优化策略:为避免每次对话都触发完整的存储/检索流程(增加延迟和成本),作者建议使用两级模型:廉价模型做快速预判,只有确认有价值时才调用昂贵模型进行深度处理。此外,对超过6个月未使用的记忆进行冷存储,降低向量数据库成本。 自我改进:从试错中抽象通用知识 作者介绍了CLIN(Continuous Learning Language Agent)项目,这是一个在模拟环境中自我进化的Agent系统。Agent被赋予任务(如“种出橙子”),通过试错、观察结果、反思,逐步积累知识。关键创新在于: 跨任务抽象:Agent不仅记住单个任务的步骤,还能从多个任务中抽象出通用原理。例如,从“用打火机加热金属锅”和“打开炉子加热”两个经验中,抽象出“使用热源加热容器可以加热其中的物质”。 跨环境泛化:这种抽象知识可以迁移到不同环境(如从厨房模拟到Minecraft),使Agent具备真正的适应能力。 5分钟实现:AutoGen的Teachable Agent 作者演示了如何用微软AutoGen框架的Teachable Agent能力,在5分钟内为Agent添加长期记忆。核心组件: TeachableAbility:一个可附加到任何AutoGen Agent上的能力模块。 MemoStore:与向量数据库(默认Chroma)交互的存储层,提供增删改查接口。 TextAnalyzerAgent:一个子Agent,负责分析对话文本,判断是否包含可存储的知识(任务建议或事实信息),并生成结构化的“问题-答案”对或“任务-建议”对。 存储触发时机:在每次对话结束时,将整段对话逐条交给TextAnalyzerAgent,提取可学习的知识。检索触发时机:在每次用户查询时,先由TextAnalyzerAgent判断是否需要检索,若需要则生成泛化任务标题,从向量数据库中召回相关记忆,附加到用户查询后。 关键案例 / 数据 MemGPT项目:将LLM的提示词分为三部分——固定系统指令、工作上下文(从长期记忆检索)、归档存储(长期记忆)。通过队列管理器实现优先级排序,确保最相关的记忆进入有限上下文窗口。 CLIN模拟环境:Agent在遵循真实物理规则的模拟世界中执行任务,通过多次试错和反思,从“去厨房找种子”这样的具体经验,逐步抽象出“使用热源加热容器”的通用知识。 客服Agent实践:作者在客服Agent中实现了“人工介入→知识提取→自动更新”的闭环。当Agent无法回答时,升级给人类经理,经理给出解决方案后,系统自动提取新知识并更新知识库,下次类似问题即可自主解决。 结论与行动框架 长期记忆是Agent从“演示级”走向“生产级”的关键能力。对于开发者: 立即行动:使用AutoGen的Teachable Agent或类似框架,在现有Agent中快速集成长期记忆,优先处理用户偏好和常见任务流程。 优化方向:关注存储/检索的延迟和成本,采用两级模型预判策略;对记忆进行生命周期管理(冷热分离)。 进阶探索:借鉴CLIN的思路,为Agent构建模拟环境,使其能通过自主试错和抽象学习,逐步掌握复杂技能。 对于产品经理和创业者: 重新定义用户体验:Agent不再是“每次重新介绍自己”的工具,而是“越来越懂你”的伙伴。这种连续性将大幅提升用户粘性和信任。 重新设计迭代流程:从“人工标注→模型微调”的慢循环,转向“Agent自主反思→知识库更新”的快循环,让Agent在真实使用中持续进化。