Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全
佚名
2025-01-19 23:00:39
0

Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全_Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全_

(来源:MIT Technology Review)

AI 智能体目前是科技领域的热门话题。从 Google DeepMind、OpenAI 到 Anthropic,各大顶尖公司正竞相为 LLM 赋予自主完成任务的能力。这类系统在行业内被称为 Agentic AI(代理式人工智能),是硅谷新的热议焦点。从英伟达到 Salesforce,各家公司都在探讨如何利用这项技术颠覆行业格局。

Sam Altman 在上周的一篇博客文章中表示:“我们相信,2025 年第一批 AI 智能体可能会加入职场,并实质性地改变企业的产出。”

广义上看,AI 智能体是一种能够自主执行任务的软件系统,通常只需极少甚至完全不需要监督。任务的复杂程度越高,智能体所需的智能水平也越高。对于许多人来说,如今的 LLM 已经足够智能,可以驱动智能体完成一系列实用任务,例如填写表格、查找食谱并将所需食材添加到线上购物车,或者在会议前通过搜索引擎快速完成最后的研究并生成简明的要点总结。

2023 年 10 月,Anthropic 展示了一款先进的 AI 智能体:Claude 的一项扩展功能“Computer Use”。顾名思义,这项功能使用户能够像指挥人类一样指导 Claude 操作电脑,包括移动光标、点击按钮和输入文本。用户不仅可以与 Claude 对话,还可以要求它直接在屏幕上完成任务。

Anthropic 指出,这项功能目前仍然存在繁冗和容易出错等问题,但已向一小部分测试人员开放,包括来自 DoorDash、Canva 和 Asana 等公司的第三方开发者。

这个项目展现了 AI 智能体未来发展的一个缩影。为进一步探讨趋势,MIT Technology Review 采访了 Anthropic 的联合创始人兼首席科学家 Jared Kaplan,他分享了 AI 智能体在 2025 年可能发展的四个方向。

(Kaplan 的回答经过轻微编辑以适应篇幅和提升表述的清晰度。)

Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全__Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全

更擅长使用工具

“我认为可以从两个维度来理解 AI 的能力。一方面是 AI 系统能够完成任务的复杂程度。随着系统变得越来越智能,其在这一方面的能力不断提升,而另一个关键维度是 AI 可以使用的环境或工具类型。”Kaplan 表示。

“举个例子,如果我们回顾近10年前 DeepMind 的围棋模型 AlphaGo,它已经在下棋方面超越了人类。然而,如果 AI 的能力仅限于棋盘游戏,它的应用环境就非常受限。即使拥有极高的智能,这种 AI 在现实中没有实际用途。随着文本模型、多模态模型的进步,以及像‘Computer Use’这样的功能(甚至未来可能涉及的机器人技术),AI 正逐步融入多样化的环境和任务中,从而变得更加实用。”他继续说道。

“我们对‘Computer Use’感到兴奋的原因也在于此。直到最近,大语言模型还必须依赖特定提示或工具,且局限于特定环境。而我认为‘Computer Use’将快速提升模型在完成不同任务及更复杂任务方面的能力。此外,AI 也将逐渐学会识别自己的错误,并在面对高风险问题时意识到需要寻求用户的反馈。”他指出。

Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全_Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全_

更懂得理解上下文

Claude 需要对你的具体情况和你所处的约束条件有足够的了解,才能真正对你发挥作用。这包括你的具体角色是什么、你的写作风格如何,以及你和你的组织的需求是什么。

“我认为我们会在这方面看到显著改进,Claude 将能够从你的文档、Slack 等内容中搜索和学习,从而真正理解对你有用的东西。这一点在智能体的讨论中往往被低估了。一个系统不仅要有用,还需要安全,能够准确完成你期望的任务,这是非常重要的。”Kaplan 表示。

此外,许多任务实际上并不需要 Claude 进行太多推理。比如,在打开 Google Docs 之前不需要进行长时间的深思熟虑。“因此,我认为未来的发展方向不仅在于让智能体拥有更多的推理能力,更在于确保它在真正需要时发挥推理作用,同时在不必要的时候避免浪费时间。”他说道。

_Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全_Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全

提升代码助手的能力

“我们希望在‘Computer Use’功能还处于初期阶段时,向开发者提供一个测试版,以便收集反馈。随着这些系统的不断完善,它们可能会被更广泛地采用,并真正与用户协作完成各种任务。”他表示。

像是 DoorDash、Browser Company 和 Canva 这样的公司,正在尝试不同类型的浏览器交互,同时借助 AI 设计这些交互方式。

“我预计代码助手将进一步改进,这是一个对开发者来说非常令人兴奋的领域。如今,使用 Claude 3.5 进行编程已经引起了极大的兴趣。它不再仅仅是提供自动补全功能,而是能够真正理解代码中的问题,调试代码,通过运行代码观察其行为,并进行修复。”他表示。

Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全__Anthropic创始人眼中的AI智能体进化:工具、上下文、代码与安全

需要被设计得更安全

“我们创立 Anthropic 的初衷,是因为预见到 AI 技术的快速发展,并意识到安全问题必然会变得更加重要。我认为今年这些问题将更加直观且紧迫,因为 AI 智能体将越来越多地融入我们的工作中,我们需要为各种潜在挑战做好准备,例如提示词注入。”Kaplan 表示。

提示词注入是一种攻击方式,通过向大语言模型提供开发者未预见或未打算处理的恶意提示进行攻击。例如,可以将恶意提示嵌入模型可能访问的网站中,以此实施攻击。

“提示词注入可能是我们在 AI 智能体广泛使用中需要优先思考的关键问题之一,尤其对于‘Computer Use’功能而言,这个问题尤为重要。“我们正在积极应对这一挑战,因为如果‘Computer Use’被大规模部署,可能会出现恶意网站或其他手段试图诱导 Claude 执行不当操作。”他表示。

“此外,随着更高级模型的问世,相关风险也会增加。我们制定了稳健的扩展策略,确保随着 AI 系统能力的提升,能够有效防止其被滥用。例如,避免它被用于协助恐怖分子等不当目的。”他继续说道。

“尽管如此,我对 AI 的实际应用仍充满期待,毕竟它确实在内部提升了我们的工作效率。Anthropic 团队以多种方式使用 Claude,特别是在编程领域,效果尤为显著。然而,不可否认,挑战同样不容忽视。今年无疑将是充满变化和新机会的一年。”Kaplan 表示。

相关内容

2025年AWE展会:TC...
2025年AWE将通过场景化展示,生动呈现智能产品、智慧家庭解决方...
2025-03-28 22:06:45
2025中国家电及消费电子...
直击2025中国家电及消费电子博览会:家电新品用上AI大模型,人形...
2025-03-22 22:08:38
2025中国家电及消费电子...
直击2025中国家电及消费电子博览会:家电新品用上AI大模型,人形...
2025-03-22 08:08:42
国产飞腾CPU实现对Dee...
IT之家 2 月 9 日消息,飞腾信息技术有限公司昨日晚发文宣布,...
2025-02-11 09:01:05
对标DeepSeek的深度...
对标DeepSeek的深度思考模式?OpenAI推出新功能Deep...
2025-02-10 22:00:48
白鲸开源CEO郭炜:大模型...
新浪科技讯2月7日晚间消息,在新浪科技发起的主题为《DeepSee...
2025-02-09 08:00:58

热门资讯

靠七天无理由退货赚了200万?... 漏洞不是随便钻的。
英国首相为“AI 校园”揭幕:... IT之家 11 月 28 日消息,据路透社报道,当地时间 27 日,英国首相基尔・斯塔默(Keir ...
刚刚,OpenAI首个智能体提... 刚刚,OpenAI首个智能体提前曝光!高级编码AI剑指400万年薪L6级工程师,编程,工程师,智能体...
中国改变全球创新药估值!生物技... 中国改变全球创新药估值!生物技术的“DeepSeek时刻”已来,中国,医药,制药,创新药,生物技术,...
96GB大容量,芝奇推出DDR... 该套装将于2025年第一季度在全球各地陆续开售。
谷歌Pixel 9a手机渲染图... IT之家 2 月 10 日消息,爆料人士 Evan Blass 曝光了谷歌 Pixel 9a 的渲染...
国产雷克萨斯终于来了,但我怀疑... 国产的雷克萨斯电车,不可能再给你玩加价那一套了
连雷军都在劝你学AI,但这课我... 连雷军都在劝你学AI,但这课我劝你别买。。。,雷军,宇宙,编程,电脑,李飞飞,人工智能
一文看懂索尼、三星、豪威的各种... 1,三大厂家名词统一首先,“双原生ISO”这个词最先在手机端出现,还得追溯至绿厂 Find X2 P...
华米 Ov 们把手机电池搞得大... 话说,今年的国产旗舰手机,有一个特质很突出 —— 电池容量大。除了少数几款标准版机型,大多新机的电池...