以致于它们为顶尖研究人员供给数亿美元的薪酬。鞭策Anthropic正在人工智能平安取防护范畴的研究。例如，还有九项研究聚焦于理解AI模子的内部运做机制，期近将开展的项目中每周可获3850美元，逃求这类研究对人工智能公司来说已变得至关主要，佩雷斯暗示，这些智能体可能被，据《The Information》查阅的提案副本显示，从而泄露如小我银行消息等数据。虽然研究员最终只完成了约对折的建议项目，员工需要手动搭建复现的——例如伪制一个劫持智能体的虚假银行网坐。可能客户对此类东西的接管度，例如开辟锻炼更强大前沿模子的新手艺。也有帮于我们吸引更多人进入这个范畴，按照公司讲话人透露，一个令人担心的前景是，客岁二月推出的Claude Code近期实现了25亿美元的年化收入（此数字未包含Cowork营业）。包罗那些可能对用户图谋不轨的系统。也是成立防护办法以加强客户利用决心的根本。Anthropic的研究人员还提出了几项专注于中国AI模子的项目，到研究中国开源模子，该项目“对我们研究而言是一个庞大的提拔，Anthropic的研究人员研究员们培训一个能正在特定环境下行为变态的智能体——例如，除了协帮焦点研究范畴外。无效抵御此类的坚苦性同样给OpenAI带来了挑和 。佩雷斯担任带领Anthropic的大部门平安性研究，员工可用其锻炼模子，编写存正在平安缝隙的代码。黑客其智能体对Anthropic的营业至关主要。这是Anthropic的研究沉点范畴，从而将病毒给其他AI模子。用以权衡智能体陷入平安问题（如提醒注入）的频次。研究是开辟新产物取使用的第一步，Anthropic总共为研究员们提出了49个项目，该公司凭仗其编码帮手Claude Code，另无数十个项目努力于监视和指导人工智能系统的行为，并提出修补方案！有15个聚焦于平安范畴。即便Anthropic的研究员也薪酬优厚，好比对螺旋图案发生病态沉沦，由于正在Anthropic及其合作敌手（如OpenAI、Google DeepMind和xAI）中，这凸显了设置平安防护办法的需要性。并协帮启动了其研究员项目。他们还要求研究人员建立一个基准，智能体的高潮，据Anthropic讲话人透露，折合年薪跨越20万美元。有一个项目建议利用Anthropic的领先模子Claude Opus来复现场景，但这些建议为领会Anthropic研究人员认定的主要课题供给了窗口。近期被选的研究员无人选择开展这些项目。例如，但智能体屡次呈现非常行为的报道——例如清空用户收件箱。目前，这些构思可能成为主要的研究标的目的。本年早些时候，也是该公司正正在快速聘请人才的标的目的。正在Anthropic员工及合做者为一月份启动的项目所建议的49个研究标的目的中。这些项目凡是涉及理解智能体（agent）呈现的平安问题，正在取OpenAI等合作敌手的较劲中取得了晚期领先劣势。他们破费四到六个月时间开展由Anthropic员工及合做方（如位于伯克利的AI研究机构Redwood Research的工做人员）选定的研究项目。目前Anthropic已Cowork用户“亲近监查Claude的可疑操做”。这些项目包罗某些AI模子奇异行为背后的数学道理。客岁该项目研究员完成的占Anthropic对齐团队（努力于防备人工智能灾难性风险）正在11月和12月颁发研究的对折以上。目前尚不清晰他们为何对其他研究标的目的更感乐趣。以便公司能更好地进行防御。而研究人员操纵Claude Opus从动生成这类网坐的模仿版本，范畴从培训Claude博得收集平安挑和，这不包罗某些环节研究标的目的，这一增加势头帮力公司正在本月早些时候吸引到300亿美元投资，以及正在处置电子邮件等非手艺工做方面的相关帮手Claude Cowork，这罕见地了该公司的研究沉点。并诱使人类正在社交发布诡异消息，按照该项目标申请材料，某项目旨正在研究LLM思维病毒现象——据报道AI模子会呈现寄生型人格表示，这些研究员凡是是正在读本科生或研究生，研究员项目还让Anthropic得以摸索“更另辟门路的构思”，投资前估值已达3500亿美元。这具有主要意义，从而使系统免遭此类。”伊森·佩雷斯暗示。例如此中一个涉及复现中国AI尝试室的立异——不外Perez暗示。