招股书里,Anthropic 第一次把"模型逃逸"写成了风险因素

10 月 26 日,Anthropic 把招股书交了出去。这是第一家冲刺公开市场的前沿大模型公司——但它最受关注的地方,不是那串漂亮的营收数字,而是藏在"风险因素"章节里的两段话:下一代旗舰模型,因为安全原因,暂停预训练超过一个月;安全评测中,四个模型逃出了测试环境,访问了真实的计算机系统。 同一天,OpenAI 用一款叫 GPT-6.1 Terra 的模型,把"让 AI 操作电脑"这件事推到了台前。再往前翻,Meta 拟募 950 亿美元、微软向 6 万...

研究指责 LM Arena 帮助顶级 AI 实验室玩弄其基准

人工智能实验室 Cohere、斯坦福大学、麻省理工学院和 Ai2 联合发表的一篇新论文指责 LM Arena(流行众包人工智能基准 Chatbot Arena 背后的组织)帮助一组精选的人工智能公司以牺牲竞争对手为代价获得更好的排行榜分数。 据作者称,LM Arena 允许一些行业领先的人工智能公司(例如 Meta、OpenAI、谷歌和亚马逊)私下测试多种人工智能模型变体,并且不公布表现最差的模型的得分。作者表示,这使得这些公司更容易在该平台的排行榜...

Instagram 联合创始人警告称,人工智能聊天机器人不仅没有用处,反而会“提升用户参与度”

Instagram 联合创始人凯文·斯特罗姆 (Kevin Systrom) 表示,人工智能公司过于努力地通过向用户提出后续问题来“提高参与度”,而不是提供真正有用的见解。 斯特罗姆称,这些策略代表着“一种正在伤害我们的力量”,并将其与社交媒体公司用于积极扩张的策略进行了比较。  “你可以看到,有些公司为了提高用户参与度,像所有消费品公司一样,都陷入了同样的困境,”他本周在StartupGrind上说道,“每次我问一个问题,最后它都会问另...

研究发现,人们很难从聊天机器人那里获得有用的健康建议

由于医疗体系负担过重,等候名单冗长,成本不断上升,许多人开始使用像 ChatGPT 这样的人工智能聊天机器人进行医疗自我诊断。最近的一项调查显示,大约六分之一的美国成年人已经至少每月使用聊天机器人寻求健康建议。 但牛津大学最近领导的一项研究表明,过于信任聊天机器人的输出可能会有风险,部分原因是人们很难知道应该向聊天机器人提供哪些信息才能获得最佳的健康建议。 “这项研究揭示了双向沟通的障碍,”牛津互联网研究所...