要文快报！AI安全需未雨绸缪 月之暗面CEO杨植麟谈长期布局

AI安全需未雨绸缪 月之暗面CEO杨植麟谈长期布局

北京讯（记者 张楠楠）6月14日，在2024北京智源大会上，月之暗面CEO杨植麟与百川智能CEO王小川、智谱AI CEO张鹏、面壁智能联合创始人兼CEO李大海共同出席“尖峰对话：通往AGI之路”环节，探讨了人工智能安全等话题。

杨植麟表示，AI安全非常重要，虽然它可能不是当前最紧迫的问题，但却是需要我们提前去准备的。“随着模型的不断优化和Scaling Law（尺度定律）的发展，每N个月算力乘以十倍，智能水平也会得到提升，这是一个逐渐适应的过程。”他指出，AI安全不一定是当前最大的矛盾或者最紧急的事情，但肯定是长期储备。

杨植麟认为，在AI安全方面，最重要的是要关注以下两个方面：

• **模型的鲁棒性。**模型可能会因为用户本身存在恶意意图，通过prompt（提示词）让模型去做一些本来不应该做的事情。因此，需要提高模型的鲁棒性，使其能够抵御恶意攻击。
• **模型的动机。**模型本身是否有自己的motivation（动机），这与训练方式相关。需要在模型的底层去注入例如AI的“宪法”、功能去框定其行为，无论用户给什么指示，都不会违背这个“宪法”。

杨植麟强调，AI安全是一项复杂的系统工程，需要产学研各界共同努力，从技术、制度、伦理等多个层面构建起全方位的安全体系。

关于月之暗面

月之暗面成立于2021年，是一家专注于大模型研发和应用的公司。公司拥有业界领先的大模型技术，并已在多个领域落地应用，包括智能客服、内容生成、辅助决策等。

媒体联系

张楠楠

月之暗面

[移除了电子邮件地址]

开源项目命运堪忧：Stable Diffusion 创始人出走，SD3 项目陷入困境

北京时间 2024 年 6 月 17 日 - 近日，人工智能界知名开源项目 Stable Diffusion 遭遇重大动荡，其创始人兼 CEO Emad Mostaque 突然宣布离职，并创办了一家新公司。这一消息令许多依赖 Stable Diffusion 进行创作和研究的人员感到担忧，项目的未来发展也蒙上了阴影。

Stable Diffusion 是一款功能强大的开源文本转图像模型，在 2022 年发布后迅速获得广泛关注，并被誉为 "AI 绘画界的革命"。该项目由 Stability AI 公司开发，Mostaque 担任 CEO。然而，在短短一年多之后，Mostaque 却选择离开，并带走了部分核心团队成员。

Mostaque 的突然离职引发了外界诸多猜测。有分析认为，他可能对 Stable Diffusion 的发展方向与公司其他股东存在分歧，也有传言称 Stability AI 正在面临财务困境。目前，Mostaque 尚未对此事发表任何公开评论。

Mostaque 的出走对 Stable Diffusion 项目造成了重大打击。SD3 是 Stable Diffusion 的最新版本，于今年 5 月发布，但由于缺乏维护和更新，目前已经出现了许多问题，包括模型性能下降、生成图像质量不佳等。许多用户表示，他们难以继续使用 SD3 进行创作。

更令人担忧的是，Stability AI 公司似乎已经放弃了对 SD3 的支持。在 Mostaque 离职后，公司并未发布任何有关 SD3 未来发展计划的公告。目前，SD3 项目主要由社区志愿者维护，但他们的人力和资源有限，难以解决项目面临的诸多问题。

Stable Diffusion 的困境凸显了开源项目的脆弱性。开源项目往往依赖于创始人和核心团队成员的贡献，如果他们突然离职或项目缺乏资金支持，项目就可能陷入停滞甚至消亡。对于依赖开源项目进行工作或研究的人员来说，这是一个巨大的风险。

Stable Diffusion 的未来尚不明朗。如果项目无法得到持续的维护和更新，最终可能走向消亡。这将是开源社区的一大损失。