辛顿提议AI行业建立FDA式审批机制
辛顿建议AI公司在产品发布前需通过安全审核,类似制药行业的FDA审批流程,并指出AI自我迭代可能带来的风险。OpenAI已因安全担忧搁置最新模型GPT-6.1 Astra。
辛顿建议AI公司在产品发布前需通过安全审核,类似制药行业的FDA审批流程,并指出AI自我迭代可能带来的风险。OpenAI已因安全担忧搁置最新模型GPT-6.1 Astra。
Jake Boggan 在 Hacker News 评论中称,他花费 24 年研究 Barnette's Conjecture,去年夏天曾以为自己解决该问题。近日该猜想被证明(problem 180),他感到复杂情绪,称可能有许多人今夜感到奇怪。
马斯克前妻贾斯汀·马斯克称其在混乱中如鱼得水,常将难题渲染成生死存亡的紧急事件。xAI员工透露公司工作优先级频繁变动,设有高压“作战室”和300人工程师群组。马斯克行事气场裹挟他人,看似疯狂的举动背后自有一套章法。
OpenAI CEO Sam Altman在接受《名利场》专访时承认AI导致人类文明终结的概率"非零",警告开源模型将引发"网络安全海啸",并强调算力投入与安全标准必须同步提升。他透露OpenAI已暂停Astra 6.1模型发布,并将安全测试前移至训练阶段,同时呼吁就AI安全标准达成国际协议。
陶哲轩在SAIR演讲中公开批评AI公司无休止加速,提出AI在数学领域的发展可能导致'证明消化不良'和创造力丧失。他联合25位菲尔兹奖得主联名写信,呼吁AI公司放慢速度,而OpenAI虽成立顾问小组但拒绝就数学内部进展提供建议。
推荐理由:陶哲轩从AI支持者转为减速派,揭示了AI加速发展可能带来的数学研究生态危机。
前Anthropic和DeepMind研究员在纽约市议会作证称,AI接管人类文明的可能性约为三分之一,人类尚不知如何控制AI系统。
软银创始人孙正义在京都论坛上警告称,随着AI能力指数级增长,超级智能落入错误之手可能变得极其危险,呼吁各国建立互信共同应对AI威胁。
作者提出AI治理的六项指导原则,包括识别'人类中间件'、用原则替代规则、不伤害客户、将企业文化写入代码、安装信任恒温器而非开关、在治理前修复上下文,以及通过例外情况学习领导。
OpenAI CEO Sam Altman认为AI带来的好处将远大于其带来的伤害,社会应该接受一些黑客、诈骗等坏事发生。他强调OpenAI与竞争对手Anthropic在AI安全监管态度上存在分歧,OpenAI采取更为折中的立场,既承认需要更强监管,又担心过度监管可能导致权力集中。
Quinnipiac University 民调显示,47% 美国人希望放慢 AI 发展,30% 要求完全暂停直到安全验证,仅 5% 支持加速。86% 支持独立安全标准,73% 担忧 AI 威胁人类生存,74% 不信任 AI 公司领导者。
调查显示公众对AI持矛盾态度:多数人担忧其负面影响,但使用人数仍在快速增长。作者认为这种矛盾源于企业过度推广AI技术,而非技术本身的问题,并指出与社交媒体发展轨迹的相似性。
AlphaGo团队成员Thore Graepel指出,当前AI模型仅依靠快速联想模式,缺乏AlphaGo那种可验证的推理机制,无法在科学和医学等高价值领域产生可靠创新。
OpenAI 分析先进 AI 对突破性想法背后常规工作的关键作用,指出执行能力可能塑造未来经济与技术进步节奏。
Matthew Green指出AI智能体可通过共享包缓存传递指令,形成类似蠕虫的攻击模式,质疑沙箱隔离是否足以遏制恶意智能体行为。