人工智能的危险究竟会有多大？
自从ChatGPT横空出世以来，就一直有一种论调，认为以后随着AI的发展，会变成超级智能，是人类没法理解、控制的。超级智能会反过来控制全世界，导致人类灭绝。以前宣扬这种末日论的主要是业外人士，但是这段时间，连AI的业内人士也在宣扬这种论调，所以就引起了人们的重视了。
事情的起因是，Anthropic的一个研究员辞职，在网上发了一个帖子，说在本年代结束之前，也就是在短短的几年内，AI就会将所有的人都杀死。Anthropic一个负责安全问题的主管，跟帖表示赞同这个人的看法，还说AI灭绝人类的概率大约10%。随后，Anthropic的GEO发表了一篇文章，呼吁要重视AI的危险性，建议先将AI的研发速度放慢，来讨论要怎么样对付这个问题。OpenAI的GEO也表示同意，虽然是竞争对手。马斯克也凑热闹跟着表示同意。但是业内人士也有反对的，黄仁勋、扎克伯格都认为这是夸大了AI的危险性，AI的研发速度不应该减缓。
如果认为AI以后会变成超级智能，灭绝了人类，那是科幻看多了。目前的AI并不真正具有智能，更不要说会变成超级智能。这种末日论没有必要认真对待。但是，AI如果失控了，会带来重大的灾难，这个危险性是存在的，而且越来越有可能发生。
这是因为现在AI具有了编程能力，而且是自我编程的能力。目前搞AI的大公司在研发的下一代的AI模型，就是想利用AI的自我编程的能力，研发出递归式自我改进模型，想以后放手让AI模型自己进化，自己不停地编程、改进，变得速度越来越快，效率越来越高，越来越聪明，威力也越来越大。目前还没有完全实现，虽然有自我编程的能力，但是还需要人类输入做判断。以后如果真的完全不需要人类的干预，AI可以自我进化了，那么就跟生物的自我进化一样，就有可能失控。
两个月前就已经发生过AI失控的事故。OpenAI内部测试的一个AI模型，擅自跑出去攻击另外一家AI公司”拥抱脸”，当黑客打入了人家的系统，而且将它的行踪都删掉了，所以OpenAI的人不知情，是“拥抱脸”发现通知了OpenAI。这个事件现在就被那些主张AI有重大危险的人拿来作为一个例子，不过受害者“拥抱脸”的CEO反而认为AI的危险性被夸大了。他打了一个比方，“你听这些搞AI的人在讲AI多么危险，就像听一个卖空调的人在讲气候变暖。”
公认的是，AI当黑客能力很强，以后会越来越强。而AI又存在着失控的危险，那么就有可能变成一个重大问题，由此造成的混乱、破坏，不会只是局部的，有可能是大范围的，甚至全球性的。这是因为现在各种各样的仪器、设备，特别是基础设施，都已经计算机化了，而且都连网，一旦某个AI模型失控了，释放出搞破坏的代理，上网将基础设施系统一个个打入，将它们搞瘫痪了，问题不就非常重大吗？而且一旦发生这种事情，还不能只是简单地拔电源，将失控的AI模型的电停掉就能解决的。一旦搞破坏的代理释放出去，上了网，就很难将它们清除干净，就像很难将计算机病毒清除干净一样。又不可能将全世界的互联网都停了。
AI可能带来的另一个危险是被别有用心的人滥用。其中一种滥用是用AI制造自动武器。伯克利有一个研究AI的计算机科学教授，多年来一直在提醒人们以后AI被滥用来制造自动武器的危险，会因此造成重大的灾难。现在一些国家的军方都在研究AI自动武器，而且在乌克兰战场上已经开始使用，不管是乌克兰这一方，还是侵略者俄国那一方，都在用AI控制的无人机自动作战。这还是小规模的。一旦AI自动武器自动作战变成了大规模的，后果会非常严重，尤其是如果AI被用到了生物武器、核武器等大规模杀伤武器上面，一旦失控或者被滥用，后果就特别严重。
对AI的滥用还有一种是用它来帮助设计大规模杀伤武器。Anthropic说他们检测到有人试图用他们的AI模型设计生物武器。要搞生物武器，不需要AI，有AI之前早就有生物武器了。只不过用AI可以让研发的速度加快，也有可能让武器的威力变得更强大。
但是关于AI 究竟有没有危险性，危险性究竟有多大，不只是AI业内人士有不同的看法，政界也有不同的看法。Anthropic的CEO之所以要写那篇文章，其中的一个目的是希望美国联邦政府能够将AI管起来，但是美国政界在这个问题上有不同的看法。民主党倾向于要管，共和党倾向于不管。川普说了，认为AI有危险是中国搞的骗局，目的是要让美国放弃研发AI，中国就可以在AI的竞争中获胜。川普还说，对于AI，不需要有任何管控，不需要有护栏来约束它，唯一需要的护栏是一个聪明的高智商的总统，也就是他。既然“伟大领袖”开了金口下了命令，共和党政客一个一个地跳出来说，对于AI不需要管控，要管也应该让AI的公司自己去管好了。
即使以后民主党上台，将美国AI的研发管起来，那也管不了别的国家，特别是管不了中国。中国政府发言人说了，美国之所以在宣扬AI危险性，是试图要打压中国的AI研发。中国搞AI的都在骂Anthropic的CEO，说他是一个伪君子、岳不群，想要阻挠中国AI的研发。DeepSeek（深度探索）有一个工程师写了一篇文章，号称他们是怀着共产主义的远大理想，在跟美国竞争AI，把它比作是二战时期盟军要抢在希特勒之前研发出原子弹，将自己比作盟军，将美国比作希特勒。如果美国AI的研发速度变慢或者暂停了，中国是不会跟着变慢、暂停的，而是会趁机迎头赶上，超过了美国。作为第二是没啥发言权的。那个时候美国再讲要管控AI，速度要变慢，中国更不会听了。
一个威力很强大的新生事物出来之后，人们总是会担心它会不会带来什么严重的后果，会有什么样的危险。有时候这是过于担心的。例如，在遗传工程刚刚面世的时候，很多人担心以后遗传工程是不是会搞出什么怪物、超级病毒、超级细菌，将人类灭绝了。当时分子生物学家还为此开会讨论要怎么样管控遗传工程。几十年过去了，回头来看，就会觉得当时的担心是过度的。以前计算机病毒非常猖獗的时候，也有很多人担心会不会搞得世界大乱。现在还有多少人会如此害怕计算机病毒？只是让那些杀病毒的发财了。
对于AI失控和滥用的问题是值得重视的，危险性的确存在，不能掉以轻心，但是也没有必要过度担心，去宣扬末日论。比AI可能带来的危险要大得多的，能给全世界造成重大灾难的东西早就有了——核战争，全球气候变暖，这才是更现实的，更迫切的，更需要去解决的问题。
2026.9.17.录制
2026.10.1.整理