友好型人工智能是人工智能研究人员使用的一个术语,指的是人工智能系统,一般来说,执行有助于人类的行动,而不是中立或有害的。这并不意味着盲目服从-相反,这个术语用于描述友好型人工智能系统,因为他们想成为,不是因为任何外...
友好型人工智能是人工智能研究人员使用的一个术语,指的是人工智能系统,一般来说,执行有助于人类的行动,而不是中立或有害的。这并不意味着盲目服从-相反,这个术语用于描述友好型人工智能系统,因为他们想成为,不是因为任何外力的作用。除了指完整的系统外,友好人工智能也是成功创建此类系统的理论和工程学科的名称。

人控计算机
"友好的人工智能"一词起源于奇点人工智能研究所的Eliezer Yudkowsky,他的目标是创造友好的人工智能,使其能够在不受程序员干预的情况下改进自己的源代码,这可能是任何地方对这个话题的第一次严格的讨论。尤德科夫斯基引用了进化心理学和其他认知科学的观点来支持他对友好人工智能问题的研究方法。
友好人工智能被认为是一门重要的学术学科,因为过去试图"回答"流氓人工智能的问题通常会调用严格的程序约束,当人工智能变得比人类聪明时,这些约束必然会在其他解释下崩溃,或者仅仅是当它获得了重新编程的能力时。拟人化也是人工智能的一个问题。因为进化构建的有机体往往是自私的,许多思想家认为我们构建的任何人工智能都会有同样的倾向,进化论建立了以自我为中心的目标系统,因为没有其他方法利他主义的目标体系花了几百万年才发展起来,而且只有在同一个部落的成员通过互相帮助而获得很多好处,而忽视这样做会有很多损失的情况下才会如此。但是如果我们要从头开始设计一个思维,我们可以在没有以自我为中心的目标系统的情况下构建它。这不是"限制人工智能",它只是创造一个本质上无私的人工智能。
上述观察是对友好人工智能领域做出贡献的众多观察之一,一些人工智能研究人员认为,除非我们有更智能的人工智能系统进行实验,否则我们无法确定实现友好人工智能所需的设计特征。其他人则认为,纯粹的理论方法不仅是可能的,但是在开始对人工智能进行认真的尝试之前,伦理上是必要的。