對于超級人工智能的出現(xiàn)，我們非常期待，因為它的出現(xiàn)意味著可以高效地完成許多工作。
但是，作為聲稱遠遠勝過最聰明和最有才華的人類的AI，關(guān)于它可能帶來的災(zāi)難性風(fēng)險的討論一直沒有停止。
最近，由一組科學(xué)家組成的研究小組使用理論計算來證明遏制算法無法控制超級人工智能。
這項研究主要是為了解決牛津哲學(xué)家尼克·博斯特羅姆（Nick Bostrom）提出的控制問題：我們?nèi)绾未_保超級人工智能符合我們的利益？根據(jù)超級人工智能的假設(shè)問題，研究人員構(gòu)建了一種理論上的遏制算法，該算法可以模擬AI的行為并在AI程序的動作中存在有害行為時自動停止程序以解決問題。
分析人員在嘗試運行測試模型時，對結(jié)果進行了分析，發(fā)現(xiàn)建立一種可以控制超級人工智能的機器算法從根本上來說是不可能的。
小組成員Iyad Rahwan表示，如果將問題分解為理論計算機科學(xué)的基本規(guī)則，就會發(fā)現(xiàn)命令A(yù)I不能破壞世界的遏制算法可能會無意中止其自身的運行手術(shù)。
如果發(fā)生這種情況，則用戶實際上不知道遏制算法是否仍在分析超級人工智能的可能威脅，或者它是否已成功停止有害的AI。
因此，這種情況的出現(xiàn)將導(dǎo)致遏制算法的無效使用。
根據(jù)研究發(fā)現(xiàn)，由于計算的基本局限性，目前尚沒有一種算法可以成功地計算出超級人工智能是否會危害世界。
假設(shè)超級人工智能將包括一個包含通用圖靈機的程序，該圖靈機可以在輸入時執(zhí)行與世界一流情況一樣復(fù)雜的所有程序，并根據(jù)如此高的標準來建立遏制和遏制算法。
在此基礎(chǔ)上，超級AI程序執(zhí)行仿真，這在理論上是不可能的。
到目前為止，這種類型的超級AI仍然僅限于幻想領(lǐng)域，但是研究人員說，人工智能技術(shù)的發(fā)展正在朝著科幻小說家所設(shè)想的超級智能系統(tǒng)的方向發(fā)展。
馬克斯·普朗克人類發(fā)展研究所的研究團隊成員之一曼努埃爾·塞布里安（Manuel Cebrian）說，已經(jīng)有可以獨立執(zhí)行某些重要任務(wù)的AI機器，而程序員卻不能。
學(xué)會了做。
因此，基于這種存在，提出了一個問題，即它是否在某些時候?qū)θ祟惪赡茏兊貌豢煽刂坪臀ｋU。
無論如何，發(fā)展超級人工智能的趨勢不會按下暫停按鈕。
僅僅是遏制超級人工智能的方法就必須跟進。
只有當(dāng)諸如人類日常規(guī)范指南之類的法律普遍限制了超級人工智能時，才可以使用人工智能為我們提供服務(wù)，而不是造成災(zāi)難。
