最近，韓國科學技術院大學與軍工企業“韓華 Systems”合作研發自主武器，遭全球50多名人工智能學者聯名抵制，南京大學周志華教授是唯一一名中國內地學者。

周志華認為，其危險之處在于讓機器自己決定是否對人類進行毀滅性打擊，“自主武器首先在倫理上就是錯誤的”。

近年來，人工智能技術突飛猛進，產業界為此狂熱不已。但是從已經暴露出的多起輿論事件來看，人工智能技術正在被利益綁架，倫理規范、法律約束一片蒼白，這已引發業界的深憂。

自主武器要舉起簡單規則的屠刀

兵者不祥之器，非君子之器，不得已而用之。我國著名思想家老子對武器的使用曾有恰如其分的闡述。

“武器作為一種必要的‘惡’而存在，它的倫理規范要高得多。”東南大學程國斌副教授認為，與人類控制的武器相比，自主武器依靠提前設定的程序，但再復雜的程序也是一種簡單規則，一旦達到觸發條件，即可自動執行，比如對方攜帶武器或有顯著特征等，“而現場的環境是極其復雜多變的，換成是人類，當時的決策也不見得就正確，更何況是機器依據一個簡單的規則”。

一般的智能武器早就有了，但是最終做決定的都是人類。而自主武器，是要把這個“決定權”交給機器，讓機器去決定是否對人類進行殺戮。

“如果這樣的武器開發出來，自主武器將導致戰爭的第三次革命，戰爭將比以往任何時候都更容易發生并且更殘忍。”周志華等50多名學者在公開信中寫道，它們有可能成為恐怖分子的武器。暴君和恐怖分子可以利用它們對付無辜的人群，他們不會理會任何的道德限制。如果打開了這個潘多拉魔盒，將很難關閉。

任何一個科研領域都存在不該去觸碰的東西。例如克隆人是被主流生命科學界所禁止的。這就是科技倫理劃定的禁區，也是主流價值觀和人類道德的共識。

“人類在使用武器時，受自由意志和道德責任支配，而自動武器則是依據固定程序做出判斷，既沒有責任主體，也不會產生對殺戮的道德反思，這非常可怕。”程國斌說。

兩種倫理規范缺一不可

設想一下：當一輛自動駕駛汽車在高速行駛，前方車道上突然跑出一個人，如果保持車道不打方向就有可能撞死對方保住自己，如果急打方向避開對方卻有可能丟了自己的性命……這時，計算機如何決策才是合理的?

這是人工智能業界廣為討論的一個倫理問題，就如同媽媽和女友落水先救誰的問題一樣，答案并不明朗。

“人工智能面對的倫理問題，其實都是傳統倫理學討論過的。只是問題形式變了，從而引起公眾關注。”程國斌告訴記者，把這個案例中的駕駛者換成人類，就不會引起這么廣泛的關注。

學界把人工智能倫理分為兩方面，一是對機器而言，人類設計的程序，本身就包含道德規范在其中;另一方面是對人，將技術或產品應用的人群，也必須受道德約束。兩者缺一不可。

周志華認為，強人工智能“不能做、不該做!”強人工智能即具有心智和意識、能根據自己的意圖開展行動。霍金、馬斯克等擔憂的“人工智能威脅人類”，即指強人工智能。迄今為止，主流研究都不支持讓機器擁有自主意識。

而對于技術使用者的倫理和法規要求，目前還顯得支離破碎和虛弱無力。例如，近日支付寶因收集個人金融信息不符合最少、必須原則，且信息使用不當被罰5萬元。有網友戲稱，“這處罰也就是罰酒一杯”。

“在網絡信息領域，技術走得太快，倫理卻沒有共識，比如數據搜集技術非常高效，但是幾乎沒有有效的控制和評價的手段，這就像一個小孩拿槍玩耍，誰也不知道危險會在何時以什么樣的方式發生。”程國斌說。

倫理不是技術創新的絆腳石

過去，倫理對計算機科學來說似乎不太相關。“碼農”寫的軟件，似乎不大可能造成身體的傷害、疼痛或死亡。

但是，近年來倫理問題陡增。國內的大數據殺熟輿論事件還未平息，國外就曝出Facebook的數據泄露為政治競選服務的丑聞。技術帶來的負面問題，極大地增加了公眾的焦慮和不信任。

2018年新學期，哈佛、康奈爾、MIT、斯坦福等美國高校的課程表上多了一門新課程，名為人工智能倫理、數據科學倫理、技術倫理、機器人倫理等。

與此同時，谷歌、亞馬遜、Facebook等越來越多的互聯網和人工智能公司都開始擁抱科技倫理，甚至成立專門的倫理中心或倫理委員會，招聘人工智能政策和倫理研究員。

而我國，才剛剛開始針對理工科研究生系統化地推行科技倫理教育，更毋庸說是詳細地劃分不同科學領域的倫理課程。

“這是因為西方社會受宗教文化影響，始終對科技發展懷有警惕之心，對倫理問題更為敏感。”程國斌說，在我國還是對技術持簡單樂觀主義占主流。

2016年3月，“阿爾法狗”橫掃圍棋世界冠軍，讓人工智能名聲大噪。“產業界、金融界、技術界一下子狂熱起來，但是倫理和法律確實沒跟上。”南京信息工程大學副教授徐軍說，“技術是一把雙刃劍，就看是誰在用它。”

技術發展不同于科學探索，它指向更加具體的目標。近代德國社會學家馬克斯·韋伯曾提出工具理性與價值理性區分的學術概念，其核心是說技術或者工具追求的是如何高效地實現既定的目標，而價值理性的任務是考察這一目標對人類福祉和社會發展所具有的價值，兩者必須統一。

“當出現倫理問題，單靠幾十名學者呼吁是不夠的，需要開發者、決策者以及社會各方形成共識。”徐軍認為。

但是，在道德觀愈加多元化的今天，形成社會共識越來越難。即使如此，專家們還是呼吁，人工智能的開發者、決策者應該更加自律;相關企業應設立倫理審查機制，以防止技術被濫用;相關高校應盡快開設人工智能倫理課程，讓學生走出校門可以做到負責任地創新;同時，要設定更加嚴厲的法律法規紅線，大幅提高違法成本。