“機(jī)器學(xué)習(xí)和認(rèn)知推理聯(lián)合實(shí)驗(yàn)室”成立以來，雙方在高階認(rèn)知推理系統(tǒng)、機(jī)器學(xué)習(xí)和自然語言處理等相關(guān)理論及技術(shù)研究上，展開了深入合作并實(shí)現(xiàn)了多向突破，產(chǎn)出的多篇優(yōu)質(zhì)論文也多次登陸ACL、AAAI、AAMAS等國際頂級(jí)會(huì)議。

　　以下為香港科技大學(xué)-小i機(jī)器人聯(lián)合實(shí)驗(yàn)室入選國際頂級(jí)會(huì)議的代表性論文。

　　代表性論文：《學(xué)習(xí)如何抽象：一種記憶增強(qiáng)的會(huì)話回復(fù)生成》

　　入選會(huì)議：ACL2019

　　現(xiàn)有的會(huì)話回復(fù)生成模型存在生成的回復(fù)多樣性差、信息量不足等一些問題。一些研究人員嘗試?yán)脵z索系統(tǒng)去增強(qiáng)生成模型的效果，但是該方法受限于檢索系統(tǒng)的質(zhì)量。在本文中，我們提出了一種記憶增強(qiáng)的生成模型，由記憶模塊和生成模塊組成，它可以對訓(xùn)練語料進(jìn)行抽象，并且把抽象出來的有用的信息存儲(chǔ)在記憶模塊中，以便輔助生成模型去生成回復(fù)。具體來說，我們的模型會(huì)先對用戶輸入(query)-回復(fù)(response)的句對做聚類，接著抽取出每個(gè)類的共性，然后讓生成模型學(xué)習(xí)如何利用抽出的共性信息。與普通檢索增強(qiáng)模型相比，我們的模型改進(jìn)了回復(fù)生成的質(zhì)量，相關(guān)性和信息完備性。

　　代表性論文：《基于回復(fù)預(yù)期記憶的隨需知識(shí)集成機(jī)制在回復(fù)中的應(yīng)用》

　　入選會(huì)議：ACL 2020

　　眾所周知，神經(jīng)對話模型的響應(yīng)雖然正確，但缺乏足夠的內(nèi)容和信息。通過閱讀進(jìn)行對話（CbR）可以大大增強(qiáng)信息量，其中針對給定的外部文本進(jìn)行對話，圍繞CbR任務(wù)，我們提出了一種新穎的預(yù)期-回復(fù)文本存儲(chǔ)，用來利用和記住在回復(fù)生成的過程中重要的文本信息。我們通過教-學(xué)框架構(gòu)造了預(yù)期的記憶。向教師模塊提供了外部文本，上下文和真實(shí)的回復(fù)，教師請求回復(fù)并學(xué)習(xí)回復(fù)-意識(shí)權(quán)重矩陣；學(xué)生模塊根據(jù)外部文本，上下文和教師模塊的輸出，學(xué)習(xí)如何預(yù)估教師模型中的權(quán)重矩陣，并構(gòu)建預(yù)期的響應(yīng)文本記憶。我們通過自動(dòng)和人工評估驗(yàn)證了我們的模型，實(shí)驗(yàn)結(jié)果表明我們的模型獲得了CbR任務(wù)的最高性能。

　　代表性論文：《并非所有的注意力都需要：序列數(shù)據(jù)的門控注意力網(wǎng)絡(luò)》

　　入選會(huì)議：AAAI 2020

　　近年來，動(dòng)態(tài)網(wǎng)絡(luò)配置受到越來越多的關(guān)注，它是一種具有動(dòng)態(tài)連接的卷積機(jī)制神經(jīng)網(wǎng)絡(luò)，與注意力機(jī)制不同，它可以一次選擇性地激活一部分網(wǎng)絡(luò)。在本文中，我們提出了一種用于序列數(shù)據(jù)的稱為門控注意力網(wǎng)絡(luò)（GA-Net）的新方法。GA-Net使用輔助網(wǎng)絡(luò)動(dòng)態(tài)選擇要參加的元素子集，并計(jì)算注意力權(quán)重以聚合所選元素。避免了對不必要元素的大量計(jì)算，并使模型可以關(guān)注序列的重要部分。它結(jié)合了兩個(gè)與輸入有關(guān)的動(dòng)態(tài)機(jī)制，注意力機(jī)制和動(dòng)態(tài)網(wǎng)絡(luò)配置，并具有動(dòng)態(tài)稀疏的注意力結(jié)構(gòu)。實(shí)驗(yàn)表明，提出的方法在IMDB、SST-1等文本分類任務(wù)上持續(xù)獲得最佳結(jié)果，同時(shí)減少需求計(jì)算并獲得更好的可解釋性。

　　代表性論文：《平均收益重復(fù)囚徒困境的無敵策略》

　　入選會(huì)議：AAAI 2020

　　重復(fù)囚徒困境（IPD）是研究理性多智能體的長期行為的著名基準(zhǔn)。針對這個(gè)問題學(xué)術(shù)界已經(jīng)研究了許多眾所周知的策略，從簡單的針鋒相對（TFT）到更復(fù)雜的策略，例如Press和Dyson最近研究的零行列式和勒索策略。在本文中，我們考慮了所謂的無敵策略，無敵策略有以下幾個(gè)特點(diǎn)，首先，他們有一個(gè)非常清晰和直觀的定義-永遠(yuǎn)不會(huì)輸?shù)粢粓霰荣?。其次，它們的特征十分簡?可以被三個(gè)簡單條件所表示。第三，它們與諸如Press和Dyson的勒索策略以及Akin的good策略等其他經(jīng)過深思熟慮的策略密切相關(guān)。最后，從實(shí)驗(yàn)中我們發(fā)現(xiàn)，一些既不勒索也不合作的無敵策略也可以像TFT一樣發(fā)揮作用。我們的策略為重復(fù)博弈，尤其是IPD的研究做出了貢獻(xiàn)。

　　代表性論文：《重復(fù)囚徒困境的無敵策略》

　　入選會(huì)議：AAMAS 2019

　　重復(fù)囚徒困境是研究多智能體博弈的經(jīng)典經(jīng)濟(jì)學(xué)模型。各個(gè)領(lǐng)域的學(xué)者廣泛地使用這一模型，來研究合作是如何在多智能體演化過程中產(chǎn)生的。早在1981年，Axelrod組織了基于這一模型的策略競賽，“針鋒相對”策略獲得了冠軍，對后來的研究產(chǎn)生的深遠(yuǎn)的影響。2012年以來，隨著“零行列式策略”的提出，又涌現(xiàn)出許多具有特殊數(shù)學(xué)性質(zhì)的策略。受到我們最初觀察的啟發(fā)，沒有任何策略可以擊敗勒索策略，我們繼續(xù)研究所有這類立于不敗之地的策略。我們的主要技術(shù)成果是，此類策略可以被三種簡單條件所表示，還將此類策略與其他策略相關(guān)聯(lián)，并考慮了它們在結(jié)合時(shí)顯示的作用。