行業動態

NIPS 2017首日亮點全解讀:四大獲獎論文結果揭曉

發布時間:2017-12-18 13:08:55  訪問次數:

娇妻系列交换來源:機器之心

娇妻系列交换大會第壹天,長灘會展中心門口的註冊排隊長龍「長到可以讓妳看幾篇論文」,這就是 NIPS 的魅力。

 

美國時間 12 月 4 日晨,第 31 屆神經信息處理系統大會(Neural Information Processing Systems,NIPS)於美國加州長灘的會展中心正式開幕。作為人工智能和機器學習領域最重要的盛會,來自計算機科學領域的各路專家和業界人士匯集於此,將在未來的五天裏共同討論和分享人工智能的前沿想法。 

為了近距離報道大會新進展,機器之心分析師走進了大會現場,將在本次大會上對各類新鮮事進行現場報道。此外,我們還將邀請大會接收論文的部分作者進行技術分享與熱點評論,敬請期待。

娇妻系列交换 

除了關註度之外,NIPS 2017 的學術含金量也又上了壹個新臺階。據統計,本屆 NIPS 共收到 3240 篇論文投稿,創歷年新高,其中 678 篇被選為大會論文,錄用比例 20.9%。40 篇為 Oral 論文,112 篇為 Spotlight 論文。 

今日,官網公布了 3 篇最佳論文、壹篇 Test of time award 獎項,機器之心對這四篇獲獎論文做了摘要介紹。

 

最佳論文獎(Best paper awards 

大會第壹天,根據官網信息我們正式獲知了今年的最佳論文等獎項。由於今年最佳論文的獲獎者,來自卡耐基梅隆大學的 Noam Brown 與其導師 Tuomas Sandholm 早早地公布了自己的獲獎信息(參見:NIPS 2017 最佳論文出爐:CMU 冷撲大師不完美信息博弈研究獲獎),懸念就落到了另外幾篇獲獎論文上。 

論文:Safe and Nested Subgame Solving for Imperfect-Information Games

論文鏈接:https://arxiv.org/abs/1705.02955

摘要:和完美信息博弈不同,不完美信息博弈不能通過將博弈分解為可獨立求解的子博弈而求得占優策略。因此我們越來越多地使用計算密集的均衡判定技術,並且所有的決策必須將博弈的策略當做壹個整體。由於不能通過精確的分解來解決不完美信息博弈,人們開始考慮近似解,或通過解決不相交的子博弈提升當前結果。這個過程被稱為子博弈求解(subgame solving)。我們提出了壹種無論在理論上還是在實踐上都超越了之前方法的子博弈求解技術。我們還展示了如何對它們和以前的子博弈求解技術進行調整,以對超出初始行動提取(original action abstraction)的對手的行動做出應答;這遠遠超越了之前的頂尖方法,即行動轉化(action translation)。最後,我們展示了當博弈沿著博弈樹向下進行時,子博弈求解可能會重復進行,從而大大降低可利用性。我們應用這些技術開發了能在壹對壹無限註德州撲克單挑中打敗頂尖人類選手的第壹個 AI。 

來自倫敦大學學院(UCL)的 Wittawat Jitkrittum 等人同時獲得了 NIPS 2017 最佳論文獎。 

論文:A Linear-Time Kernel Goodness-of-Fit Test

論文鏈接:http://www.cmap.polytechnique.fr/~zoltan.szabo/publications/jitkrittum17linear.pdf

摘要:我們提出了壹個全新的擬合優度(goodness-of-fit)的適應性測試法,其中計算資源的消耗與樣本數呈線性關系。我們通過最小化假負類率來學習最能展示觀察樣本和參考模型之間差異的測試特征。這些特征是通過 Stein 法構造的——這意味著沒有必要計算模型的歸壹化常數。我們分析了新測試的 Bahadur 漸進效率,並證明了在均值偏移(mean-shift)的情況下,無論選擇哪個測試參數,我們的測試總是比先前的線性時間核測試具有更高的相對效率。在實驗中,新方法的性能超過了早期線性時間測試,並且匹配或超過了二次時序內核(quadratic-time kernel)測試的能力。在高維和模型結構可用的情況下,我們的擬合優度測試在模型中抽取樣本,表現遠遠超越基於最大平均差異(Maximum Mean Discrepancy)的二次時序雙樣本測試。

Wittawat Jitkrittum(左), Zoltan Szabo(右) 

在接受機器之心的采訪中,該論文的第壹作者 Jitkrittum 表示他並沒有想到會獲得這個獎項。「我們的項目采取了壹種獨特的方法,並開發了壹款工具,能夠更高效地在模型中基於數據樣本找出錯誤。但我並沒有想到它會受到如此的好評。 

另壹個最佳論文獎項則歸於斯坦福大學的 John C. Duchi 與 Hongseok Namkoong。 

論文:Variance-based Regularization with Convex Objectives 

論文鏈接:https://arxiv.org/abs/1610.02581

摘要:我們研究了壹種風險最小化和隨機優化的方法,該方法可以為方差提供壹個凸屬性的替代項,並允許在逼近和估計誤差間實現近似最優與高效計算間的權衡。我們的方法建立在分布魯棒性優化和 Owen 經驗性似然度的基礎上,並提供了壹些有限樣本(finite-sample)和漸進結果以展示估計器的的理論性能。具體來說,我們證明了該過程具有最優性保證(ertificates of optimality),並通過逼近和最優估計誤差間良好的權衡在更壹般的設定下比經驗風險最小化方法有更快的收斂率。我們還給出了確鑿的經驗性證據,其表明估計器在實踐中會在訓練樣本的方差和絕對性能之間進行權衡。此外,估計器也會提升標準經驗風險最小化方法在許多分類問題上的測試性能。

經典論文獎(Test of time award

論文:Random Features for Large-Scale Kernel Machines

論文鏈接:https://people.eecs.berkeley.edu/~brecht/papers/07.rah.rec.nips.pdf

摘要:為了加速核機器(核函數)的訓練,我們提出了壹種將輸入數據映射到壹個隨機低維特征空間的方法,並將這種映射應用到現存的快速線性方法中。我們的隨機化特征經過特定的設計以轉化數據的內積近似等價於特征空間中用戶指定位移不變性的核函數(shift-invariant kernel)。我們研究了兩組隨機特征,提供了其近似各種徑向基核函數(RBK)能力的收斂範圍,並表明在在大規模分類和回歸任務中,使用這些特征的線性機器學習算法優於當前最佳的大規模核機器。 

以上就是NIPS 2017大會的首日亮點。