《NeurIPS2021杰出論文等獎(jiǎng)項(xiàng)公布斯坦福大學(xué)3篇入選成最大贏家》到底具體內(nèi)容是什么？下面由我們自成學(xué)歷信息網(wǎng)小編把收集的內(nèi)容分享給大家：

曉查豐色發(fā)自凹非寺量子位報(bào)道公眾號(hào)QbitAI

NeurIPS2021將于下周正式召開(kāi)。

今天，大會(huì)委員會(huì)公布了NeurIPS2021的杰出論文獎(jiǎng)，時(shí)間測(cè)試獎(jiǎng)，以及今年新設(shè)的數(shù)據(jù)集和測(cè)試基準(zhǔn)最佳論文獎(jiǎng)。

杰出論文獎(jiǎng)今年有六篇論文被選為杰出論文獎(jiǎng)的獲得者。委員會(huì)之所以選擇這些論文，是因?yàn)樗鼈兙哂谐錾那逦?、洞察力、?chuàng)造力和持久影響的潛力。

AUniversalLawofRobustnessviaIsoperimetry論文地址：這篇論文來(lái)自微軟以及斯坦福大學(xué)，關(guān)鍵字為對(duì)抗魯棒性、過(guò)參數(shù)化和isoperimetry（等周圖形學(xué)）。

獲獎(jiǎng)理由：

本文提出了一個(gè)理論模型，來(lái)解釋為什么許多SOTA深度網(wǎng)絡(luò)模型需要比平滑擬合訓(xùn)練數(shù)據(jù)還需多得多的參數(shù)。

特別地，在訓(xùn)練分布的某些規(guī)律性條件下，O(1)-Lipschitz函數(shù)在標(biāo)簽噪聲scale之下插入訓(xùn)練數(shù)據(jù)所需的參數(shù)數(shù)量為nd，其中n是訓(xùn)練示例的數(shù)量，d是數(shù)據(jù)的維度。

這一結(jié)果與傳統(tǒng)結(jié)果形成鮮明對(duì)比。傳統(tǒng)結(jié)果表明一個(gè)函數(shù)需要n個(gè)參數(shù)來(lái)插入訓(xùn)練數(shù)據(jù)，而現(xiàn)在則發(fā)現(xiàn)，參數(shù)d似乎是保證數(shù)據(jù)平滑插入所必需的。

該理論簡(jiǎn)單而優(yōu)雅，和對(duì)MNIST分類(lèi)具有魯棒泛化能力的模型規(guī)模的觀察結(jié)果也一致。

這項(xiàng)工作還為ImageNet分類(lèi)開(kāi)發(fā)穩(wěn)健模型所需的模型大小提供了可測(cè)試的預(yù)測(cè)。

OntheExpressivityofMarkovReward論文地址：這篇論文來(lái)自DeepMind、普林斯頓大學(xué)和布朗大學(xué)，研究方向?yàn)閺?qiáng)化學(xué)習(xí)，通過(guò)檢查馬爾可夫獎(jiǎng)勵(lì)函數(shù)可以表達(dá)什么樣的任務(wù)來(lái)研究有限環(huán)境中馬爾可夫獎(jiǎng)勵(lì)函數(shù)的表達(dá)能力。

獲獎(jiǎng)理由：

馬爾可夫獎(jiǎng)勵(lì)函數(shù)是不確定性和強(qiáng)化學(xué)習(xí)下順序決策的主要框架。

本文詳細(xì)、清晰地闡述了馬爾可夫獎(jiǎng)勵(lì)何時(shí)足以或不足以使系統(tǒng)設(shè)計(jì)者根據(jù)其對(duì)行為、特定行為的偏好，或?qū)顟B(tài)和動(dòng)作序列的偏好來(lái)指定任務(wù)。

作者通過(guò)簡(jiǎn)單的說(shuō)明性示例證明，存在一些無(wú)法指定馬爾可夫獎(jiǎng)勵(lì)函數(shù)來(lái)引發(fā)所需任務(wù)和結(jié)果的任務(wù)。

幸運(yùn)的是，他們還表明，可以在多項(xiàng)式時(shí)間內(nèi)確定所需設(shè)置是否存在兼容的馬爾可夫獎(jiǎng)勵(lì)，如果存在，也存在多項(xiàng)式時(shí)間算法來(lái)在有限決策過(guò)程設(shè)置中構(gòu)建這樣的馬爾可夫獎(jiǎng)勵(lì)。

這項(xiàng)工作闡明了獎(jiǎng)勵(lì)設(shè)計(jì)的挑戰(zhàn)，并可能開(kāi)辟未來(lái)研究馬爾可夫框架何時(shí)以及如何足以實(shí)現(xiàn)人類(lèi)所需性能的途徑。

DeepReinforcementLearningattheEdgeoftheStatisticalPrecipice論文地址：論文來(lái)自谷歌、蒙特利爾大學(xué)和麥吉爾大學(xué)，研究方向也是強(qiáng)化學(xué)習(xí)。

獲獎(jiǎng)理由：

方法的嚴(yán)格比較可以加速有意義的科學(xué)進(jìn)步。本文提出了提高深度強(qiáng)化學(xué)習(xí)算法比較嚴(yán)謹(jǐn)性的實(shí)用方法。

具體而言，新算法的評(píng)估應(yīng)提供分層的引導(dǎo)程序置信區(qū)間、跨任務(wù)和運(yùn)行的性能概況以及四分位數(shù)均值。

該論文強(qiáng)調(diào)，在許多任務(wù)和多次運(yùn)行中報(bào)告深度強(qiáng)化學(xué)習(xí)結(jié)果的標(biāo)準(zhǔn)方法，可能使評(píng)估新算法和過(guò)去方法之間的一致性和提升變得困難，并通過(guò)實(shí)證示例說(shuō)明了這一點(diǎn)。

所提出的性能比較方法旨在通過(guò)每個(gè)任務(wù)的少量運(yùn)行進(jìn)行計(jì)算，這對(duì)于許多計(jì)算資源有限的研究實(shí)驗(yàn)室來(lái)說(shuō)可能是必要的。

MAUVE:MeasuringtheGapBetweenNeuralTextandHumanTextusingDivergenceFrontiers論文地址：論文作者來(lái)自華盛頓大學(xué)、艾倫研究所和斯坦福大學(xué)。

獲獎(jiǎng)理由：

本文介紹了MAUVE，這是一種比較模型生成文本分布與人類(lèi)生成文本分布的散度度量。這個(gè)想法簡(jiǎn)單而優(yōu)雅，它基本上使用了被比較的兩個(gè)文本的量化嵌入的（soft）KL散度測(cè)量的連續(xù)族。

本出提議的MAUVE度量本質(zhì)上是對(duì)連續(xù)度量系列的集成，目標(biāo)是捕獲I類(lèi)錯(cuò)誤（生成不切實(shí)際的文本）和II類(lèi)錯(cuò)誤（不捕獲所有可能的人類(lèi)文本）。

實(shí)驗(yàn)表明，與之前的散度指標(biāo)相比，MAUVE可以識(shí)別模型生成文本的已知模式，并且與人類(lèi)判斷的相關(guān)性更好。

這篇論文寫(xiě)得很好，研究問(wèn)題在開(kāi)放式文本生成快速發(fā)展的背景下很重要，而且結(jié)果很明確。

ContinuizedAccelerationsofDeterministicandStochasticGradientDescents,andofGossipAlgorithms論文地址：

本篇論文來(lái)自巴黎文理研究大學(xué)、洛桑聯(lián)邦理工學(xué)院、格勒諾布爾-阿爾卑斯大學(xué)、MSR-Inria聯(lián)合中心。

獲獎(jiǎng)理由：

本文描述了Nesterov加速梯度方法的“連續(xù)化”版本，其中兩個(gè)獨(dú)立的向量變量在連續(xù)時(shí)間內(nèi)共同演化——很像以前使用微分方程來(lái)理解加速度的方法——但使用梯度更新，隨機(jī)時(shí)間發(fā)生在泊松點(diǎn)過(guò)程。

這種新方法導(dǎo)致了一種（隨機(jī)化）離散時(shí)間方法：

(1)與Nesterov方法具有相同的加速收斂性；

(2)帶有利用連續(xù)時(shí)間參數(shù)的清晰透明的分析，這可以說(shuō)比之前對(duì)加速梯度方法的分析更容易理解；

(3)避免了連續(xù)時(shí)間過(guò)程離散化的額外錯(cuò)誤，這與之前使用連續(xù)時(shí)間過(guò)程理解加速方法的幾次嘗試形成鮮明對(duì)比。

MoserFlow：Divergence-basedGenerativeModelingonManifolds論文地址：本文作者來(lái)自魏茨曼科學(xué)研究學(xué)院、Facebook和加州大學(xué)洛杉磯分校。

獲獎(jiǎng)理由：

本文提出了一種在黎曼流形上訓(xùn)練連續(xù)歸一化流(CNF)生成模型的方法。關(guān)鍵思想是利用Moser(1965)的結(jié)果，該結(jié)果使用具有幾何規(guī)律性條件的受限常微分方程（ODE）類(lèi)來(lái)表征CNF的解，并使用散度明確定義目標(biāo)密度函數(shù)。

本文提出的MoserFlow方法使用此解決方案概念，來(lái)開(kāi)發(fā)基于參數(shù)化目標(biāo)密度估計(jì)器的CNF方法。訓(xùn)練相當(dāng)于簡(jiǎn)單地優(yōu)化密度估計(jì)器的散度，回避運(yùn)行標(biāo)準(zhǔn)反向傳播訓(xùn)練所需的ODE求解器。

實(shí)驗(yàn)表明，與之前的CNF工作相比，它的訓(xùn)練時(shí)間更快，測(cè)試性能更出色，并且能夠?qū)哂蟹浅?shù)曲率的隱式曲面的密度進(jìn)行建模。

時(shí)間檢驗(yàn)獎(jiǎng)從去年開(kāi)始，NeurIPS時(shí)間檢驗(yàn)獎(jiǎng)（TestofTimeAward）選擇了更廣的年限范圍。因此，今年大會(huì)委員會(huì)選擇2010年2011年論文。

在16篇引用量超過(guò)500的論文里，委員會(huì)選擇了這篇論文：

OnlineLearningforLatentDirichletAllocation論文地址：

作者來(lái)自普林斯頓大學(xué)和法國(guó)國(guó)家信息與自動(dòng)化研究所。

第一作者M(jìn)atthewD.Hoffman發(fā)表這篇論文時(shí)，曾經(jīng)在普林斯頓攻讀博士學(xué)位，現(xiàn)在他是谷歌一名高級(jí)研究科學(xué)家。

本文介紹了一種基于隨機(jī)變分梯度的推理過(guò)程，用于在非常大的文本語(yǔ)料庫(kù)上訓(xùn)練潛在狄利克雷分配(LDA)模型。在理論方面，它表明訓(xùn)練過(guò)程收斂到局部最優(yōu)，令人驚訝的是，簡(jiǎn)單的隨機(jī)梯度更新對(duì)應(yīng)于ELBO目標(biāo)的隨機(jī)自然梯度。

在實(shí)證方面，作者首次表明LDA可以輕松地在數(shù)十萬(wàn)個(gè)文檔的文本語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，使其成為解決“大數(shù)據(jù)”問(wèn)題的實(shí)用技術(shù)。

這個(gè)想法在機(jī)器學(xué)習(xí)社區(qū)產(chǎn)生了很大的影響，因?yàn)樗歉鼜V泛模型類(lèi)別的一般隨機(jī)梯度變分推理過(guò)程的基礎(chǔ)。這篇論文之后，就沒(méi)有充分的理由再使用完整的批次訓(xùn)練程序進(jìn)行變分推理了。

數(shù)據(jù)集和基準(zhǔn)測(cè)試最佳論文獎(jiǎng)今年NeurIPS推出了新的數(shù)據(jù)集和基準(zhǔn)測(cè)試（Datasets&Benchmarks）賽道，表彰在數(shù)據(jù)領(lǐng)域的工作。

該領(lǐng)域的2篇最佳論文獎(jiǎng)分別是：

Reduced,ReusedandRecycled:TheLifeofaDatasetinMachineLearningResearch

論文地址：這篇論文作者來(lái)自加州大學(xué)洛杉磯分校和谷歌。

本文分析了數(shù)千篇論文并研究了不同機(jī)器學(xué)習(xí)子社區(qū)中數(shù)據(jù)集使用的演變，以及數(shù)據(jù)集采用和創(chuàng)建之間的相互作用。

作者發(fā)現(xiàn)，在大多數(shù)社區(qū)中，隨著時(shí)間的推移，使用不同數(shù)據(jù)集的人更少了，而且人們使用的數(shù)據(jù)集基本都來(lái)自少數(shù)精英機(jī)構(gòu)。

這種變化是有問(wèn)題的，因?yàn)榛鶞?zhǔn)變得不那么具有普遍性，這些數(shù)據(jù)集來(lái)源中存在的偏見(jiàn)可能會(huì)被放大，并且研究界更難接受新的數(shù)據(jù)集。

這對(duì)整個(gè)機(jī)器學(xué)習(xí)社區(qū)來(lái)說(shuō)是一個(gè)重要的“警鐘”，讓他們更加批判性地思考哪些數(shù)據(jù)集用于基準(zhǔn)測(cè)試，并更加重視創(chuàng)建新的、更多樣化的數(shù)據(jù)集。

ATOM3D:TasksonMoleculesinThreeDimensions

論文地址：這篇文章作者來(lái)自于斯坦福大學(xué)和芝加哥大學(xué)。

本文介紹了一組基準(zhǔn)數(shù)據(jù)集，其中包含小分子和/或生物聚合物的3D表示，用于解決單分子結(jié)構(gòu)預(yù)測(cè)和生物分子之間的相互作用，以及分子功能和設(shè)計(jì)與工程任務(wù)問(wèn)題。

這篇文章將3D模型的實(shí)現(xiàn)與具有1D或2D表示的SOTA模型進(jìn)行基準(zhǔn)測(cè)試，并顯示出比低維對(duì)應(yīng)物更好的性能。這項(xiàng)工作提供了有關(guān)如何為給定任務(wù)選擇和設(shè)計(jì)模型的重要見(jiàn)解。

這項(xiàng)工作不僅提供了基準(zhǔn)數(shù)據(jù)集，還提供了基線模型和開(kāi)源工具來(lái)利用這些數(shù)據(jù)集和模型，大大降低了機(jī)器學(xué)習(xí)人員進(jìn)入計(jì)算生物學(xué)和分子設(shè)計(jì)的門(mén)檻。

原文地址：

—完—

量子位QbitAI·頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)

以上就是自成學(xué)歷信息網(wǎng)為您收集的有關(guān)《NeurIPS2021杰出論文等獎(jiǎng)項(xiàng)公布斯坦福大學(xué)3篇入選成最大贏家》的全部?jī)?nèi)容，希望能給您帶來(lái)幫助，想要了解更多成考自考相關(guān)信息，可持續(xù)關(guān)注自成學(xué)歷信息網(wǎng)(www.garharn.cn)。