微軟語言訓練模型DeBERTa在SuperGlue閱讀測試中超過人類基線

等死的咸魚發表于2021-01-07 10:12

瀏覽次數：

在手機上閱讀

釋放雙眼，帶上耳機，聽聽看~！

Power By Baidu Ai

00:04

02:37

此文章約為555字，閱讀需要3 分鐘

具有百萬參數的訓練網絡近期獲得了巨大進展。微軟近日更新了 DeBERTa （Decoding-enhanced BERT with disentangled attention）模型，訓練了一個由 48 個 Transformer 層組成，擁有 15 億個參數的模型。

性能的大幅提升使得單個 DeBERTa 模型在 SuperGLUE 語言處理和理解上的宏觀平均得分首次超過了人類的表現（89.9 分 VS 89.8分），以相當大的優勢（90.3分對89.8分）超過了人類基線。

SuperGLUE 基準包括廣泛的自然語言理解任務，包括問題回答、自然語言推理。該模型也以 90.8 的宏觀平均分位居 GLUE 基準排名的前列。

DeBERTa 使用三種新穎的技術改進了之前最先進的PLM（例如BERT、RoBERTa、UniLM）：一個分離的注意力機制、一個增強的掩碼解碼器和一個用于微調的虛擬對抗訓練方法。

相比較由 110 億個參數組成的谷歌 T5 模型，擁有 15 億個參數的 DeBERTa 在訓練和維護上更加節能，而且更容易壓縮和部署到各種環境的應用中。

DeBERTa在SuperGLUE上超越人類的表現，標志著向通用AI邁進的重要里程碑。盡管在SuperGLUE上取得了可喜的成績，但該模型絕不是達到NLU的人類級智能。

微軟將把這項技術整合到微軟圖靈自然語言表示模型的下一個版本中，用于Bing、Office、Dynamics和Azure認知服務等地方，通過自然語言為涉及人機、人與人交互的各種場景提供動力（如聊天機器人、推薦、答題、搜索、個人助理、客服自動化、內容生成等）。此外，微軟還將向公眾發布15億參數的DeBERTa模型和源代碼。

498 個用戶覺得很有用

uc電腦園提供的技術方案或與您產品的實際情況有所差異，您需在完整閱讀方案并知曉其提示風險的情況下謹慎操作，避免造成任何損失。

如此好文，分享給朋友

圖片來源：網絡

2021年首個Windows 10預覽版發布：任務欄新增新聞熱點功能

能夠解決win10系統電腦沒有辦法查看共享計算機和打印機的四個辦法