來源：北京日報 時間：2021-12-10 13:55:54
作為當前人工智能發展的重要方向，預訓練大模型已成為AI領域的技術新高地。12月8日，鵬城實驗室與百度發布雙方共同研發的全球首個知識增強千億大模型——鵬城-百度·文心。該模型參數規模達到2600億，是目前全球最大中文單體模型。
國產算力+深度學習開源平臺聯合
當人工智能的需求呈現出碎片化、多樣化的特點，人工智能模型卻存在很多挑戰，通用性低是首要問題。也就是說，A模型往往專用于特定A領域，應用到B領域便差強人意。
百度首席技術官王海峰介紹，百度知識增強大模型從大規模知識和海量數據中融合學習，效率更高，效果更好。從2019年3月發布文心ERNIE 1.0，到最新的產業級知識增強大模型文心全景圖，既包含基礎通用的大模型，也包含面向重點領域、重點任務的大模型，以及豐富的工具與平臺，有助于促進技術創新和產業發展。
此次發布的鵬城-百度·文心是“全球首個知識增強千億大模型”，可在機器閱讀理解、文本分類、語義相似度計算等60多項任務取得良好效果，并在30余項小樣本和零樣本任務上刷新基準。該模型將進一步解決AI技術在產業應用中缺乏場景化數據等關鍵難題。據分析，60多項不同的任務，說明大模型的通用性很強，30余項小樣本和零樣本任務刷新基準，則意味著大模型泛化能力更強，對支撐各行各業非常重要。
本著“開源開放”的理念，該模型代碼近期會在OpenI啟智社區開源，依托鵬城云腦Ⅱ對外開放，積極聯合“產學研協”各方，充分挖掘AI大模型的賦能能力，助力科技創新，推動產業發展。
據悉，鵬城實驗室的算力系統“鵬城云腦Ⅱ”和飛槳深度學習平臺的聯手，解決了超大模型訓練的多個公認技術難題。“鵬城云腦Ⅱ”是國產自主的首個E級AI算力平臺，曾在多個國際性能測試上獲得冠軍。飛槳是我國首個自主研發的深度學習開源開放平臺，研制了端到端自適應分布式訓練框架，實現多硬件支持，并行效率高達90%，有效支持鵬城-百度·文心千億大模型高效、穩定地訓練。
從“大煉模型”到“煉大模型”
通常被簡稱為“大模型”的“超大規模預訓練模型”成了最近AI產學研界“出鏡率”頗高的詞匯。從國外的谷歌、OpenAI，到國內的百度、智源、華為，布局大模型已成為世界性趨勢。大模型究竟有何魔力?
“預訓練模型對整個科學的發展、社會的發展、創新的發展都是非常重要的工具。運用這個工具，可以幫助做很多人工智能的賦能，不局限于某個領域，這對人工智能的發展都是一個福音。”中國工程院院士、鵬城實驗室主任高文說。
智源研究院認為，超大規模預訓練模型的出現，很可能改變信息產業格局，即基于數據的互聯網時代、基于算力的云計算時代之后，接下來可能將進入基于大模型的AI時代。“讓人工智能像供水供電一樣流向終端，流向用戶、流向企業。誰能先做到這點，誰就會在AI產業發展中占據中心地位。”智源研究院院長黃鐵軍說。
為了提高機器學習算法的效率，改變傳統的行業布局，過去幾年，大家拼命做人工智能模型，導致模型越做越多。然而，一般的模型訓練效果并不如人意，花了大量財力精力卻達不到理想的訓練效果，“為了優化效果、提高精度，模型越來越復雜，數據越來越大，很多公司的能力不足以應對這種狀況，效率越來越低。”智源研究院院長唐杰此前曾舉例道，小煉鋼廠往往條件簡陋，能煉鋼，但質量不好。大煉鋼廠買得起設備、花得起電費，煉出的鋼質量就好，大模型就是大煉鋼廠，它可以獲得大量數據，并把數據清洗干凈，提升算力，滿足要求。與此同時，“小模型可能只需要幾個老師和學生就能完成算法的設計，但是大模型的每一層都要找專人來做，這樣可以把模型的設計和訓練精細化，模型設計也從單打獨斗變成了眾人拾柴。”唐杰說。
“大模型就是把社會的各種數據資源、最強的算法以及算力整合在一起，變成公共基礎平臺。”黃鐵軍說。
新型研發機構、企業界紛紛布局大模型，是否會造成“過熱”問題?黃鐵軍認為，無需擔心這一點，他呼吁產學研共同努力發展大模型，使其更好地服務于各種應用、各行各業。
(原標題：知識增強千億大模型發布，AI產業步入大模型時代)
(記者 孫奇茹)
