
近年中國企業在人工智能(AI)領域的進展看似迅速,但有分析認為,其主要途徑是對美國頂尖模型進行蒸餾,在某些層面等同於取得美國的先進技術。這種模式被比喻為滑水:滑水者可藉由快艇尾流高速前進,速度有時甚至可能超過快艇,卻無法真正超越帶動它的快艇。
換言之,中國實驗室的快速進步仍建立在美國同行持續推進技術前沿之上。美國技術加速,中國模型可能隨之提升;若美國放緩,中國的發展也可能受限,難以脫離追隨者角色。
模型蒸餾是以另一個人工智能模型的輸出內容來訓練新模型,並非從零開始建立模型。大型語言模型(LLM)最初透過學習網路文本模仿人類語言,而蒸餾則是進一步模仿其他大型語言模型所展現的文字生成、技能與推理能力。美國模型生成的內容,因而可成為中國模型的訓練材料。
分析指出,美國企業須讓使用者付費使用成本高昂的模型;相較之下,中國企業可利用較低成本的仿製模型。美國前沿模型可供蒸餾的空間卻正在縮小,因為網路上的文本資料幾乎已被充分使用,美國AI公司也沒有太多更先進的模型可供模仿。
目前,美國企業愈來愈依賴強化學習(RL)推進模型能力。這種方法是為模型設定目標,例如讓模型自行嘗試解答複雜數學題;但其效率較低。現階段,美國企業超過一半的運算資源用於強化學習,較2024年初的二十分之一增加逾兩倍。中國企業則再對美國模型透過強化學習取得的能力進行蒸餾,也就是美國模型透過自主摸索學習,中國模型則透過模仿吸收成果。
《計算語言學協會論文集》(Findings of the Association for Computational Linguistics)今年7月刊登的一項研究顯示,中國人工智能實驗室深度求索(DeepSeek)訓練的一個小型模型,在一項廣泛採用的數學測試中,得分由14.6%提高至45.8%。
為了達到美國前沿模型的能力,中國實驗室仍需要更多訓練資料,因此持續大規模進行模型蒸餾。Anthropic今年9月發布的報告發現,五家中國企業在五個月內從Anthropic模型收集超過1.8億條訊息。由於內容相似性極高,中國人工智能有時甚至會將自己辨識為Claude或ChatGPT。
不過,分析也指出,中國人工智能的許多進展來自本土研發。全球主要人工智能會議NeurIPS的論文數據顯示,全球頂尖人工智能研究人員中,超過一半具有華人背景。
然而,人才優勢仍有其限制。如今推動人工智能發展的主要動力是先進運算晶片;美國科技巨頭各自擁有的先進晶片數量,都超過中國所有競爭對手的總和。在這種情況下,中國只能透過模型蒸餾來縮短差距。
研究人員估計,中國人工智能模型較美國最先進模型落後約3至6個月;專家認為,若沒有模型蒸餾,這項差距可能接近翻倍。
為防範模型遭中國企業蒸餾,Anthropic與OpenAI均正設法阻斷取得模型能力的管道。兩家公司已著手修補一項今年8月發現的漏洞,同時加強對模型蒸餾行為的監測。
Anthropic也開始對Claude模型的請求收費,即使模型察覺對方意圖並拒絕回應,仍會收取費用。Anthropic表示,這項做法長期而言未必有效,但截至目前,蒸餾資料量已減少90%至99%,代價則是損失5%至7%的收入。
Anthropic認為,中國公司發布接近美國前沿水準的模型時,未設置防止濫用的安全限制,可能構成國家安全風險。
另一方面,有觀點認為,美國前沿模型本身也是利用可免費取得的網路資料訓練而成,因此中國公司以美國模型協助訓練,幾乎未引起普遍的不妥感。若美國公司完全切斷中國企業的存取管道,未來可能會為此感到後悔。
中國企業本身也意識到,過度依賴模型蒸餾只能跟隨美國腳步。若未來出現遞歸式自我改進,即人工智能模型可自主開發下一代模型的技術,可能需要複雜的基礎設施;長期仰賴蒸餾的企業,未必具備這些條件。
字節跳動創始人張一鳴曾表示,字節跳動未來不會利用模型蒸餾大幅提升自家模型能力,因為蒸餾最多只能持續縮小與前沿技術的差距,難以真正實現超越。不過,他也承認,若不依賴美國前沿模型,字節跳動又會開始落後。


