硅谷效仿DeepSeek 开始蒸餾

來源：量子號

在全球人工智能競賽中，OpenAI、微軟和 Meta 等領先的人工智能公司正在採用一種名爲“蒸餾”（Distillation）的开發流程，用以構建更便宜的人工智能模型，以便消費者和企業採用。

DeepSeek 利用該技術構建的人工智能模型強大而高效，該模型以競爭對手 Meta 和阿裏巴巴發布的开源系統爲基礎，已經在業界引起了廣泛關注。這一突破使人們對硅谷人工智能領導地位的信心產生了動搖，一度造成美國大型科技公司的股票大跌。

通過蒸餾技術，公司們採用大型語言模型（稱爲“老師”模型）來生成語句中下一個可能的單詞。由老師模型生成數據，然後訓練較小的“學生”模型，幫助快速地將較大模型的知識和預測轉移到較小的模型。

雖然蒸餾技術多年來一直被廣泛使用，但最近的進展讓業內專家相信，對於那些尋求以便宜且有效的方式的初創企業來說，基於該技術來構建應用程序將越來越成爲一種福音。

“蒸餾技術非常神奇，”OpenAI 平台產品負責人奧利維爾·戈德門特說。“這個過程本質上是採用一個大型的智能前沿模型，用它來訓練一個較小的模型……這個小模型在特定任務上能力非常強，而且價格便宜、執行速度非常快。”

像 OpenAI 的 GPT-4、谷歌的 Gemini 和 Meta 的 Llama 這樣的大型語言模型，需要大量的數據和計算能力來开發和維護。雖然這些公司沒有透露訓練大型模型的具體成本數額，但很可能高達數億美元。

通過蒸餾技術，开發者和企業就能以極低的價格使用這些模型的能力，這樣一來，應用程序开發者就能夠在筆記本電腦和智能手機等設備上快速運行人工智能模型。

开發者可以使用 OpenAI 的平台進行蒸餾，從驅動 ChatGPT 等產品的大型語言模型中學習。在向 OpenAI 投資近 140 億美元（約合 1020 億元人民幣）之後，作爲商業合作的一部分，該公司最大的支持者微軟使用 GPT-4 蒸餾了其小型語言模型系列 Phi。

然而，OpenAI 稱它認爲 DeepSeek 蒸餾了它的模型來訓練其競爭對手產品，此舉違反了其服務條款。DeepSeek 尚未公开回應這一說法。

雖然可以使用蒸餾技術來構建高性能模型，但專家補充說，它們的局限性也不小。

“蒸餾技術提出了一個非常有趣的權衡；如果你把模型做得更小，你就不可避免地會降低它們的能力，”微軟研究院的艾哈邁德·阿瓦達拉說。他表示，蒸餾後的模型可以用來總結電子郵件，“但它在其他方面真的不太擅長。”

IBM 研究部人工智能模型副總裁大衛·考克斯表示，大多數企業並不需要龐大的模型來運行他們的產品，精簡的模型就足夠強大，可以用於客戶服務聊天機器人等場景，或者在手機等小型設備上運行。

“只要你能降低成本，而且能獲得你想要的能力，有什么理由不去做呢？”他補充說。

這對很多領先的人工智能公司的商業模式提出了挑战。即使开發者使用 OpenAI 等公司的精簡模型，它們的運行成本也要低得多，構建成本也比較低，所以產生的收入也會比較少。像 OpenAI 這樣的模型开發商通常對使用精簡模型收費較低，因爲它們需要的計算量更少。

然而，OpenAI 的戈德門特認爲，大型語言模型仍然將用於“高智能和高風險任務”，因爲“企業愿意爲高水平的准確性和可靠性付出更多成本。”他補充說，大型模型也需要用來發現新能力，然後將其蒸餾爲較小的能力。

盡管如此，該公司仍然在努力防止其大型模型被提取出來用於訓練競爭對手產品。OpenAI 有團隊對使用情況進行監控，如果它懷疑有用戶正在生成大量數據以導出和訓練競爭對手，它可以刪除該用戶的訪問權限，就像它已經對它認爲與 DeepSeek 有關的账戶所做的那樣。但這些行動大多是事後進行的。

“OpenAI 長期以來一直在努力防止數據被蒸餾，但要完全避免是非常困難的，”爲企業打造信息檢索工具的初創公司 Contextual AI 的首席執行官杜韋·基拉說。

蒸餾技術也是开放模型倡導者的勝利，开放模型的技術可以免費供开發者使用。DeepSeek 也向开發者开放了它的最新模型。

“我們將立即使用蒸餾技術並將其融入到我們的產品中，”Meta 首席人工智能科學家楊立昆說。“這就是开源的理念。只要這些流程是开放的，你就可以從其他人的發展中受益。”

蒸餾技術還意味着模型开發者可以花費數十億美元來提升人工智能系統的能力，但仍然要面臨競爭對手的追趕，DeepSeek 最近發布的數據就證明了這一點。這引起了人們對構建大型語言模型的先發優勢的質疑，因爲現在大型語言模型的能力可以在幾個月內復制。

“在這個瞬息萬變的世界裏……你實際上可能會花很多錢，以非常艱難的方式做這件事，很快這個領域的其他人就會緊隨其後，”IBM 的考克斯說。“所以這是一個有趣但又很棘手的商業環境。”