大型動作模型 (LAM) 代表了人工智能領域的一個新前沿，旨在克服當前大型語言模型 (LLM) 的局限性。雖然這些模型擅長生成復雜的文本響應和理解自然語言，但在與動態(tài)環(huán)境交互和執(zhí)行具體動作方面卻顯得力不從心。LAM 填補了這一空白，使人工智能超越了語言理解的被動維度，具備了執(zhí)行和決策的主動能力。

LAM 不僅擴展了大型語言模型（如 GPT-4）的功能，還為 AI 生態(tài)系統(tǒng)帶來了一個全新的維度。LLM 擅長理解自然語言并生成輸出，而LAM 則更進一步，將 AI 從純粹的語言處理領域拓展到在數(shù)字和物理環(huán)境中執(zhí)行復雜操作的能力。這種轉變不僅是技術層面的，也是概念層面的：LAM 將 AI 從被動的（僅能對語言輸入做出響應的）實體轉變?yōu)槟軌蛟诂F(xiàn)實世界中進行規(guī)劃和操作的主動系統(tǒng)，能夠適應環(huán)境動態(tài)和情境化需求。

這種轉變在當代人工智能領域尤為重要，因為它標志著向真正可操作的智能系統(tǒng)概念邁出了一步，能夠整合語義理解、戰(zhàn)略規(guī)劃和實際執(zhí)行。

要點總結

操作型人工智能的新范式——大型動作模型代表了人工智能領域的一項突破，突破了現(xiàn)有語言模型（LLM）的局限性。它們不僅能夠解讀自然語言，還能將其轉化為具體的動作和可執(zhí)行的操作，從而使人工智能更加主動、更具情境化。

LLM 和 LAM 之間的主要區(qū)別——LLM 專注于文本處理和生成，而 LAM 則更進一步，在數(shù)字和物理環(huán)境中執(zhí)行實際任務。這種能力對于需要自動化和實時適應性的應用至關重要。

LAM 作為 AI 代理的核心——LAM 在 AI 代理中扮演著至關重要的角色，是執(zhí)行復雜任務的運行引擎。它們能夠理解環(huán)境、規(guī)劃詳細的行動并執(zhí)行，并動態(tài)地適應環(huán)境變化，但它們并不具備擬人化的自主性（例如 Agentic AI）。

LAM 的未來潛力——雖然 LAM 還不是完全自主的系統(tǒng)，但它們代表著邁向更先進和代理模型的中間步驟，為能夠系統(tǒng)地融入社會和生產(chǎn)過程的 AI 奠定了基礎。

什么是大型動作模型？

大型行動模型 (LAM) 代表了新一代人工智能模型，旨在擴展傳統(tǒng)大規(guī)模語言模型 (LLM) 的功能，并彌合語言理解與具體行動之間的差距。LLM 主要專注于自然語言處理，擅長文本生成、問答和語義翻譯，而 LAM 則引入了一種變革性元素：能夠?qū)⒄Z言解釋轉化為各種數(shù)字和物理情境中的切實行動。

這些模型的構建是為了解決 LLM 的一個根本限制：無法執(zhí)行具體操作并與環(huán)境進行動態(tài)交互。事實上，LAM 不僅僅提供建議或解釋，還能夠生成可實時執(zhí)行的操作序列，這使得它們成為需要自動化和可操作性的應用的關鍵工具。例如，LAM 可以執(zhí)行諸如管理圖形用戶界面 (GUI)、控制物聯(lián)網(wǎng)設備、集成軟件系統(tǒng)，甚至與工業(yè)機器人等物理機器交互等任務。

為了更好地說明差異，請考慮如下請求：“請使用 Excel 文件中的數(shù)據(jù)填寫此表格?！?/p>

傳統(tǒng)的 LLM 可能會以完成任務所需的指令的文本描述來回應（例如，“打開 Excel 文件，復制數(shù)據(jù)，然后將其粘貼到表單中”）。

相比之下，LAM 的功能更進一步：它可以打開 Excel 文件，提取相關數(shù)據(jù)，進行處理，并自主填寫所需的表格，而無需進一步的人工干預。

簡而言之：LAM 是一種人工智能模型，旨在將用戶意圖轉化為數(shù)字和物理環(huán)境中的切實行動。

LAM 的工作原理

這種演變基于 LAM 的以下能力：

解釋復雜的輸入（文本、視覺、聲音）以理解用戶意圖；

制定詳細的行動以實現(xiàn)目標；

執(zhí)行動作，動態(tài)適應環(huán)境條件。

例如，雖然像 GPT 這樣的 LLM 可以生成預訂旅行的詳細計劃，但 LAM 可以更進一步，在網(wǎng)站上完成預訂，并直接與界面進行交互。

得益于與外部系統(tǒng)的精密集成，語言輔助機器人 (LAM) 將語義語言理解與先進的規(guī)劃和行動能力相結合。它們通過智能代理進行操作，智能代理收集上下文信息、解讀自然語言并生成特定的動作序列。這種方法使它們能夠?qū)崟r與環(huán)境交互，適應不斷變化的條件，并確保高度的精確度和自主性。

LAM 的一個關鍵特性是能夠?qū)碗s任務分解為可管理的子任務，將每個請求轉化為一系列具體的、連續(xù)的步驟。為此，它們使用融合了高級監(jiān)督學習、強化學習和環(huán)境集成技術的模型，從而使它們能夠在深入了解相互依賴關系和操作動態(tài)的情況下執(zhí)行操作。

LLM和LAM之間的區(qū)別

LLM 和 LAM 的根本區(qū)別在于它們的核心功能。LLM 專注于理解自然語言并生成輸出，使其成為解答問題、創(chuàng)建內(nèi)容或支持語言分析的絕佳工具。然而，它們的局限性在于無法直接與外部環(huán)境交互。

另一方面，LAM 代表著向更具操作性的 AI 邁進了一步?；诖砑煽蚣埽ˋI 代理），LAM 不僅能夠理解任務，還能通過一系列操作執(zhí)行任務。這種差異體現(xiàn)在以下幾個方面：

輸出：LLM 生成文本，而 LAM 產(chǎn)生具體動作；

環(huán)境集成：LAM 在真實、數(shù)字或物理環(huán)境中運行，與工具、應用程序和設備交互；

動態(tài)適應性：LAM 根據(jù)環(huán)境反饋調(diào)整計劃，而這是 LLM 通常缺乏的能力。

更詳細地說：

（1）輸出：從文本到行動

類似 GPT-4 的 LLM 旨在處理語言輸入并生成響應。其輸出僅限于口頭、書面和視覺（圖像、視頻）形式的交流，通常以建議、解釋或問題答案的形式出現(xiàn)（例如，對于系統(tǒng)而言，按照提示生成圖像或視頻僅僅是對請求的響應）。這一特性使其成為需要語義理解和內(nèi)容生成的應用程序（例如聊天機器人、自動翻譯、虛擬助手、圖像生成器等）的卓越工具。

另一方面，語言建模模型 (LAM) 通過添加操作維度擴展了此功能。它們的輸出不僅限于文本，還包括可以在數(shù)字和物理環(huán)境中實際執(zhí)行的操作。例如，這些模型可以打開應用程序、與圖形界面交互、填寫表單、實時處理數(shù)據(jù)，甚至控制機器人或物聯(lián)網(wǎng)設備等物理設備。

換句話說，當 LLM 做出響應時，LAM 會采取行動，將自然語言翻譯成可執(zhí)行的操作序列。

（2）環(huán)境互動：靜態(tài)與動態(tài)

LLM 主要在抽象的虛擬空間中運行，其中對上下文的理解僅限于文本輸入中明確提供的內(nèi)容。這些模型基于預先訓練的數(shù)據(jù)運行，并非設計用于直接與復雜或動態(tài)的環(huán)境交互。例如，LLM 可以描述如何訪問應用程序或完成任務，但它無法主動導航操作系統(tǒng)或適應實時變化。

另一方面，LAM 專為在復雜動態(tài)的環(huán)境中運行而設計，它們能夠收集上下文信息，對不斷變化的變量做出反應，并相應地調(diào)整操作。這使得它們成為處理任務執(zhí)行過程中參數(shù)或條件可能發(fā)生變化的場景的卓越工具。例如，在工業(yè)環(huán)境中，LAM 可以根據(jù)輸入數(shù)據(jù)的變化或意外的機器故障動態(tài)調(diào)整生產(chǎn)計劃。這種適應環(huán)境的能力使 LAM 比 LLM 具有更高的自主性和彈性。

（3）規(guī)劃與適應：響應與戰(zhàn)略行動

LLM 和 LAM 之間的另一個關鍵區(qū)別在于它們的規(guī)劃和適應能力。LLM旨在基于概率語言模型生成響應，但它們?nèi)狈幼髦g相互依賴關系的真正理解，也缺乏對長期戰(zhàn)略規(guī)劃需求的真正理解。例如，LLM 可以提供完成任務的指令列表，但它無法將這些指令組織成連貫的順序，也無法根據(jù)不可預見的障礙調(diào)整計劃。

另一方面，LAM 擅長動態(tài)規(guī)劃，這使得他們能夠?qū)碗s的任務分解為可管理的子任務，并根據(jù)實時反饋不斷調(diào)整計劃。這種能力不僅限于簡單地執(zhí)行預先制定的計劃；LAM 能夠根據(jù)環(huán)境變化、錯誤或新信息重新調(diào)整操作。例如，負責管理自動化流程的 LAM 最初可能會規(guī)劃一系列特定的操作，但如果所需資源不可用，他們可以重新制定計劃，以便使用其他資源仍然實現(xiàn)預期目標。

簡而言之：

LLM：基于概率模型生成響應；它們與環(huán)境的交互是間接的，并且基于預先訓練的數(shù)據(jù)；它們不會實時規(guī)劃或適應。

LAM：生成直接影響環(huán)境的具體行動；與復雜環(huán)境動態(tài)交互，適應不斷變化的變量；規(guī)劃運營策略并根據(jù)需要不斷修改計劃。

LAM、AI Agent、Agentic AI……令人困惑！

在此，有必要明確一下LAM、AI Agent和Agentic AI之間的一些區(qū)別。

大型行動模型 (LAM) 在自主人工智能系統(tǒng)的發(fā)展中發(fā)揮著核心作用，尤其是在人工智能代理的設計和實現(xiàn)中。這些智能系統(tǒng)能夠感知周圍環(huán)境，根據(jù)情境輸入做出決策，規(guī)劃戰(zhàn)略行動并自主執(zhí)行。在此背景下，LAM 發(fā)揮著至關重要的作用，它充當決策和操作引擎，使代理能夠從語言理解轉向具體行動。然而，代理人工智能則完全不同。

讓我們嘗試澄清一些事情。

LAM 和 AI Agent，雙贏的關系

AI代理是通過感知、決策和行動的迭代循環(huán)來處理復雜任務的系統(tǒng)。它們在動態(tài)且通常不確定的環(huán)境中運行，必須不斷適應新的輸入并根據(jù)情境調(diào)整自身行為。在此過程中，LAM 代表功能核心，將用戶請求轉化為可執(zhí)行的、情境化的操作序列。

LAM 在 AI 代理中的作用分為幾個基本步驟：

理解用戶輸入：LAM 使用先進的自然語言處理能力（從 LLM 繼承）來解釋以自然語言表達的請求；

行動規(guī)劃：與傳統(tǒng)語言模型不同，LAM 能夠?qū)碗s任務分解為子任務，規(guī)劃連貫的行動序列以實現(xiàn)預期目標；

情境化執(zhí)行：LAM 將語言與操作環(huán)境相結合，將其決策轉化為具體行動，其中可能包括與圖形界面、軟件 API 甚至物理硬件的交互；

動態(tài)適應：在執(zhí)行過程中，LAM 不斷分析環(huán)境變化并根據(jù)收到的反饋調(diào)整其操作，確保即使在意外情況下也能保持穩(wěn)健的行為。

智能家居自動化系統(tǒng)是 LAM 在 AI 代理中發(fā)揮作用的一個具體例子。當用戶請求（例如“安排下午 2:00 的視頻會議”）時，LAM 可以訪問日歷，查找可用時間，向參與者發(fā)送邀請，并設置虛擬會議會議室。這種程度的集成和自動化對于簡單的 LLM 來說是不可能實現(xiàn)的。

LAM和Agentic AI的區(qū)別

雖然LAM對于AI代理的運行至關重要，但必須將其作用與定義為“代理型AI”的系統(tǒng)區(qū)分開來?！按硇虯I”是指更高級別的人工智能，其特點是具有自主性和近乎“有意”的感知能力，類似于人類。這一概念意味著系統(tǒng)具備對自身狀態(tài)（但需要注意，這并不是像人類或其他動物物種那樣對“存在”的意識）、自身行為及其長期影響的內(nèi)在理解。

LAM 雖然極其先進，但卻缺乏 Agentic AI 所具備的內(nèi)在自主性或意向性。它們的行為遵循以下原則：

預設數(shù)據(jù)：LAM 根據(jù)其開發(fā)過程中定義的訓練數(shù)據(jù)集和操作規(guī)則采取行動；

具體指令：其行動受到用戶或操作環(huán)境定義的明確目標的限制和約束；

缺乏“意識”：LAM 并不“理解”其環(huán)境或行為，而是基于模擬邏輯決策的算法執(zhí)行任務。這一區(qū)別對于避免誤解 LAM 的功能至關重要。雖然它們代表著邁向智能自動化的重要一步，但它們并非旨在成為自主的“思考”智能體，而是在明確定義的情境中執(zhí)行復雜任務的復雜工具。

LAM 和通往 Agentic AI 的橋梁

雖然語言輔助機器人 (LAM) 本身并非自主型人工智能 (Agentic AI)，但它可以被視為向更自主型系統(tǒng)過渡的中間階段。它們將語言理解、規(guī)劃和行動相結合的能力，為自主型人工智能的未來發(fā)展奠定了基礎。然而，要達到一定程度的擬人化自主性，需要克服一些關鍵的限制：

有意識的感知：代理人工智能需要系統(tǒng)能夠以更復雜和獨立的方式感知和理解自身的內(nèi)部狀態(tài)和外部環(huán)境（盡管科學研究進展非常迅速，但對這些系統(tǒng)的理解還遠遠沒有達到人類的意識）；

決策自主性：Agentic AI 中的自主性不能完全由預先定義的規(guī)則指導，而必須源于系統(tǒng)制定自身目標并長期適應的能力；

持續(xù)學習：LAM 依賴于預先訓練的模型和有限的反饋，而 Agentic AI 應該能夠在沒有人工監(jiān)督的情況下自主地從新的經(jīng)驗中學習。

未來一瞥

大型行動模型（LAM）的出現(xiàn)不僅有望重新定義人工智能的能力，更有望重新定義這些技術將融入的社會經(jīng)濟、技術、政治和環(huán)境背景。通過STEPS（社會、技術、經(jīng)濟、政治、可持續(xù)性）矩陣分析這些影響，使我們能夠理解這場技術革命的系統(tǒng)性和多維影響。

S –社交

LAM 有可能對社會動態(tài)產(chǎn)生深遠影響，特別是我們?nèi)绾闻c技術和勞動力市場的變化互動。

可訪問性和包容性：LAM 能夠?qū)⒆匀徽Z言轉化為切實可行的行動，使數(shù)字技能有限的人更容易獲得技術，從而促進與醫(yī)療保健、教育和公共服務等領域的復雜工具的互動。

技術性失業(yè)：LAM 帶來的先進自動化技術可以減少許多任務中對人工干預的需求，尤其是重復性或標準化任務。然而，這可能導致勞動力市場兩極分化的風險，對高度專業(yè)化技能的需求增加，而中級職位的機會減少。

人機交互的新形式：語言輔助機器人 (LAM) 能夠自主響應人類語言輸入，這將重新定義人類感知科技的方式。這可能會催生新的人機協(xié)作模式，但同時也會引發(fā)關于自動化系統(tǒng)操作透明度的倫理問題。

T – 技術

從技術角度來看，LAM 代表著一項突破，它將人工智能的界限從語言理解擴展到了真正可操作和可情境化的人工智能。

智能生態(tài)系統(tǒng)：LAM 與物聯(lián)網(wǎng) (IoT)、云計算和先進機器人等復雜系統(tǒng)的集成將為日益互聯(lián)和自主運行的技術生態(tài)系統(tǒng)鋪平道路。

可擴展性挑戰(zhàn)：LAM 的開發(fā)和部署需要復雜的計算基礎設施和高質(zhì)量的數(shù)據(jù)集。這可能會限制大型公司和技術機構對這些技術的使用，從而減緩創(chuàng)新的民主化進程。

網(wǎng)絡安全：LAM 執(zhí)行的自動化操作的增加帶來了新的網(wǎng)絡安全風險，因為系統(tǒng)可能容易受到利用其操作自主性的操縱或攻擊。

E – 經(jīng)濟

LAM 有望改變經(jīng)濟格局，影響生產(chǎn)力、效率和商業(yè)模式。

提高生產(chǎn)力：通過自動化復雜且重復的任務，LAM 可以顯著提高制造業(yè)、物流業(yè)、金融服務業(yè)和醫(yī)療保健等關鍵行業(yè)的運營效率。

價值重新分配：能夠?qū)?LAM 實施到其流程中的公司可以通過擴大能夠使用這些技術的人與無法整合這些技術的人之間的經(jīng)濟差距來獲得顯著的競爭優(yōu)勢。

新市場和新領域：LAM 的傳播可以刺激與個性化自動化相關的新市場的創(chuàng)建，例如運營虛擬助手或中小企業(yè)的決策支持系統(tǒng)。

P-政治

LAM 的廣泛采用引發(fā)了需要關注的政策和監(jiān)管問題。

治理與監(jiān)管：各國政府將面臨監(jiān)管LAM使用的挑戰(zhàn)，確保其行為安全、透明且合乎道德。建立LAM使用的全球標準對于防止濫用或誤用至關重要。

技術地緣政治：與生成式人工智能一樣，LAM 可能成為全球技術競爭的焦點，各國都會進行戰(zhàn)略投資，開發(fā)和保護自己的人工智能基礎設施。

對人權的影響：LAM 自主權的增強可能會引發(fā)對隱私、數(shù)字權利以及濫用技術進行社會控制或監(jiān)視的擔憂。

S – 可持續(xù)性

可持續(xù)性是評估 LAM 采用情況的一個重要維度，尤其是考慮到所需計算基礎設施對環(huán)境的影響。

能耗：由于LAM的復雜性，它需要大量的計算資源，從而增加了能源消耗和技術基礎設施的碳足跡。量子計算或算法優(yōu)化等解決方案對于減輕這種影響至關重要。

可持續(xù)自動化：LAM 優(yōu)化復雜流程的能力可用于促進資源管理、廢物減少和能源轉型等領域的可持續(xù)性。

技術生命周期：LAM 的采用引發(fā)了人們對相關技術長期可持續(xù)性的質(zhì)疑，包括對更高效的硬件基礎設施和污染更少的材料的需求。

STEPS矩陣分析表明，LAM不僅僅是一項技術進步，更是社會諸多維度系統(tǒng)性變革的潛在推動力。然而，為了確保這些技術能夠充分發(fā)揮其潛力，必須積極應對相關挑戰(zhàn)，在創(chuàng)新、治理和可持續(xù)性之間取得平衡。LAM代表著未來的絕佳機遇，但其應用需要采取深思熟慮且多學科的方法，以應對其帶來的復雜社會、技術、經(jīng)濟、政治和環(huán)境影響。