AI 晶片架構的典範轉移：存內運算（In-Memory Computing）如何打破存取瓶頸與功耗僵局？

AI 晶片架構的典範轉移：存內運算（In-Memory Computing）如何打破存取瓶頸與功耗僵局？

隨著人工智慧（AI）技術的爆炸性成長，特別是深度學習模型在自然語言處理和電腦視覺領域取得的突破，對算力的需求也水漲船高。然而，支撐這些龐大模型運作的底層硬體架構，卻正遭遇一場深刻的瓶頸。這場瓶頸的核心，便是傳統電腦架構長期以來的「記憶體牆」（Memory Wall）挑戰。資深科技記者兼分析師將深入剖析，存內運算（In-Memory Computing, IMC）這項革命性技術，如何從根本上顛覆現有 AI 晶片設計，為下一代低功耗、高效率的 AI 運算開闢新路。

剖析 AI 算力瓶頸：為何傳統馮紐曼架構在處理大規模神經網路時面臨「記憶體牆」挑戰？

長期以來，現代電腦系統皆依循著由約翰·馮·紐曼（John von Neumann）提出的架構原則：將處理器（CPU）與記憶體（Memory）分離，透過匯流排（Bus）進行數據交換。這種「馮紐曼架構」（Von Neumann Architecture）在過去數十年來證明了其通用性和效率。然而，在面對當代人工智慧，尤其是大型深度神經網路（DNN）的運算需求時，其固有的缺陷卻日益凸顯。

深度神經網路的訓練與推論，涉及大量的矩陣乘法與加法運算。這些運算特性導致處理器需要頻繁地從記憶體中讀取大量權重（weights）和啟用值（activations），再將結果寫回記憶體。問題在於，處理器的運算速度呈指數級增長，但記憶體的存取速度，尤其是其頻寬（bandwidth）和延遲（latency），卻未能同步提升。這便形成了所謂的「記憶體牆」：處理器在等待數據從記憶體傳輸過來的時間，遠多於其執行運算的時間，導致大量運算核心處於閒置狀態，嚴重限制了整體系統的吞吐量。

根據學術研究與業界觀察（如 NVIDIA、Intel 等公司發表的論文），數據在處理器與記憶體之間搬移，不僅耗費大量時間，更消耗驚人的能量。在某些 AI 工作負載中，高達 80% 到 90% 的系統功耗，都用於數據傳輸而非實際運算。這對於能源效率至關重要的邊緣裝置（Edge Devices）或大規模資料中心的永續發展而言，無疑是巨大的挑戰。傳統解決方案如增加快取記憶體（Cache）層級、提升記憶體頻寬（如 HBM）或採用更複雜的數據預取（data prefetching）演算法，都只是在既有架構下進行優化，並未從根本上解決「數據搬移」這個核心問題。AI 應用規模的持續擴張，迫使我們必須重新審視並改造硬體架構，而存內運算正是這場革命的核心。

存內運算的技術原理：解析 SRAM、ReRAM 與 MRAM 如何將邏輯運算搬進記憶體單元，從根本消除數據搬移功耗。

存內運算（In-Memory Computing, IMC），顧名思義，旨在將部分或全部的運算邏輯整合至記憶體單元內部，或是極為靠近記憶體的位置，從而大幅減少數據在處理器與記憶體之間的頻繁移動。這種架構革新，目標是從根源上「打破記憶體牆」並顯著降低功耗。其核心概念是利用記憶體單元的物理特性，不僅用於儲存數據，還能直接執行運算。

目前，存內運算主要有幾種不同的實現路徑，依賴於不同的記憶體技術：

• 靜態隨機存取記憶體（SRAM）的存內運算：

  SRAM 以其極快的存取速度和相對較低的延遲而聞名，主要用於處理器內部快取。在 SRAM 中實現存內運算，通常是透過修改或增強傳統 SRAM 單元周圍的邏輯電路，使其能夠執行位元操作、邏輯閘運算（如 AND、OR、XOR）甚至簡單的算術運算。由於 SRAM 速度快，它適用於需要高速、低延遲運算的場景，但其缺點是單位面積成本高、功耗相對較大，因此主要應用於小規模的近記憶體運算（Near-Memory Computing）或作為加速器中的數據暫存器兼運算單元。

• 電阻式隨機存取記憶體（ReRAM）的存內運算：

  ReRAM 是一種非揮發性記憶體，其儲存原理是利用材料的電阻變化來表示資料。這使得 ReRAM 特別適合用於類比（analog）方式的存內運算，尤其是在深度學習的矩陣向量乘法（Matrix-Vector Multiplication, MVM）中展現巨大潛力。一個典型的 ReRAM 存內運算架構是「交叉陣列」（Crossbar Array）：在電阻陣列中，電壓訊號代表輸入向量，每個 ReRAM 單元的電導（電阻的倒數）代表神經網路的權重。當輸入電壓通過陣列時，透過歐姆定律和克希荷夫電流定律，在列線上產生的電流總和就直接對應於矩陣向量乘法的結果。這種方式的優勢在於：

  • 極低的功耗： 數據不需頻繁進出記憶體，且類比運算本身效率高。
  • 高密度： ReRAM 單元結構相對簡單，有助於實現高密度整合。
  • 高度平行化： 整個矩陣乘法可在一個時脈週期內完成，大幅提升運算速度。

  ReRAM 被視為實現高效能、低功耗 AI 推論的理想候選，特別適用於邊緣 AI 裝置。

• 磁阻式隨機存取記憶體（MRAM）的存內運算：

  MRAM 也是一種非揮發性記憶體，利用磁性來儲存資料，具有高耐寫性、高速度和低功耗的優點。雖然 MRAM 在類比運算方面不如 ReRAM 直觀，但研究機構（如 IBM、各大學）和新創公司也在探索 MRAM 在數位存內運算或記憶體與邏輯緊密整合方面的應用。例如，利用 MRAM 的磁性隧道接面（Magnetic Tunnel Junction, MTJ）作為邏輯閘元件，或是將其與 CMOS 電路結合，實現更高效的記憶體內搜尋或特定運算功能。MRAM 的優勢使其成為通用型運算和記憶體融合的有潛力選項。

這些技術路徑的共同目標都是透過將運算能力融入記憶體，從根本上消除數據搬移所帶來的能量消耗和延遲，為下一代 AI 運算架構奠定基礎。

產業進展與實測挑戰：回顧 Mythic、Rain AI 等新創與晶片巨頭的技術路徑，以及在精度與製程整合上的現實障礙。

存內運算概念雖具吸引力，但從實驗室走向商業化產品，道路充滿挑戰。儘管如此，新創公司和晶片巨頭們正積極投入研發，並取得了一些令人矚目的進展。

• 新創公司的探索：
  • Mythic： 這家新創公司是類比 ReRAM 存內運算的早期實踐者之一。他們的核心理念是將大型神經網路的權重儲存在 ReRAM 陣列中，並直接在記憶體中執行類比域的矩陣向量乘法。Mythic 的晶片產品專注於邊緣 AI 推論應用，號稱能以極低的功耗提供高效能（參考 Mythic 官方資料）。然而，類比運算面臨的挑戰是精度問題，因為ReRAM 單元的電導值會受溫度、製程變異及老化影響。為了解決這個問題，Mythic 採用了專有的類比數位轉換器（ADC）設計以及精密的校準技術，試圖在功耗和精度之間取得平衡。
  • Rain AI： 另一家值得關注的新創公司 Rain AI，則專注於開發類比存內運算平台，目標是實現更接近生物大腦的「神經形態運算」（Neuromorphic Computing）。他們的技術利用類比記憶體（例如 ReRAM 或 MRAM）來模擬突觸的權重，並在記憶體中直接處理電訊號。這類方法雖然在概念上非常有前景，但在大規模整合、良率控制以及軟體編程模型（如何讓開發者有效地利用這種非傳統架構）方面，仍有許多工程上的難題待克服。
• 晶片巨頭的佈局：
  • 三星（Samsung）： 作為全球最大的記憶體製造商之一，三星在存內運算領域的投入不遺餘力。他們曾展示基於 HBM（高頻寬記憶體）的 PIM（Processing-in-Memory）技術，將簡單的運算邏輯整合到記憶體晶片內部。例如，PIM HBM2E 模組可以直接在記憶體內部執行一些簡單的數據預處理或縮放操作，減少數據傳輸到 GPU/CPU 的次數（參考三星新聞稿）。此外，三星也正在研究 ReRAM 等新興記憶體技術在存內運算中的應用。
  • IBM： IBM Research 長期以來一直是存內運算和神經形態運算的先驅。他們在相變記憶體（Phase-Change Memory, PCM）和 ReRAM 方面累積了大量研究成果，並開發了類比存內運算晶片，用於模擬深度神經網路（參考 IBM 研究報告）。IBM 的目標是利用這些記憶體來直接實現權重儲存和 MVM 運算，以期達到超越傳統架構的能源效率。
  • Intel： Intel 的 Loihi 系列晶片代表了另一種神經形態運算的探索方向，儘管它並非嚴格意義上的「存內運算」，但其設計理念是將運算單元和記憶體緊密結合，模仿生物神經元和突觸的行為，以事件驅動（event-driven）的方式進行處理，從而大幅降低功耗。Loihi 晶片雖使用傳統 SRAM，但其「計算在記憶體旁」的設計思維，與存內運算有異曲同工之妙。

實測挑戰與現實障礙：

• 精度問題： 尤其對於類比存內運算，記憶體單元的非理想特性（如電阻值的變異性、噪音、溫度漂移）會直接影響運算精度。儘管有校準和冗餘技術，但如何在保證功耗效率的同時維持足夠的 AI 模型精度（尤其是大型模型的訓練），仍然是一個重大的研究課題。
• 製程整合複雜性： 將新型記憶體材料（如 ReRAM、MRAM）與成熟的 CMOS 邏輯製程整合，是半導體製造的巨大挑戰。良率、可靠性、成本控制都需要大量的研發投入。
• 編程模型與軟體生態： 傳統的軟體開發工具鏈是針對馮紐曼架構設計的。對於存內運算這種新型架構，需要全新的編譯器、運行時庫和開發框架，這是一個龐大而複雜的工程任務。
• 可擴展性： 雖然存內運算在單一晶片上表現出色，但如何將其擴展到更大規模的系統（例如多晶片互連、雲端資料中心）以處理超大型 AI 模型，仍然是一個開放性問題。

儘管存在這些挑戰，產業界對於存內運算的潛力依然高度樂觀，認為它是打破當前 AI 硬體瓶頸的關鍵技術之一。

展望下一代 AI 運算架構：從邊緣推理到雲端加速，存內運算將如何定義低功耗、高效率的人工智慧硬體藍圖。

毋庸置疑，存內運算代表了 AI 硬體架構演進的必然方向。面對日益增長的算力需求和對能源效率的嚴苛要求，它將在多個應用場景中重新定義人工智慧的硬體藍圖。

• 邊緣推理的黃金標準：

  對於電池供電的物聯網裝置、智慧感測器、智慧手機、穿戴裝置乃至自動駕駛汽車等邊緣 AI 應用而言，低功耗、低延遲是其核心訴求。存內運算因其本質上消除了數據移動帶來的巨大功耗，且能實現高度平行化的類比運算，成為邊緣推理晶片的理想選擇。它可以讓裝置在本地端進行複雜的 AI 推理，無需頻繁連接雲端，不僅保護用戶隱私，也大幅提升即時反應能力。例如，在手機中運行大型語言模型（LLM）的輕量級版本，或在安防攝影機中實時進行目標識別，存內運算晶片將展現其獨特優勢（參考學術界與產業對邊緣 AI 的發展預測）。

• 雲端加速的專業利器：

  雖然雲端資料中心擁有龐大的電源供應和散熱能力，但其對總體擁有成本（TCO）和能源效率的關注也日益增加。存內運算不會取代通用型 GPU 或 TPU 在雲端訓練的主導地位，但它可以在特定工作負載中扮演高效加速器的角色。例如，針對超大型稀疏模型（如推薦系統中的 Embedding Table）、特定卷積層或注意力機制層，可以設計專用的存內運算加速器。這些加速器將能處理需要海量記憶體存取但計算相對簡單的任務，從而減輕主處理器的負擔，提高資料中心的整體吞吐量和能源效率。

• 與神經形態運算的融合：

  存內運算與神經形態運算（Neuromorphic Computing）的概念有著天然的親和性。神經形態運算旨在模仿生物大腦的結構和工作原理，將記憶體和處理器緊密融合，並以事件驅動的非同步方式進行運算。ReRAM 等記憶體技術，因其電阻值可以像生物突觸一樣學習和改變，成為實現類比神經形態晶片的關鍵組成部分。隨著對大腦機制的進一步理解和硬體技術的成熟，存內運算有望成為構建真正具備學習能力、高效率「人工通用智慧」（AGI）硬體的基石。

• 混合式架構的未來：

  最有可能的未來情景是，存內運算不會單獨存在，而是與傳統的數位處理器形成「混合式架構」。例如，一個系統可能包含一個通用的 CPU 負責控制，一個高性能 GPU 負責訓練，再搭配一個或多個專為特定 AI 任務設計的存內運算加速器。透過軟體層的優化和任務卸載（task offloading），不同架構的優勢將得以互補，共同構建出更高效、更具彈性的 AI 系統。

總結而言，存內運算不僅僅是硬體層面的技術革新，它更是一場思維模式的轉變，從「運算為中心」轉向「數據為中心」。儘管面臨重重技術和工程挑戰，但其在打破記憶體牆、降低功耗方面的巨大潛力，使其成為定義未來人工智慧硬體藍圖不可或缺的核心技術。這場由存內運算引領的典範轉移，將持續推動 AI 應用走向更深、更廣的未來。