2025-07-28
594
從端側(cè)AI芯片工程師的角度來看,面對帶寬、能耗與成本三重挑戰(zhàn),引入SRAM存算一體架構(gòu)(In-Memory Computing, IMC)是應對當前大模型端側(cè)部署瓶頸的核心解決方案之一。 一、為什么DRAM主存+傳統(tǒng)計算架構(gòu)難以滿足端側(cè)大模型部署? 1.帶寬瓶頸(Memory Wall) DRAM(如LPDDR5/DDR5)的總線帶寬在端側(cè)芯片上極為有限(10–50 GB/s),遠低于大模型推理所需的數(shù)據(jù)吞吐量。
了解更多