首先，借 Intel Capital AI 技術堆棧全圖，了解 AI 產業所有的投資機會。(不過這裡不含 AI 在各細分行業的垂直落地應用，也是數量最大的族群)
McKinsey & Company 提供了一個更細的技術堆棧。
建立 AI 應用是全新的方法 (有別於傳統軟體程式開發) — 要求軟體通過迭代學習過程創建“軟體程式”（“模型”），因此需要超級計算性能。更挑戰的是，這些模型的規模呈指數增長，每 3.5 個月翻一番，從而對不斷提高的性能提出了永不滿足的需求。結果，現在有超過 100 家公司在開發新的架構，以提高性能並降低計算成本。英特爾的 Naveen Rao 指出，AI 晶片必需實現每年 10 倍的改進要求，架構，晶片，互連，軟件和封裝方面的進步需要加倍。
有許多創新架構正在發展。以下是除了使用較低精度和 MAC Array（multiply-accumulate cores）的其它創新。(Moor Insights 整理)
IBM 有一個對於如何增進 AI 芯片運算速度的目標如下。
但是，速度不是唯一需求，根據每個應用程序的需求優化 PPA (Power, Performance, Area) 和成本，並需經營或參與應用生態合作，獲得採用，實现終端應用價值，才能成功。各個性能指標之間的權衡取舍，取決於終端應用的需求。(下圖：能耗與性能權衡，來源：Beil8)
採用那種芯片架構，還取決於各種應用的各維度需求強度，例如 McKinsey 做了以下舉例說明。
McKinsey 與業界專家訪談之后，預測 AI ASIC 晶片勢必大幅成長。
在這個戰場上，全球約有 80 家 AI 晶片新創公司，超過 100 億美元的資金投資以及 34 家知名企業。多數新創公司專注於推理，避免與 Nvidia 競爭。AI 晶片可以大致區分為三種代表分類，如下。(參考: Kisaco Research)
前面提到因為深度學習 (Deep Learning） 對 AI 加速器晶片的速度需求不斷增長，位於三角的上方，單價可能為 20 萬美元。 下方代表邊緣的應用，必須滿足許多限制條件：左下角主要需求：小尺寸和亟低功耗，代表應用為可穿戴與物聯網裝置，銷售量可能數百萬，AI 晶片組件的成本可能低至 1 美元。右下角主要需求：亟低延遲 — 在實時系統中，需要實現低延遲（小於20ms）和超低延遲（1-10ms），代表應用為自駕車。
邊緣 AI 預計在未來五年內將實現 100％ 以上的增長，是芯片行業最大的趨勢之一。與基於雲的 AI 相反，推理功能本地嵌入在位於網絡邊緣的物聯網 (IoT) 端點上，例如手機和智能揚聲器。物聯網設備與相對較近的邊緣服務器進行無線通信。該服務器決定將哪些數據發送到雲服務器（通常，對時間不太敏感的任務，如重新訓練，所需的數據）以及在邊緣服務器上處理哪些數據。
目前邊緣計算產業版塊如下，晶片僅佔一小塊。(參考 Topio Networks)
終端應用評估是否需要邊緣計算，應根據技術需求強度與市場熱度。
邊緣 AI 應用牽涉多方合作，需考慮因素復雜，生態合作是生死關鍵因素。以色列一家知名的 AI 晶片新創公司，推出極佳性能與極低耗電的推理晶片，驚艷眾人，一年后，仍沒有任何採用案例或客戶公開支持。AI 晶片公司與投資者應高度關注邊緣 AI 應用市場機會與動態。