前言
在幾年前的 AI 投資熱潮中，投資者早就發現 AI 新創的營利率遠不如一般 SaaS 新創。與我們已經熟悉的 SaaS 公司相比，AI 公司需要更多的時間來建構。因為大部分的 AI 產品需要訓練，尤其是在新應用領域。當銷售、客戶流失率、客戶獲取成本 (CAC，Customer Acquisition Cost) 等重要指標尚不存在或數字不佳時，投資者可以透過哪些 AI 指標來判斷一家 AI 公司是否正朝著正確的方向發展？是否值得投資？
本文僅針對 “AI 產品”類別，因為 AI 的特殊需求，這產業已經發展出一大批的 “AI 鏟子”類別的新創，其評估指標要另外看待，另外 “AI 晶片”類的進入門檻更高，另文討論。
巨大商業模式的轉變為投資者帶來挑戰
曾經，購買軟體是一件非常痛苦的事情。如果你超過 35 歲，你可能經歷過那個效率低、摩擦多的時代。對內，無論軟體對企業來說多麼小或不重要，你都必須透過 IT 部門。而且企業需要自己的伺服器來安裝軟體。對外，必須洽談採購和維護合約，有時還需要其他軟體公司的程式編碼服務才能啟動和運行。
SaaS (Software-as-a-Service) 的出現改變了這一切。SaaS 軟體沒有不同版本，它只是對在雲端中運行的巨大程式庫的訂閱，使用者只需註冊及付費 (有些甚至是免費的) 即可開始使用。
從零售 → 電子商務、從套裝軟體 → SaaS，巨大商業模式的轉變為投資者帶來挑戰。一些新指標出現取代我們習以為常的指標，例如看“眼球 (Eyeballs)”而不是看營收，看年度經常性收入 (ARR，Annual Recurring Revenue) 或每月經常性收入 (MRR，Monthly Recurring Revenue) 而不是看簽約合同金額 (Booking)。轉變之初投資者會嘗試使用一些新指標，有些有效，有些無效。但是，使用新指標會比試圖用舊指標來理解新商業模式公司要好得多。
現在 AI 出現，我們又碰到相同問題。如果投資者透過評估 SaaS 公司的標準來看待 AI 公司，你會發現大多數 AI 公司都爛透了。
例如，市場上有許多 AI 公司會為企業自動創建內容，但當企業開始使用後會發現結果遠遠不如預期。這不是 AI 的錯 — 問題在於 AI 還沒有被訓練。 AI 工具需要訓練及使用者的反饋才能發揮功能，這需要許多時間甚至人力的投入。因此與 SaaS 相比，許多 AI 公司的客戶流失率非常高。
如果 SaaS 公司早期有 12% 的月流失率，那麼它之後是否變得更好已經不重要了，投資者可能不會考慮投資它。但是對於 AI 公司而言，投資者要思考的不是每月 12% 的流失率。AI 公司的“流失”與傳統 SaaS 公司的“流失”的來源並不完全相同，AI 投資者要找出造成客戶流失的原因，如果有些公司堅持使用該產品，而且它一直表現良好，那麼其初期高流失率的問題會隨著市場的發展而消失。
一家 AI 公司的問題可能與傳統 SaaS 公司的問題類似 — 產品價值低、使用者界面差、競爭對手產品更好、產品與市場不匹配，但失敗的 AI 新創公司常低估了 AI 導入特有的挑戰，最常見的是：
對產品使用方式和期望的偏離 — 這種情況經常發生在新應用市場，當人們試圖弄清楚新範例應該如何運作時，客戶也缺乏正確的相關知識，需要教育。這些都會增加銷售的週期長度、銷售人員的知識門檻與營運成本。
初始性能很差 — 這種情況經常發生，因為使用者還沒有訓練其模型，所以它還不是很符合他們的期望與需求，極少 AI 產品是 Plug-n-Play，部分關鍵要素並非公司本身可以控制，最常見的問題是企業沒有收集數據或存在數據孤島。所以 Pre-sales 必需挖掘客戶現況以快速篩選出高優序客戶，且最好能自動化此環節。
摩擦 — 因為以上問題，拉長 Time-to-Value，而企業沒有耐心採用需要磨合的產品。另外，AI 公司低估特殊案例 (Edge Case) 發生的機率與影響（如下圖），低估不同企業的客製化需求，都使營運成本超出預期，讓新創變成顧問公司，而非 SaaS 軟體公司，無法規模化 (Scale Up)，導致利潤率太低。
替代解決方案的競爭 — 低估其它 AI 與非 AI 的替代解決方案的競爭，前者相對後者不見得有絕對優勢，在創造價值的過程，產業知識十分關鍵。
模型無法量產 — 許多有趣的 PoC 無法量產，機器學習模型進入量產的難度常被低估，包括決定如何驗證、量產條件、適用範圍、配套管理。讓模型的輸出進行自動化干預與自適化需有適當管理機制，模型需持續訓練保持更新，需要監控數據漂移與黑天鵝事件。另外，滿足法規的要求在某些產業與應用是必要的。
From “How Large Companies Evaluate AI Startups” by Alexandre Gonfalonieri
要評估一家 AI 公司，你需要超越我們習慣的指標，雖然其中一些指標仍然有用，但最重要的是 — 新指標相當重要。
關注與數據和模型相關的指標
如果我能看到一個模型以合理的成本更快地變得更好，並且具有一些防禦性，那麼在傳統指標變好之前進行投資、承擔一些風險可能是有意義的。一些建議的指標如下。
提升模型準確度的速度 — 基於相同數據量 (1 個新客戶、1000 個新圖片等) 該團隊能夠改進機器學習模型的效率。例如：擁有 30% 準確率模型的公司，經由人為監督 ( Human-In-the-Loop) 在幾年後達到 95% 準確率。
自動化比率 — 自動化人工任務的百分比是多少？較高比例代表較高的競爭力、生產力，競爭對手需要時間來趕上。
人為監督比率 (Human-in-the-Loop Rate) — 模型輸出有多少百分比需要人類參與？如果比率在下降，意味著利潤率會提高。(Human-in-the-Loop 是指由人類訓練、測試或調整 AI 系統)
數據漂移率 — 數據集漂移到無關緊要的程度需要多長時間 (如果有的話)? 這通常很難精確地測量，但應該對此有一些感覺。
模型/市場適合度 — 模型對某些核心客戶群的表現如何？帶來多大價值？如果合適（PMF: Product Market Fit），他們最終會付錢。
工作流程修改率 — 這是指為了讓客戶採用機器學習 (ML) 解決方案有多少工作流程必須修改。比率越低，客戶採用的速度就越快。
模型效能表现 — 模型在現實世界數據集上的表現如何？如果有公共數據集可以驗證它，對於市場行銷可能非常有用。
數據處理的成本 — 必須對數據進行哪些清理、註釋和增強才能使其成為訓練模型的數據與格式？如果很難做到，對此進行一些投資可增強防禦性。但是若需太多的費用可能會讓公司在營利前耗完現金。
早人一步的洞見
如何獲取數據、建構模型、以及這些模型如何滿足客戶需求是建立 AI 公司的關鍵因素。像 SaaS 公司一樣評估這些 AI 公司是錯誤的，因為投資者或企業家都不太了解，對於專注於 AI 公司的投資者來說，早人一步的洞見為他們提供了機會，可以投資其他人因為不了解而放棄的優秀 AI 公司。
参考
Investing In AI — Data Traction: How To Evaluate AI Companies With Little or No Revenue – Part 1 & Part 2
尋找台灣 A-Teams!
- 具有經過驗證的產品/技術，有客戶，有營收；
- 公司對於與推展美國市場或合作（開發國外需求之產品/服務/市場）有興趣，有專責負責人；
- 不限新創，不需在國外有辦公室與員工，可以拉策略伙伴一起行動。
我們根據產業別、技術領域、主題、落地經營需求，從美國創新生態網絡（同業互補之公司、創投、企業創投、天使投資平台、加速器、上市輔導、人才招聘服務）等進行配對與邀請，進行小組會議，溝通共創，以達成策略性結盟、JV、M&A 為目的。
聯繫： Contact[at]WiseOcean[dot]Tech