群聯 aiDAPTIV 方案

【商周MEGA TALK】年砸百億!沒人相信、被說瘋子,潘健成第三次創業,帶群聯搶AI爆發商機|商周執行長郭奕伶×群聯電子創辦人暨執行長潘健成|EP.07

這篇來說說看完的心得,主持人說的話整場都毫無營養,所以只著重執行長的回應,總結來說就是除非執行長賭對了,出現一個需要大模型又接受緩慢計算的常用場景,否則我對 aiDAPTIV 感到很不樂觀。

看到有捨得花錢在技術上的公司一開始還滿開心的,因為這幾年很明顯的老牌企業都因為非技術出身的外行領導內行掛了,像是波音就是最慘烈的示範應該沒人會反駁,還有十年前 Intel 的路線選擇導致現在的 Intel 一蹶不振(不要跟我鬼扯基辛格就是技術路線的,從規劃到設計製造上市最少也是三五年起跳,都還沒輪到他規劃的產品上市他就被董事會趕下去了他能有啥辦法),還有微軟那個多到靠北的 Bug 和技術債和奇怪的設計,最近又用 AI 接連炒了兩波人大家怨聲載道,這些大多都可以簡單的歸納成外行領導內行,利潤掛帥帶來的後果,所以看到他這麼大手筆的投資研發 aiDAPTIV 我第一反應其實非常看好。

新產品 aiDAPTIV 的想法是用群聯擅長的 NAND 想取代 HBM/GDDR VRAM 做便宜的大容量記憶體的顯示卡,簡單來說就是用速度換價格,看懂核心後馬上就覺得完蛋了,這個產品有兩大問題:產品目標客戶是誰?他的市場有多大?

HBM 變成 NAND 那不是慢一倍兩倍,最少會慢 10~100 倍[1],這是物理限制,而且是上限不是下限[2],那麼這種產品要賣給誰呢?第一個不可能是小 VRAM 需求客戶,一定是大 VRAM 需求;第二不可能是 training 一定是 inference,有能力開發大模型自己 train 的客戶誰在跟你慢慢訓練;因此篩選後剩下需要大 VRAM + inference 的企業客戶。

所以我們得知 aiDAPTIV 的目標客戶只有既想本地化部署 AI,又沒錢買 NVIDIA 高階伺服器的企業,而且還想要使用大模型,又能忍受速度慢,天底下這種客戶能有多少我非常懷疑,就算是實驗室等研究場景,也都是國網用租的誰在那邊跟你慢慢跑。

甚至不要把這些全部一起考慮,我們光是想想需要超大記憶體的市場客戶,目前全世界唯一有這種需求的應用只有大型語言模型,然而語言模型天生就是一個延遲敏感的場景,把大模型 + 延遲不敏感湊在一起就沒有多少市場了,更何況現在的語言模型講白了就是力大磚飛的成果,模型開發大部分都在想辦法朝小模型發展,例如使用量化剪枝蒸餾等等技巧以降低延遲和運行開銷。因此不光是「能忍受輸出高度延遲的語言模型」去掉非常多客戶,這個產品實際市場遠比想像的更小:客戶必須有超高資安需求要本地部署連企業級雲端服務都無法滿足 or 需要客製化 fine-tune 大型模型,而且這個公司還有技術能力[3]解決軟體問題[4]

前面都在講市場,因為市場小是我看影片就馬上意識到的第一個問題,我認為這就已經非常嚴重了,除此之外還有更嚴重的根本問題。因為 aiDAPTIV 特色直接限制客戶只會使用大模型而不是小模型,也不可能自己開發模型,所以極度依賴業界持續發佈高品質的開源模型,如果上游大企業沒有持續開源模型(LLAMA,千問,DeepSeek R1,Phi-4 等等)下游客戶就直接斷命,也就代表 aiDAPTIV 方案無用武之地,雖然這個可能性比較低短期還不太可能發生,但是下一個更致命且絕對必然的問題是 aiDAPTIV 百分之一百的生存希望寄託在沒有精簡的模型誕生,一旦出現優秀的小模型就等同宣告 aiDAPTIV 直接死亡[5]

總而言之,我很讚賞加大投資研發,但是我認為產品戰略路線錯誤,簡單的刪去法排除後可以發現 aiDAPTIV 的客戶非常少,全部希望僅押寶在未來會出現需要大記憶體且容忍延遲的深度學習應用,產品命懸一線賭注全世界都無法開發出優秀的小模型,只要出現就代表 aiDAPTIV 自行暴斃,不需要對手就會自行滅亡。


  1. 速度是超樂觀估計,實際可能更慢。 

  2. 就算 NAND 變的和 HBM3 一樣快也一定會出現更快的 HBM456,而且如果 NAND 足夠快,那他就叫做高速記憶體而不是 NAND,只會本身變的更貴,這是不可能改變的現實。 

  3. 這是非常嚴重的問題,講白了他們現在的策略就是在騙人買。如專訪所說現在的主要客戶是醫院、律師,這種機構根本就沒有 fine-tune 的需求,我就問他們哪來的技術人員能自行微調模型?半吊子的微調結果甚至可能搞到比公版還爛。政府機關更不用說根本不可能導入新穎技術,唯一就剩下金融機構吧,那金融機構又有多大可能需要本地部署「完整的大語言模型」?搞半天其實全都不需要本地化部署,這個產品唯一的客戶只有「確切需要本地部署完整的大語言模型,又在乎硬體成本,又不在乎維護成本,又能忍受超慢的輸出速度」,這是什麼精神錯亂的需求? 

  4. 我原本以為這系統不能用 CUDA,簡單調查一下發現應該可以,如果不能用 CUDA 真的是宣告死亡。 

  5. 很多測試結果都展示中小模型可以達到大模型九成效果,甚至是 MoE 模型容量小更適合企業的需求,或者是中小模型 fine-tune 後一樣可以在指定領域達到近似大模型的成效。如果企業真的缺錢,那他們更有可能選擇能夠負擔的中小模型達到相似的效果,而不是選擇一個瞄準特定市場的專用硬體。 

載入評論