張量運算

剛過的一周所發生的災禍叫人心傷，願因火災失去生命的遇難者和救人英雄安息，因火災失去至親的朋友能從悲傷中逐步走出幽谷，因火災失去居所的住戶可以安頓並重建家園，因火災受傷的人士早日康復。

當天下午，從友人轉發的起火視頻開始，收到訊息的大部份人也預料不到後面的巨變。因此，如果我們不能把事情的起末理順，找出整件災禍的起因，關鍵的根本因素的話，恐怕，有愧於遇難者及災民，更辜負了選擇留在香港想安居樂業的市民。我們經常說人命傷亡之事一件也嫌多，但不從根源處抽出因由並進行根本性的改革，恐怕災禍只會重至。

TPU vs GPU

最近，谷歌(GOOGL)推出新一代的AI大模型Gemini 3，獲得不少用家好評，多種應用場境如跨文字、圖像、影片、音訊進行推理，個人 AI 助理和coding 模型等都完勝競爭對手。當中，圖像生成已令不少玩家樂而忘返，Gemini Agent收件匣整理和旅遊規劃更是驚艷，令電腦用家像有了一個智能助手般，感覺這傢伙開始懂你 !

正當普羅投資者都為谷歌這優秀孩子喝采之際，谷歌又再展示它深藏不露的研發成就。市場消息報導，Meta計劃準備直接採購谷歌 TPU芯片用於自家算力中心。過往，谷歌為研發AI大模型自家所專門設計的AI芯片TPU對外只租不賣。今次兩大科企龍頭的合作，可能為AI芯片現有的供應格局做成巨大沖擊 ! 眾所周知，現時有訓練AI大模型的企業主要是以英偉達 (NVDA)的GPU芯片作為主要算力的核心。有分析報告指出，英偉達目前在人工智能芯片市場擁有超過90%的份額。所以，若然谷歌 TPU贏得更多企業垂青，對英偉達的領導地位會否帶來沖擊呢 ? 大家不禁問 : 這跟不少英偉達長期股東如軟銀/Chris Wood 全數沽出股票是否有關呢?

去分析以上的猜想，不少投資大神已經在他們的投資部落格中發表正反意見，在此不贅。當中問題的核心是有關GPU 與 ASIC (Application-Specific Integrated Circuit)在人工智能的發展中，到底誰勝誰負呢 ?

效益的比拼

筆者在了解TPU的時候，問了身邊的朋友 : GPU 的G是Graphics，那TPU的T是代表什麼？問了一圈，懂科技的他說Ｔ是Tensor。再追問一下，Tensor是什麼，回來的只是迴音。深入了解後，知道Tensor是張量，在數學世界裏，標量(scalar)是一個單純的數字，向量(vector)是既包含大小又指出方向的數學物件，矩陣(matrix)是以列和行排列而成的陣列，可以視之為２維。如果以這些結構演變出來的數學物件，３維或以上的就是張量。

一張簡單的香蕉圖片，要讓AI大模型＂看＂得懂就需要將圖片的訊息轉換為張量（包括長，闊和色彩通道RGB），這就是為什麼在AI大模型中懂得張量運算的重要性，亦是谷歌從2015年設計並開發自家AI大模型專用芯片稱它為TPU的原因。從這裏同時亦可以明白得到，數學在未來研究的重視角色，給孩子培養出一身好的數學根底是給他們的最好禮物啊！

可能你會問，有如此專門開發的芯片，為什麼現在卻是GPU大行其道呢？這可能要拜Alex Krizehvsky 和 Ilya Sutskever (OpenAI 創辦人之一)在2012年共同研發的AlexNet所賜。他們當時都是Geoffrey Hinton(被稱為AI教父，2024年諾貝爾物理獎得主)的博士生，在一次ImageNet大賽中，他們只利用了２個英偉達GTX580 顯示器，在120萬張，1000不同類別的圖中利用電腦去自行識別，成功將以往普遍的錯誤率25-26％大幅下降至15.3%。讓世人認識到，英偉達GPU不單單只用於打遊戲和挖礦，原來它是開啟人工智能的鑰匙！

GPU原本是為電腦圖形和遊戲設計的硬件，它擅長同時進行大量簡單運算，在AlexNet啟示後，公司不斷開發算力生態圈，以供人工智能研發的發展。2016年，英偉達黃仁勳送貨到還有Elon Musk的 OpenAI的那一幕成了經典。再往後的發展大家就已經耳熟能詳了！

由於GPU原先的設計並不是完全從人工智能發展出發，例如，矩陣乘法的效率就會不如專用為人工智能開發的芯片，因此，各家有意發展人工智能訓練的科技巨企都投入資源去發展專屬芯片。因為有數據顯示，在同一能耗下，ASIC的算力性能可以超越GPU，而且，專門為矩陣乘法設計的ASIC可以減少數據搬運的次數，使利用率達峰值。