HBM之父都說了什麼?

sec2100

https://news.futunn.com/hk/post/ ... 6e0d1d277ab26b81719

sec2100

另外，HBM需要很多不同技術，比如量子力學、半導體物理、數學等等。

sec2100

DRAM速度快，但不能長時間保存數據。

NAND Flash容量大，速度相對慢一些，但容量非常大，大概是DRAM的十倍左右，而且可以長時間保存數據。所以它通常用於相機等設備。

剛才說了，HBM是把DRAM堆起來，放在GPU旁邊。但現在的問題是，容量還是不夠。

爲什麼？因爲AI開始講Context Engineering，也就是上下文工程。輸入AI的時候，不再只是輸入文字，還會附上參考文件，甚至附上YouTube視頻。

這樣一來，視頻文件、圖像文件都會急劇增加。於是存儲器容量還要繼續擴大。

在計算過程中，中間階段的數據也都要保存下來。我們一般叫KV Cache，也就是鍵值緩存。

再進一步，如果進入Agentic AI，我可能會僱用10個、100個AI來替我工作。

那AI替我做的工作量，會比我自己多一百倍，而且Agentic AI是24小時工作的。人中間還會休息，還要睡覺。AI不會。所以工作量會大幅增加，存儲器容量也會隨之大幅增加。

即使我們已經把DRAM堆起來了，容量還是不夠。

那還有沒有別的方法？於是就有人提出，把NAND Flash也堆起來。

把NAND Flash堆疊起來，就是HBF。

現在正在開發HBF的公司包括SK海力士、閃迪、三星電子。日本的鎧俠應該也在開發。

最近鎧俠的股價甚至超過$豐田汽車 (TM.US)$，成爲日本股市第一。

美國這邊，做NAND Flash或者HBF的美光、閃迪，股價一直在上漲。

韓國這邊，三星和海力士在做，所以它們的市值排在前面。

現在GPU旁邊會連接兩類存儲器：一種是HBM，一種是HBF。

還有一種說法是，緊挨着GPU、幫助GPU計算的存儲器，叫Hot Memory，也就是熱存儲器。

而我們過去留下的各種記錄，也需要放在旁邊長期保存。AI要記住關於我的信息，這類裝置可以叫Cold Memory，也就是冷存儲器。

現在這兩邊的需求都在增長。

從長期看，我認爲十年以後，NAND Flash和HBF的市場需求，可能會比HBM還要大。

所以現在是HBM的時代，但三星電子和SK海力士必須好好準備，迎接HBF時代。

這是我的主張。