奧特曼百萬年薪挖角谷歌TPU人才欲砸7萬億實(shí)現(xiàn)“芯片自由”,?OpenAI自研芯片
【新智元導(dǎo)讀】OpenAI自研芯片的計(jì)劃終于看到了實(shí)質(zhì)性進(jìn)展。根據(jù)SemiAnalysis最近的一篇文章,,他們正從谷歌TPU團(tuán)隊(duì)招募人才,,擴(kuò)展自己的芯片研發(fā)組,。
目睹了近年來PC和AI行業(yè)兩次重大的半導(dǎo)體供應(yīng)危機(jī)之后,Sam Altman似乎認(rèn)為臺(tái)積電,、三星代工和英特爾代工這些傳統(tǒng)的芯片制造商沒有足夠的產(chǎn)能,,不能滿足全球?qū)I芯片迅猛增長的需求。
不僅僅是OpenAI的算力需要減少對(duì)英偉達(dá)芯片的依賴,,奧特曼甚至還希望建造更多的晶圓廠,,可以穩(wěn)定供給其他公司。
據(jù)報(bào)道,,今年2月,,奧特曼會(huì)見軟銀CEO和臺(tái)積電的談判代表,,討論合資事宜,計(jì)劃在未來幾年內(nèi)共同建造和運(yùn)營數(shù)十座芯片制造工廠,。
由于傳統(tǒng)的私人風(fēng)投很難一下子拿出這么多資金,,奧特曼曾經(jīng)找到美國商務(wù)部長討論,甚至遠(yuǎn)赴新加坡和阿聯(lián)酋會(huì)見當(dāng)?shù)毓賳T,,想尋求國有資本的支持,。
據(jù)SemiAnalysis的最新報(bào)道,OpenAI最近開始大規(guī)模招募,,計(jì)劃將只有幾個(gè)人的芯片團(tuán)隊(duì)擴(kuò)展到幾十個(gè)人,。
不同于最初為圖形處理和實(shí)時(shí)渲染設(shè)計(jì)的GPU,TPU是谷歌從頭設(shè)計(jì)的,,專門用于加速機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的計(jì)算,,能夠更出色地解決張量運(yùn)算問題。
GPU以ALU(高級(jí)算術(shù)邏輯單元)作為核心組件,,而TPU的核心是矩陣乘法器單元(MXU),,能夠以很高的吞吐量執(zhí)行矩陣乘法和累加。
雖然TPU的任務(wù)通用性不如GPU,,尤其是沒有CUDA這樣的編程接口,,但在運(yùn)算性能和能源效率方面表現(xiàn)出色,尤其是那些經(jīng)過谷歌團(tuán)隊(duì)特別優(yōu)化的任務(wù),。
雖然谷歌的TPU已經(jīng)有如此高的成就,,但是OpenAI芯片團(tuán)隊(duì)的工作機(jī)會(huì)依舊有多方面的吸引力。
TPU首次發(fā)布是在2013年,,到今年5月最新推出的TPUv6,,團(tuán)隊(duì)已經(jīng)有了十多年開發(fā)經(jīng)驗(yàn)。珠玉在前,,系統(tǒng)設(shè)計(jì)和微架構(gòu)很難有較大變動(dòng),,更多的是迭代性、漸進(jìn)式的改進(jìn),。
加入OpenAI則不同,,在從頭開始設(shè)計(jì)、開發(fā)的過程中,,成員們有機(jī)會(huì)嘗試更創(chuàng)新,、更激進(jìn)的方法。
而且OpenAI一向雄心勃勃,,他們的目標(biāo)是構(gòu)建由數(shù)百萬個(gè)加速器組成的系統(tǒng),,這比GPT-4的訓(xùn)練還要大好幾個(gè)數(shù)量級(jí)。
在尾大不掉的谷歌,,雖然TPU團(tuán)隊(duì)也會(huì)和DeepMind合作,,但依舊會(huì)遇到不少非技術(shù)方面的障礙,。
實(shí)際上,Google TPU團(tuán)隊(duì)已經(jīng)是半導(dǎo)體設(shè)計(jì)領(lǐng)域中薪酬最高的團(tuán)隊(duì)之一,,工程師的平均收入遠(yuǎn)高于AMD,、英特爾、高通等大多數(shù)半導(dǎo)體公司,,能和行業(yè)龍頭英偉達(dá)比肩,。
OpenAI的基本工資雖然沒那么豐厚,但作為未上市的創(chuàng)業(yè)團(tuán)隊(duì),,每年向高級(jí)工程師提供的價(jià)值數(shù)百萬美元的股權(quán)更加誘人。
有了這幾重因素的迭加,,再加上CEO奧特曼本人親自參與了大部分的招聘工作,,OpenAI招募到的人才質(zhì)量令人驚嘆。
SemiAnalysis的記者向同行打聽這些被挖角的TPU人才時(shí),,總能得到這樣的回答,,「他們是我合作過的最好的工程師之一」。
OpenAI之所以瞄準(zhǔn)谷歌的TPU團(tuán)隊(duì),,既是希望得到最先進(jìn)的技術(shù)和人才,,也同樣有商業(yè)競爭上的考量。
在硅谷的眾多科技巨頭中,,只有谷歌研發(fā)的TPU能成功替代英偉達(dá)的芯片,,并部署在公司內(nèi)部的云服務(wù)中。
在未來相當(dāng)長的時(shí)間內(nèi),,AMD和英偉達(dá)等半導(dǎo)體公司將依舊是OpenAI的合作伙伴,,因此輕易得罪不起。
只有面對(duì)天生的死對(duì)頭——谷歌,,OpenAI才敢如此肆無忌憚地挖角,。(連發(fā)布會(huì)都要搶在谷歌I/O大會(huì)前一天開)
預(yù)計(jì)要到2027年底,OpenAI才能推出第一代自研芯片,。在那之前,,他們依舊會(huì)完全依賴商用芯片。
OpenAI自研芯片的決策有些讓人摸不到頭腦,。背靠微軟的資金和Azure云服務(wù)的強(qiáng)大算力,,為什么要燒錢自研芯片?
實(shí)際上,,OpenAI的與微軟之間的關(guān)系已經(jīng)愈發(fā)緊張,,因?yàn)閷?duì)于微軟而言,OpenAI是一家結(jié)構(gòu)非常怪異的公司,。
目前,,它本質(zhì)上依舊是一家完全獨(dú)立的非營利組織,,由OpenAI Nonprofit管理。微軟作為無投票權(quán)的董事會(huì)觀察員,,幾乎無法控制OpenAI的發(fā)展走向,。
如果因?yàn)锳GI安全問題,OpenAI董事會(huì)要求中止協(xié)議,、收回模型的使用權(quán),,微軟就只能乖乖聽命,毫無還手之力,。
董事會(huì)決定我們何時(shí)實(shí)現(xiàn)AGI,。再次強(qiáng)調(diào),AGI指的是一種高度自治的系統(tǒng),,在最具經(jīng)濟(jì)價(jià)值的工作中優(yōu)于人類表現(xiàn),。此類系統(tǒng)不包括在與微軟簽訂的IP許可和其他商業(yè)條款中,這些條款僅適用于AGI之前的技術(shù),。
比如微軟近期投資Inflection AI,,以及自行組建團(tuán)隊(duì)開發(fā)Phi-3、MAI-1等模型,,都是出于這方面的考量,。
目前,許多企業(yè)用戶通過Azure使用OpenAI的技術(shù),,包括超過65%的《財(cái)富》500強(qiáng)公司,。
微軟希望擁有自研的GPT-4級(jí)別LLM,以及滿足不同用戶需求的一系列模型,,以便在Azure的推理服務(wù)中替換掉OpenAI,。
對(duì)于OpenAI來說,想要在算力方面自給自足,,購買英偉達(dá)芯片的成本過高,,并不是最好的選擇。因此,,自研芯片似乎是唯一出路,。
實(shí)際上,不僅僅是OpenAI,,Meta,、微軟、谷歌和亞馬遜等公司也都在大力投資,,開發(fā)自己的AI加速器,。
畢竟,在模型訓(xùn)練的過程中,,算力已經(jīng)成為占比最大的支出,。如果能將購置芯片的資金轉(zhuǎn)變?yōu)閮?nèi)部投入,,以制造成本部署GPU或TPU,模型的成本也將大幅下降,。
本文為澎湃號(hào)作者或機(jī)構(gòu)在澎湃新聞上傳并發(fā)布,,僅代表該作者或機(jī)構(gòu)觀點(diǎn),不代表澎湃新聞的觀點(diǎn)或立場,,澎湃新聞僅提供信息發(fā)布平臺(tái),。申請(qǐng)澎湃號(hào)請(qǐng)用電腦訪問。