讓機(jī)器更智能 愛(ài)芯元智AX650N端側(cè)與邊緣側(cè)Transformer部署實(shí)踐_快看點(diǎn)

(資料圖片僅供參考)

近來(lái),ChatGPT成為社會(huì)各界關(guān)注的焦點(diǎn)。從技術(shù)領(lǐng)域看,ChatGPT的爆發(fā)是深度學(xué)習(xí)領(lǐng)域演進(jìn)、發(fā)展和突破的結(jié)果,其背后代表著Transformer結(jié)構(gòu)下的大模型技術(shù)的飛速進(jìn)展。因此,如何在端側(cè)、邊緣側(cè)高效部署Transformer也成為用戶選擇平臺(tái)的核心考量。

2023年3月,愛(ài)芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的優(yōu)異表現(xiàn),AX650N受到越來(lái)越多有大模型部署需求用戶的青睞,并且先人一步成為Transformer端側(cè)、邊緣側(cè)落地平臺(tái)。

Transformer是當(dāng)前各種大模型所采用的主要結(jié)構(gòu),而ChatGPT的火爆讓人們逐漸意識(shí)到人工智能有著更高的上限,并可以在計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)揮出巨大潛能。相比于在云端用GPU部署Transformer大模型,在邊緣側(cè)、端側(cè)部署Transformer最大的挑戰(zhàn)則來(lái)自功耗,這也使得愛(ài)芯元智兼具高性能和低功耗特質(zhì)的混合精度NPU,成為端側(cè)和邊緣側(cè)部署Transformer的首選平臺(tái),而其優(yōu)越性能則決定了Transformer的運(yùn)行效果。

作為人工智能視覺(jué)感知芯片研發(fā)及基礎(chǔ)算力平臺(tái)公司,愛(ài)芯元智始終致力于讓更多的實(shí)際應(yīng)用落地。目前大眾普遍采用的Transformer網(wǎng)絡(luò)SwinT,在愛(ài)芯元智AX650N平臺(tái)表現(xiàn)出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的極易部署能力,都讓AX650N在Transformer的落地中有著領(lǐng)先的優(yōu)勢(shì)地位。

關(guān)鍵詞：