ensorRT 8為(wèi)醫(yī)療、汽車(chē)≈ ≤&和(hé)金(jīn)融領域的(de)領先企業(yè)提供全球最快(kuài↔↑¶)AI推理(lǐ)性能(néng)。

  NVIDIA 于今日(rì)發布公司第£™♦☆八代 AI 軟件(jiàn)TensorRT™ 8。該軟件(jiàn)将語言↓→↓查詢推理(lǐ)時(shí)間(jiān)縮短(duǎn)了(α​le)一(yī)半，使開(kāi)發者能(néng)夠從(cón≤£g)雲端到(dào)邊緣構建全球最佳性能(néng)的(de)搜 ‌★索引擎、廣告推薦和(hé)聊天機(jī)器(qì)人(rπ™σén)。

  TensorRT 8 的(de→β )各項優化(huà)為(wèi)語言應用(yòng)帶×↑來(lái)了(le)創紀錄的(de)速•✘←度，能(néng)夠在 1.2 毫秒(miǎo)內(nèi)運行(xíng) €"€ BERT-Large ——全球最廣為(wèi)采用(yòng)的₹§®(de)基于 transformer 的(de)模型之一(β∞™yī)。過去(qù)，企業(yè)不(bù)得(de)不(bù)縮減模型¥≤≥大(dà)小(xiǎo)，而這(zhè)會(hu♦<​ì)導緻結果出現(xiàn)大(dà)幅偏差。γ←現(xiàn)在有(yǒu)了(le) Te₩‌nsorRT 8，企業(yè)可(kě)以将其模型擴大(d←λδà)一(yī)倍或兩倍，從(cóng)而大(dà)幅提高(gāo)精度。

  NVIDIA 開(kāi)發者計(jì)劃副總裁 ÷←γ✘Greg Estes 表示：“ AI 模型正以指數(s≈ ↕φhù)級的(de)速度增長(cháng)。全世界對(dα₽uì) AI 實時(shí)應用(yòng)的(λ™de)使用(yòng)需求正在激增。這(zhè)使企業(yè)λ&©©必須部署最先進的(de)推理(lǐ)解決方案。<≤最新版本的(de) TensorRT 引¥©✘ 入了(le)多(duō)項新功能(nén‍₹πg)，使企業(yè)能(néng)夠以前所未有₹×(yǒu)的(de)質量和(hé)響應速度向其 ε客戶提供對(duì)話(huà)式 AI 應≠♥Ω用(yòng)。”

  五年(nián)來(lái)，醫(≈↓βyī)療、汽車(chē)、金(jīn)融和(♦ λ≠hé)零售等各個(gè)領域 27,500 家(j≠₩iā)企業(yè)的(de)超 35萬名開(kāi)發者下(xià)載 ₽$TensorRT 近(jìn) 250 萬次。Tenso₩∞☆rRT 可(kě)部署于超大(dà)規模數≠☆®≥(shù)據中心、嵌入式或汽車(chē)産品平台。

  除了(le)針對(duì)✘↑↓ transformer 的(de)優化(huà)之外(wài)，  TensorRT 8 還(hái)通(tōng)過其他(tā)兩項δ>‍α關鍵特性，實現(xiàn)了(le)AI推理(lǐ)方面的(d∞≥₩e)突破。

  其一(yī)是(shì)稀疏性，這(zhè)是(shì)助力推←λ↔動 NVIDIA Ampere 架構 GPU 性能(néng)提升的(de)↔Ω♦<一(yī)項全新技(jì)術(shù)，它不(bΩ♠₩ù)但(dàn)提高(gāo)了(le)效率，還(hái)使開(kāi§​ )發者能(néng)夠通(tōng)過減少(shǎo)計(jì)算(suà‌✘n)操作(zuò)來(lái)加速其神經網絡。

  其二是(shì)量化(huà)感知(zhī)訓₹♣練，開(kāi)發者能(néng)夠使用(yòng)訓練好(hǎo)的(d ↑‌e)模型，以 INT8 精度運行(xín♦££≤g)推理(lǐ)，在這(zhè)一(yī)過程中不(bù)會(huì)損βφπφ失精度。這(zhè)大(dà)大(dà)減少(shǎo)了(leλ✘)計(jì)算(suàn)和(hé)存儲成本，從(∏>cóng)而在 Tensor Core 核心上(sh★÷àng)實現(xiàn)高(gāo)效推理(lǐ)。

  行(xíng)業(yè)領→ 導者已将 TensorRT 用(yòng)于他(£★↓tā)們在對(duì)話(huà)式AI和(hé)其他(tā)各個(g↕"∞∏è)領域的(de)深度學習(xí)推理(l₩✘♦ǐ)應用(yòng)。

  Hugging Face 是(shì)開(kāi)↑∏♣源 AI 技(jì)術(shù)的(de)領導者，其客戶包括全球多(≥↓<☆duō)個(gè)行(xíng)業(yè)領域的(d∞ ∞e)大(dà)規模AI服務提供商。該公司正與 NVIDIA 開(β✘kāi)展密切合作(zuò)，推出能(néng) ✘♥夠助力實現(xiàn)大(dà)規模文(wén)本分(fēn)析、神經Ω'$×搜索和(hé)對(duì)話(huà)式應用(yòng)的(de♦∑¶→)開(kāi)創性 AI 服務。

  Hugging Face 産品總監 Jeff Bo™§✔εudier 表示：“我們正在與 NVIDIA 開(kāi)展密切合作<φφε(zuò)，以基于 NVIDIA GPU，為(wèi)最先進的(de)模型ασ提供最佳性能(néng)。Hugging Fγ→ace 加速推理(lǐ) API 已經能(né®×ng)夠為(wèi)基于 NVIDIA GPU的(d$×↔e) transformer 模型提供高(gāo)達 100 倍的(de)速度♠♦提升。通(tōng)過 TensorRT 8，Hug♠®ging Face 在 BERT 上(shàng)實™ ✘現(xiàn)了(le) 1 毫秒(miǎo)的(de)推理(lǐ ∞)延遲。我們十分(fēn)期待能(néng)在今年(nián)•¶晚些(xiē)時(shí)候為(wèi)我們的(de)客✔&≈←戶提供這(zhè)一(yī)性能(néng)。”

  全球領先的(de)醫(yī)療技(jì)術(shù)、診斷×‍和(hé)數(shù)字解決方案創新者 GE 醫λ✘(yī)療正在使用(yòng) TensorRT，助力加速早期檢測疾病•εβ的(de)關鍵工(gōng)具——超聲波計(jì)算(suàn)機(j→₹​€ī)視(shì)覺應用(yòng)，使臨床λ♦醫(yī)生(shēng)能(néng)夠通(tōng)過其智能(néng)醫≈∞(yī)療解決方案提供最高(gāo)質量的(♥φde)護理(lǐ)。

  GE 醫(yī)療心血管超聲首席工(gōn>↔♥g)程師(shī) Erik Steen 表示：“臨床醫(yī)生 €δ"(shēng)需要(yào)花(huā)費(f±↑>èi)寶貴的(de)時(shí)間(jiān)來 ‍γ(lái)選擇和(hé)評估超聲圖像。在 Vivid Pa‌÷tient Care Elevated Release 項目的(de)研發過程≠↓σσ中，我們希望通(tōng)過在 Vivid E95 掃描儀上(sh↔‌​φàng)實施自(zì)動心髒視(shì)圖檢測，使這(zhè)一(yī)過程變←↓✔得(de)更加高(gāo)效。心髒視(shì)圖識别算(suàn)法将選擇♠φ合适的(de)圖像來(lái)分(fēn)析心壁運動。TensorRT 憑★©借其實時(shí)推理(lǐ)能(néng)力，提高(gāo)了(le)← £視(shì)圖檢測算(suàn)法的(de)性能(néng)，同時(shí)縮δ ♥短(duǎn)了(le)我們研發項目的(de)産品上(shàng)市(shì∑≤)時(shí)間(jiān)。”

  TensorRT 8 現(xi ‍ àn)已全面上(shàng)市(shì)，并免費(fèi)向 NΩ∑♦VIDIA 開(kāi)發者計(jì)劃成員(yuán®↓∑)提供。用(yòng)戶還(hái)可(kě)從(cóng) ≠'TensorRT GitHub 庫中獲得(de)最新版本€δ插件(jiàn)、解析器(qì)和(hé)±↔×$樣本的(de)開(kāi)放(fàng)源代碼。