今天，百度正式發(fā)布文心大模型4.5系列開源模型。英特爾OpenVINO?與百度飛槳多年來一直保持著緊密的合作。在此次文心系列模型的發(fā)布過程中，英特爾借助OpenVINO?在模型發(fā)布的第零日即實(shí)現(xiàn)對(duì)文心端側(cè)模型的適配和在英特爾酷睿Ultra平臺(tái)上的端側(cè)部署。

OpenVINO?工具套件是由英特爾開發(fā)的開源工具套件，旨在優(yōu)化和加速深度學(xué)習(xí)模型的推理性能，支持跨平臺(tái)部署并充分利用英特爾硬件資源。OpenVINO?助力行業(yè)中廣泛的先進(jìn)模型在英特爾人工智能產(chǎn)品和解決方案中的性能，應(yīng)用在AI PC、邊緣AI和更多人工智能的使用場景當(dāng)中。

從2021年開始，百度飛槳和英特爾OpenVINO?進(jìn)行深入合作，雙方進(jìn)行深度適配，為開發(fā)者提供了更有效更便捷的AI開發(fā)工具鏈。經(jīng)過雙方適配的眾多模型，如PaddleOCR，PaddleSeg，PaddleDection等，在金融、醫(yī)療、智能智造等領(lǐng)域被廣泛應(yīng)用，開發(fā)者可以直接將飛槳模型用OpenVINOTM推理和部署，或通過OpenVINO?的模型優(yōu)化器轉(zhuǎn)化為IR格式，進(jìn)一步部署和推理。

今天，百度基于多年積累的雄厚的AI技術(shù)實(shí)力，為業(yè)界帶來了開源的文心4.5系列大模型。英特爾宣布OpenVINO?已經(jīng)對(duì)0.3B參數(shù)量的稠密模型成功適配，并在英特爾酷睿Ultra平臺(tái)上成功部署且獲得了優(yōu)異的推理性能。

英特爾助力百度文心大模型的首次亮相，共同為行業(yè)帶來全新的人工智能體驗(yàn)。接下來，英特爾將持續(xù)與百度保持緊密合作，適配更多的文心系列模型，攜手拓寬AI技術(shù)的新邊界。

快速上手指南 (Get Started)

第一步，環(huán)境準(zhǔn)備

基于以下命令可以完成模型部署任務(wù)在Python上的環(huán)境安裝。

第二步，模型下載和轉(zhuǎn)換

在部署模型之前，我們首先需要將原始的PyTorch模型轉(zhuǎn)換為OpenVINOTM的IR靜態(tài)圖格式，并對(duì)其進(jìn)行壓縮，以實(shí)現(xiàn)更輕量化的部署和最佳的性能表現(xiàn)。通過Optimum提供的命令行工具optimum-cli，我們可以一鍵完成模型的格式轉(zhuǎn)換和權(quán)重量化任務(wù)：

開發(fā)者可以根據(jù)模型的輸出結(jié)果，調(diào)整其中的量化參數(shù)，包括：

第三步，模型部署

針對(duì)ERNIE-4.5系列的文本生成類模型，我們可以使用Optimum-Intel進(jìn)行任務(wù)部署和加速。Optimum-Intel可以通過調(diào)用OpenVINO?  runtime后端，以實(shí)現(xiàn)在Intel CPU及GPU平臺(tái)上的性能優(yōu)化，同時(shí)由于其兼容Transformers庫，因此我們可以直接參考官方示例，將其遷移至Optimum-Intel執(zhí)行。

輸入結(jié)果參考：