jiska 4.96 Fwa Enferans BERT-Gwo
Gid itilizatè
Reyalize jiska 4.96 Fwa Enferans BERT-Gwo
Enstans M6i te fè plis travay enferans pase enstans M6g ak processeurs AWS Graviton2
Chaj travay enferans aprantisaj machin nan lang natirèl yo soutni chatbots ak lòt aplikasyon pou biznis. Kòm chaj travay sa yo analize tèks tape pa kliyan ak lòt itilizatè yo, yo ka mete gwo demand sou resous kalkile. Sa fè li enpòtan pou chwazi sikonstans nwaj ki bay pèfòmans segondè.
BERT-Large se yon modèl pwosesis jeneral lang natirèl (NLP) nou te chwazi pou mezire pèfòmans de Amazon. Web Sèvis (AWS) EC2 kalite nwaj egzanp. Nou teste de gwosè enstans M6i ak 3yèm Jen Intel Xeon Scalable processeurs ak enstans M6g ak AWS Graviton2 processeurs.
Nou te jwenn ke tou de ka 32-vCPU ak 64-vCPU M6i ak 3yèm Jen Intel Xeon Scalable processeurs depase tokay M6g yo. Konklizyon nou yo montre ke biznis yo ka bay itilizatè yo yon eksperyans pi rapid lè yo chwazi egzanp M6i. Anplis de sa, nan moman piblikasyon an, pandan VM seri M6i yo koute 24.6% plis pase VM seri M6g yo, egzanp M6i yo—ak pèfòmans jiska 4.96 fwa debi a—ofri siyifikativman pi bon pèfòmans pou chak dola.
Enstans M6i ak 32 vCPU
Pou konpare pèfòmans enferans BERT-Gwo nan de seri egzanp AWS yo, nou te itilize fondasyon TensorFlow la. Nou teste de nivo presizyon: FP32, ki tou de seri VM sipòte, ak INT8, ki sèlman seri M6i sipòte ak modèl nou itilize yo. Kòm Figi 1 montre, ka 32-v CPU m6i.8xlarge yo lè l sèvi avèk presizyon INT8 delivre 4.96 fwa pèfòmans nan ka m6g.8xlarge yo lè l sèvi avèk presizyon FP32.
Relatif 32-vCPU BERT-Gwo Enferans Pèfòmans
Akselere | Pi wo se pi bon
Figi 1. BERT-Gwo pèfòmans enferans reyalize pa yon gwoup egzanp m6i.8xlarge ak 3yèm
Gen Intel Xeon Scalable processeurs ak pa yon gwoup egzanp m6g.8xlarge ak AWS Graviton2 processeurs. Pi wo se pi bon.
BERT-Gwo
Jwenn jiska 4.96 fwa travay enferans BERT-Large (Presizyon INT8) ak ka 32-vCPU m6i.8xlarge ak 3yèm Jen Intel Xeon Scalable processeurs.
vs FP32 presizyon ak ka m6g.8xlarge
Jwenn jiska 3.07 fwa travay enferans BERT-Large (Precision INT8) ak ka 64-vCPU m6i.16xlarge ak 3yèm Jen Intel Xeon Scalable processeurs.
vs FP32 presizyon ak ka m6g.16xlarge
Enstans M6i ak 64 vCPU
Jan Figi 2 montre, egzanp 64-vCPU m6i.16xlarge ak 3yèm jenerasyon Intel® Xeon® Scalable processeurs ki sèvi ak presizyon INT8 delivre 3.07 fwa pèfòmans nan ka m6g.16xlarge ak processeur AWS Graviton2 ki itilize presizyon FP32.
Nòt: Modèl BERT-Large nou itilize pou processeurs AWS Graviton2 pa sipòte INT8 sou TensorFlow. 
Konklizyon
Nou teste pèfòmans BERT-Large nan pwosesis enferans langaj natirèl nan de seri egzanp AWS: ka M6i ki gen 3yèm.
Gen Intel Xeon Scalable processeurs ak ka M6g ki gen AWS Graviton2 processeurs. Nan de gwosè diferan, ka M6i yo depase ka M6g yo, reyalize jiska 4.96 fwa travay enferans lan. Pou bay kliyan ou yo ak lòt itilizatè yo yon eksperyans pi rapid, kouri chaj travay nferans NLP ou yo sou ka AWS M6i ak 3yèm Jen Intel Xeon Scalable processeurs.
Aprann Plis
Pou kòmanse kouri chaj travay enferans NLP ou yo sou ka AWS M6i ak 3yèm jenerasyon processeurs Intel Xeon Scalable, vizite https://aws.amazon.com/ec2/instance-types/m6i/.
Tès VM sèl pa Intel sou 11/10/2021 ak 12/01/2021. Tout VM configuré ak Ubuntu 20.04 LTS, 5.11.0-1022-aws, EBS depo, GCC = 8.4.0, Python = 3.6.9, tensorflow = 2.5.0, Docker = 20.10.7,
containerd = 1.5.5, BERT modèl, gwosè pakèt 1, longè sekans 384, FP32 ak INT8 presizyon. Detay egzanp: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 128 GB total DDR4 memwa; m6g.8xlarge, 32vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 128 GB total DDR4 memwa; m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 256 GB total DDR4 memwa; m6g.16xlarge, 64vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 256 GB total DDR4 memwa.
Pèfòmans varye selon itilizasyon, konfigirasyon ak lòt faktè. Aprann plis nan www.Intel.com/PerformanceIndex.
Rezilta pèfòmans yo baze sou tès yo apati dat yo montre nan konfigirasyon yo epi yo ka pa reflete tout mizajou ki disponib piblikman. Gade backup pou detay konfigirasyon. Pa gen okenn pwodwi oswa eleman ki ka absoliman an sekirite. Depans ou yo ak rezilta yo ka varye.
Intel teknoloji ka mande pou pèmèt pyès ki nan konpitè, lojisyèl oswa sèvis deklanchman.
© Intel Corporation. Intel, logo Intel ak lòt mak Intel yo se mak komèsyal Intel Corporation oswa filiales li yo. Lòt non ak mak yo ka reklame kòm pwopriyete lòt moun.
Enprime nan USA 0722/JO/PT/PDF US002
Tanpri resikle
Dokiman / Resous
 |
intel Reyalize jiska 4.96 Fwa Enferans BERT-Gwo [pdfGid Itilizatè Reyalize jiska 4.96 Fwa Enferans BERT-Gwo, Reyalize jiska 4.96, Fwa Enferans BERT-Gwo. |
