ASUS, geçtiğimiz Aralık ayında katıldığı MLCommons Association bünyesinde birinci sonuçlarını yayınladı. Şirket, çok sayıda testte yeni performans rekorlarına imza attı.
Özellikle en son MLPerf Inference 2.0 testlerinde ASUS, kapalı bilgi merkezi kategorisindeki altı farklı yapay zeka çıkarım misyonunda birebir GPU yapılandırmasına sahip öbür tüm sunucuları geride bırakarak 26 adet rekor kırdı. Bu rekorların 12’si, sekiz adet 80 GB NVIDIA® A100 Tensor Core GPU içeren ASUS ESC8000A-E11 sunucuyla; 14’ü ise dört adet 24 GB NVIDIA A30 Tensor Core GPU içeren ASUS ESC4000A-E11 sunucuyla kırıldı.
Bu çığır açan sonuçlar ASUS sunucularının yapay zeka alanındaki performans liderliğini gözler önüne serdi. ASUS sunucuları, yapay zekadan yararlanmak isteyen kurumlara büyük katkı sağlıyor ve data merkezlerine en uygun performansı sunuyor.
MLPerf Inference 2.0 testi, en sık kullanılan altı yapay zeka çıkarımı iş yükünü kapsıyor. Bunlar ortasında imaj sınıflandırma (ResNet50), obje tespiti (SSD-ResNet34), tıbbi manzara bölümlendirme (3D-Unet), konuşma tanımlama (RNN-T), doğal lisan sürece (BERT) ve tavsiye (DLRM) iş yükleri bulunuyor.
ESC8000A-E11 aşağıdakiler de dahil olmak üzere birçok alanda performans liderliğini elde etti:
- ResNet50’de bir saniye içinde 298.105
- görüntüyü sınıflandırdı
- SSD-ResNet34’te bir saniye içinde 7.462,06 görüntüde obje tanımladı
- 3D-UNet’te bir saniye içinde 24,3 tıbbi manzarayı işledi
- BERT’te bir saniye içinde 26.005,7 soruyu ve karşılığı tamamladı
- DLRM’de bir saniye içinde 2.363.760 tahmin yaptı
Bölüm | Görev | Model | Sonuçlar | Hassaslık | Senaryo | Birimler |
Kapalı Bilgi Merkezi | Görüntü sınıflandırma |
(geniş)[/td] [td]SSD-ResNet34[/td] [td]7096,10[/td] [td]99,00[/td] [td]Sunucu[/td] [td]sorgu/s[/td] [/tr] [tr] [td]7462,06[/td] [td]Çevrimdışı[/td] [td]örnek/s[/td] [/tr] [tr] [td]Tıbbi görüntüleme[/td] [td]3D-UNet[/td] [td]24,3[/td] [td]99,00[/td] [td]Çevrimdışı[/td] [td]örnek/s[/td] [/tr] [tr] [td]24,3[/td] [td]99,90[/td] [td]Çevrimdışı[/td] [td]örnek/s[/td] [/tr] [tr] [td]Konuşmadan metne[/td] [td]RNN-T[/td] [td]94.996,9[/td] [td]99,00[/td] [td]Sunucu[/td] [td]sorgu/s[/td] [/tr] [tr] [td]102.738[/td] [td]Çevrimdışı[/td] [td]örnek/s[/td] [/tr] [tr] [td]Doğal lisan işleme[/td] [td]BERT[/td] [td]23.489,5[/td] [td]99,00[/td] [td]Sunucu[/td] [td]sorgu/s[/td] [/tr] [tr] [td]26.005,7[/td] [td]Çevrimdışı[/td] [td]örnek/s[/td] [/tr] [tr] [td]11.491,3[/td] [td]99,90[/td] [td]Sunucu[/td] [td]sorgu/s[/td] [/tr] [tr] [td]13.168,2[/td] [td]Çevrimdışı[/td] [td]örnek/s[/td] [/tr] [tr] [td]Tavsiye[/td] [td]DLRM[/td] [td]1.601.300[/td] [td]99,00[/td] [td]Sunucu[/td] [td]sorgu/s[/td] [/tr] [tr] [td]2.363.760[/td] [td]Çevrimdışı[/td] [td]örnek/s[/td] [/tr] [tr] [td]1.601.300[/td] [td]99,90[/td] [td]Sunucu[/td] [td]sorgu/s[/td] [/tr] [tr] [td]2.363.760[/td] [td]Çevrimdışı[/td] [td]örnek/s[/td] [/tr]
ESC4000A-E11 aşağıdakiler de dahil olmak üzere birçok alanda performans liderliğini elde etti:
- ResNet50’de bir saniye içinde 73.814,5
- görüntüyü sınıflandırdı
- SSD-ResNet34’te bir saniye içinde 1.957,18 görüntüde obje tanımladı
- 3D-UNet’te bir saniye içinde 6,83 tıbbi imgeyi işledi
- RNNT’te bir saniye içinde 27.299,2 adet konuşma tespit edip dönüştürdü
- BERT’te bir saniye içinde 6.896,01 soruyu ve karşılığı tamamladı
- DLRM’de bir saniye içinde 574.371 tahmin yaptı
Bölüm | Görev | Model | Sonuçlar | Hassaslık | Senaryo | Birimler |
Kapalı Bilgi Merkezi | Görüntü sınıflandırma | ResNet50 | 68.192 | 99,00 | Sunucu | sorgu/s |
73.814,5 | Çevrimdışı | örnek/s | ||||
Nesne tespiti (geniş) | SSD-ResNet34 | 1.886,75 | 99,00 | Sunucu | sorgu/s | |
1.957,18 | Çevrimdışı | örnek/s | ||||
Tıbbi görüntüleme | 3D-UNet | 6,83 | 99,00 | Çevrimdışı | örnek/s | |
6,83 | 99,90 | Çevrimdışı | örnek/s | |||
Konuşmadan metne | RNN-T | 17.391,4 | 99,00 | Sunucu | sorgu/s | |
27.299,2 | Çevrimdışı | örnek/s | ||||
Doğal lisan işleme | BERT | 6.367,97 | 99,00 | Sunucu | sorgu/s | |
6.896,01 | Çevrimdışı | örnek/s | ||||
2.917,66 | 99,90 | Sunucu | sorgu/s | |||
3.383,03 | Çevrimdışı | örnek/s | ||||
Tavsiye | DLRM | 560.158 | 99,00 | Sunucu | sorgu/s | |
574.371 | Çevrimdışı | örnek/s | ||||
560.158 | 99,90 | Sunucu | sorgu/s | |||
574.371 | Çevrimdışı | örnek/s |
Pazardaki en kompakt yapılı 2U model olan NVIDIA sertifikalı ESC4000A-E11 (dört adet 24 GB NVIDIA A30 PCIe Tensor Core GPU veiki adet AMD EPYC 7763 CPU ile yapılandırılan) ise MPLerf Inference 2.0’da 14 adet rekora imza attı. Birçok farklı grafik hızlandırıcıyı kullanma imkanı sağlayan ve NVIDIA NVLink yüksek süratli dahili GPU irtibatına takviye veren bu model, azamî yapay zeka performansı sunuyor.