MLCommons công bố kết quả của bài kiểm tra điểm chuẩn suy luận MLPerf AI mới nhất của mình

0
MLCommons công bố kết quả của bài kiểm tra điểm chuẩn suy luận MLPerf AI mới nhất của mình

MLCommons ngày nay phát hành kết quả mới nhất của bài kiểm tra điểm chuẩn MLPerf Inference, so sánh tốc độ của hệ thống trí tuệ nhân tạo từ các nhà sản xuất phần cứng khác nhau.

MLCommons là một tổ chức trong ngành phát triển các công cụ AI mã nguồn mở. Là một phần công việc của mình, tổ chức chạy các bài kiểm tra điểm chuẩn để so sánh tốc độ của các hệ thống phần cứng được tối ưu hóa bằng AI khác nhau. Các bài kiểm tra điểm chuẩn của MLCommons giúp các nhà điều hành trung tâm dữ liệu so sánh hiệu suất của các sản phẩm của các nhà cung cấp khác nhau khi mua phần cứng mới.

Hôm nay, MLCommons đã công bố kết quả từ phần mới nhất của thử nghiệm Suy luận MLPerf. MLPerf Inference được thiết kế để so sánh hệ thống trung tâm dữ liệu thực hiện suy luận tốt như thế nào hoặc nhiệm vụ chạy mô hình AI đã được đào tạo.

Hơn 20 công ty đã tham gia vào đợt thử nghiệm mới nhất. Những người tham gia bao gồm Nvidia Corp., nhà cung cấp hàng đầu các đơn vị xử lý đồ họa cho các trung tâm dữ liệu, cũng như Intel Corp. và một số nhà sản xuất chip lớn khác.

Các công ty đã so sánh tốc độ của các hệ thống AI của họ bằng cách yêu cầu chúng thực hiện suy luận bằng cách sử dụng sáu mạng nơ-ron. Sáu mạng nơ-ron mỗi mạng tập trung vào một trường hợp sử dụng khác nhau, cụ thể là phân loại hình ảnh, phát hiện đối tượng, phân đoạn hình ảnh y tế, chuyển lời nói thành văn bản, xử lý ngôn ngữ và các khuyến nghị thương mại điện tử.

Những người tham gia thử nghiệm MLPerf Inference đã tạo ra 5.300 kết quả hoạt động cá nhân, nhiều hơn 37% so với vòng trước. Những người tham gia cũng tạo ra 2.400 phép đo về lượng điện được sử dụng bởi hệ thống của họ trong khi thực hiện suy luận.

GPU trung tâm dữ liệu hàng đầu của Nvidia, H100, đã lập nhiều kỷ lục hiệu suất trong quá trình thử nghiệm. H100 (trong hình) có thể thực hiện một số tác vụ suy luận nhanh hơn tới 30 lần so với GPU trung tâm dữ liệu hàng đầu trước đây của Nvidia. Nó có hơn 80 tỷ bóng bán dẫn, cũng như một loạt các tính năng tối ưu hóa máy học không có trong các sản phẩm trước đây của công ty.

“Trong lần ra mắt đầu tiên của họ trên điểm chuẩn AI tiêu chuẩn ngành MLPerf, GPU NVIDIA H100 Tensor Core đã lập kỷ lục thế giới về khả năng suy luận trên tất cả khối lượng công việc, mang lại hiệu suất gấp 4,5 lần so với các GPU thế hệ trước”, Dave Salvator, giám đốc tiếp thị sản phẩm cấp cao tại Nvidia, chi tiết trong một bài viết trên blog hôm nay. “H100, hay còn gọi là Hopper, đã nâng cao hiệu suất trên mỗi máy gia tốc trên tất cả sáu mạng nơ-ron trong vòng.”

So với GPU hàng đầu thế hệ trước của Nvidia, H100 mang lại sự cải thiện hiệu suất đáng kể nhất khi chạy mạng nơ-ron lớn BERT. BERT-Large là một mạng nơ-ron được tối ưu hóa để xử lý ngôn ngữ tự nhiên. Nó dựa trên kiến ​​trúc Transformer, một cách tiếp cận để thiết kế các mô hình AI được sử dụng rộng rãi trong lĩnh vực xử lý ngôn ngữ tự nhiên.

Chip H100 của Nvidia bao gồm một mô-đun được tối ưu hóa đặc biệt để chạy các mô hình AI dựa trên kiến ​​trúc Transformer. Theo Nvidia, mô-đun này làm giảm lượng dữ liệu mà mạng nơ-ron phải xử lý để tạo ra kết quả. Mạng nơ-ron phải xử lý càng ít dữ liệu để hoàn thành một phép tính thì mạng càng có thể đưa ra quyết định nhanh hơn.

H100 không phải là sản phẩm duy nhất được Nvidia đánh giá là một phần của bài kiểm tra MLPerf Inference. Công ty cũng đã thử nghiệm tốc độ của hệ thống trên chip Jetson Orin, một bộ xử lý tiết kiệm điện được thiết kế để cung cấp năng lượng cho robot. Bộ vi xử lý này cung cấp hiệu suất cao gấp 5 lần so với sản phẩm thế hệ trước của Nvidia và sử dụng lượng điện chỉ bằng một nửa.

Hình ảnh: Nvidia

Hãy thể hiện sự ủng hộ của bạn đối với sứ mệnh của chúng tôi bằng cách tham gia Câu lạc bộ Cube và Cộng đồng sự kiện Cube gồm các chuyên gia. Tham gia cộng đồng bao gồm Amazon Web Services và Giám đốc điều hành Amazon.com Andy Jassy, ​​người sáng lập kiêm Giám đốc điều hành Dell Technologies, Michael Dell, Giám đốc điều hành Intel Pat Gelsinger và nhiều chuyên gia và nhân vật nổi tiếng khác.

bài viết tương tự

Leave a Reply