Không có giấy phép xuất khẩu từ Bộ Thương mại Hoa Kỳ, NVIDIA không thể cung cấp GPU cao cấp H100 và H200 mới nhất cho các thực thể tại Trung Quốc. Giấy phép này rất khó được cấp, ít nhất là không dành cho hàng trăm GPU loại này. Tuy nhiên, những GPU này dường như vẫn có sẵn tại Trung Quốc, với một doanh nhân không rõ danh tính tự hào rằng ông đã nhập về hơn hai chục máy chủ Supermicro sử dụng GPU H200 với hàng trăm GPU bên trong.
Doanh nhân giấu tên này được cho là đã thu thập được tới 25 máy chủ Supermicro, mỗi máy chứa 8 GPU NVIDIA H200, tổng cộng lên tới 200 GPU Hopper. 200 GPU H200 không đủ để đào tạo một mô hình ngôn ngữ lớn phức tạp, nhưng chúng đủ tốt để các tổ chức nghiên cứu thực hiện các thí nghiệm và hỗ trợ các startup phát triển phần mềm. Các công ty có thể bắt đầu phát triển dự án của mình trên phần cứng H200, sau đó chuyển sang vận hành trên các trung tâm dữ liệu đám mây từ xa.
Người đàn ông Trung Quốc khoe có được 200 GPU NVIDIA H200
Do nhu cầu quá lớn, GPU H200 của NVIDIA với 141GB bộ nhớ HBM3 rất khó mua. Ví dụ, một máy chủ H200 khó kiếm có thể được đặt mua từ một số công ty tại Hoa Kỳ, nhưng thời gian chờ ước tính từ 4 đến 6 tuần, và giá cả không được công bố. Tại châu Âu, một bảng mạch chứa tám GPU H200 có giá khoảng 273.000 USD chưa bao gồm VAT. Một máy chủ H200 đầy đủ có thể có giá hơn 300.000 USD.
Mặc dù các hạn chế của Hoa Kỳ ngăn cản các thực thể tại Trung Quốc mua các bộ vi xử lý AI và HPC tiên tiến cho trung tâm dữ liệu, một mạng lưới người mua, người bán, và nhà vận chuyển đang lách qua các kiểm soát xuất khẩu này. Tính đến tháng 8 vừa qua, hơn 70 nhà phân phối đã công khai tiếp thị các bộ vi xử lý bị hạn chế này trực tuyến, với nhiều nơi cung cấp dịch vụ giao GPU rời hoặc cả máy chủ trong vài tuần.
Cận cảnh một máy chủ AI với GPU NVIDIA H200
NVIDIA cung cấp các bộ vi xử lý H100 và H200 của mình cho các công ty như Dell, HPE, và Supermicro, những hãng này sản xuất và bán máy chủ AI. Các công ty này có thể đặt mua thêm các bộ vi xử lý dư thừa, và những linh kiện này có thể rơi vào các kênh không chính thức. Mặc dù tất cả các công ty tuyên bố tuân thủ quy định xuất khẩu của Hoa Kỳ và xử lý các hoạt động bất hợp pháp khi phát hiện, nhưng việc bán hàng cho các nhà bán lẻ nhỏ hơn có thể vượt qua sự giám sát của họ và lọt vào các mạng lưới của người Trung Quốc.
Đoạn video "khui thùng" cho thấy máy chủ do Supermicro sản xuất
Vận chuyển một máy chủ nặng hàng chục kilogram vào Trung Quốc vốn đã không phải là điều dễ dàng. Vì vậy, việc có thể "tuồn" hàng loạt máy chủ NVIDIA H200 đồ sộ cho thấy sự tồn tại của một hệ thống phân phối hoạt động trơn tru.