12 lưu ý khi xây dựng Server AI/ML: GPU, VRAM, RAM và hạ tầng

Khi xây dựng server cho AI/ML, thành công hay thất bại thường nằm ở các yếu tố như: dung lượng bộ nhớ GPU, tốc độ truyền dữ liệu, nguồn điện, hệ thống làm mát và môi trường phần mềm. Chọn sai một trong năm thứ này, bạn có thể bỏ ra hàng trăm nghìn đô la mà hệ thống vẫn chạy chậm, nóng quá mức hoặc không đủ sức tải mô hình bạn cần. Cùng Tino tìm hiểu chi tiết qua bài viết dưới đây nhé!

Server AI/ML là gì?

Server AI/ML là máy chủ được thiết kế để xử lý các tác vụ trí tuệ nhân tạo và Machine Learning như:

• Huấn luyện mô hình Machine Learning.
• Training hoặc Fine-tuning Deep Learning.
• Chạy LLM nội bộ.
• Triển khai chatbot AI.
• Xử lý hình ảnh và video bằng AI.
• Computer Vision.
• Speech-to-Text và Text-to-Speech.
• RAG và hệ thống tìm kiếm vector.
• Chạy AI Agent.
• Phục vụ API inference cho nhiều người dùng.

Khác với Server Web thông thường, Server AI thường cần GPU có khả năng tính toán song song mạnh. Vì vậy, GPU, VRAM, PCIe, điện năng và làm mát thường đóng vai trò quan trọng hơn nhiều so với một Server chủ yếu chạy website hoặc database.

Tuy nhiên, không phải hệ thống AI nào cũng cần nhiều GPU. Một dự án Machine Learning truyền thống hoặc chatbot nhỏ có thể hoạt động tốt với một GPU duy nhất, trong khi training mô hình lớn có thể cần hàng chục, hàng trăm hoặc thậm chí hàng nghìn GPU.

Vì vậy, bước đầu tiên không phải là tìm GPU mạnh nhất mà là xác định chính xác workload.

👉 Khám phá hệ thống máy chủ vật lý của Tino tại: https://tino.vn/may-chu-vat-ly 

Cần xác định gì trước khi xây dựng Server cho AI/ML?

Xác định Server dùng để training hay inference

Hai nhóm tác vụ này có yêu cầu phần cứng khá khác nhau.

Inference là quá trình sử dụng mô hình đã được huấn luyện để tạo kết quả.

Ví dụ:

• Chat với LLM.
• Sinh hình ảnh.
• Nhận diện vật thể.
• Phân loại văn bản.
• Chạy chatbot chăm sóc khách hàng.

Inference thường ưu tiên:

• VRAM đủ chứa mô hình.
• Băng thông VRAM cao.
• Độ trễ thấp.
• Khả năng xử lý nhiều request cùng lúc.

Trong khi đó, training hoặc fine-tuning thường yêu cầu:

• Nhiều GPU hơn.
• VRAM lớn.
• Kết nối GPU–GPU tốc độ cao.
• RAM lớn.
• SSD tốc độ cao.
• Hệ thống mạng mạnh nếu training trên nhiều Server.

Nếu chỉ triển khai inference cho một LLM nhỏ, việc đầu tư hệ thống 8 GPU cao cấp có thể gây lãng phí đáng kể.

Xác định kích thước mô hình

Dung lượng mô hình ảnh hưởng trực tiếp đến lượng VRAM cần thiết. Bạn có thể ước tính sơ bộ bộ nhớ chỉ dành cho trọng số theo công thức:

Dung lượng ≈ số tham số × số byte cho mỗi tham số

Ví dụ với mô hình 70B:

Đây mới chỉ là trọng số mô hình. Khi chạy thực tế còn cần bộ nhớ cho:

• KV Cache.
• Activations.
• Context Window.
• Batch.
• Framework.
• CUDA hoặc ROCm runtime.
• Các tensor trung gian.

Training còn cần thêm gradient và optimizer state nên yêu cầu bộ nhớ lớn hơn rất nhiều.

Vì vậy, không nên chọn GPU có VRAM vừa đúng bằng kích thước file mô hình.

Xem thêm: Bảng so sánh các AI model theo benchmark

Xác định số lượng người dùng và tác vụ đồng thời

Một Server có thể chạy LLM tốt cho một người nhưng chưa chắc đáp ứng tốt 100 người truy cập đồng thời.

Khi triển khai inference, cần dự kiến:

• Bao nhiêu người dùng cùng lúc?
• Mỗi request dài bao nhiêu token?
• Context Window cần bao nhiêu?
• Mục tiêu token/giây là bao nhiêu?
• Mức độ trễ có thể chấp nhận?
• Có chạy nhiều mô hình cùng lúc hay không?

Đây là những yếu tố ảnh hưởng trực tiếp đến VRAM, số GPU và kiến trúc triển khai.

12 lưu ý quan trọng khi xây dựng Server cho AI/ML

#1. Chọn GPU dựa trên workload

GPU là thành phần quan trọng nhất của phần lớn Server AI hiện nay nhưng không có một lựa chọn phù hợp cho mọi dự án.

Có thể chia nhu cầu thành 3 nhóm.

AI Development và thử nghiệm

Phù hợp với:

• Học AI.
• Phát triển mô hình.
• Chạy LLM nhỏ.
• Fine-tune bằng LoRA/QLoRA.
• Thử nghiệm RAG hoặc AI Agent.

Một GPU 24-48 GB VRAM có thể đáp ứng khá nhiều workload trong nhóm này.

AI inference doanh nghiệp

Nếu Server phục vụ chatbot, RAG hoặc API AI cho nhiều người dùng, nên ưu tiên:

• VRAM lớn.
• Băng thông bộ nhớ cao.
• GPU được thiết kế cho Server.
• Khả năng chạy 24/7.
• Hỗ trợ phân chia tài nguyên.

Ví dụ, NVIDIA RTX PRO 6000 Blackwell Server Edition có 96 GB VRAM, trong khi những GPU Data Center như H200 và B200 có dung lượng bộ nhớ cao hơn.

Training quy mô lớn

Training Deep Learning hoặc LLM lớn thường cần:

• 4–8 GPU trên mỗi Server.
• Kết nối GPU–GPU tốc độ cao.
• Mạng RDMA tốc độ cao giữa các Server.
• Hệ thống lưu trữ song song.
• Hạ tầng điện và làm mát chuyên dụng.

Đây là môi trường mà kiến trúc toàn hệ thống quan trọng tương đương bản thân GPU.

#2. Ưu tiên dung lượng VRAM và băng thông bộ nhớ

Một sai lầm phổ biến khi xây dựng Server AI là chỉ so sánh FLOPS hoặc TOPS.

Với LLM, có 2 thông số cần xem rất kỹ:

• VRAM/HBM Capacity: Quyết định mô hình lớn đến mức nào có thể nằm trong bộ nhớ GPU.
• Memory Bandwidth: Quyết định tốc độ GPU có thể đọc và ghi dữ liệu từ bộ nhớ.

Các thế hệ GPU Data Center gần đây cho thấy xu hướng này rất rõ. NVIDIA H200 trang bị 141 GB HBM3e và băng thông 4,8 TB/s. AMD MI350 Series đạt tới 288 GB HBM3E và 8 TB/s.

Với workload LLM, đôi khi GPU có VRAM lớn hơn mang lại giá trị thực tế cao hơn GPU đạt sức mạnh tính toán lý thuyết lớn nhưng không đủ bộ nhớ để chứa model.

#3. CPU phải đủ mạnh và đủ PCIe lane

GPU đảm nhiệm phần lớn phép tính AI nhưng CPU vẫn chịu trách nhiệm cho nhiều công việc:

• Đọc và chuẩn bị dữ liệu.
• Tokenization.
• Data preprocessing.
• Điều phối GPU.
• Chạy API Server.
• Điều khiển container.
• Xử lý network.
• Nén và giải nén dữ liệu.
• Quản lý storage.

Với Server nhiều GPU, yếu tố quan trọng hơn cả số core là số lượng PCIe lane.

Ví dụ, 4 GPU dùng giao tiếp PCIe x16 có thể cần lượng PCIe lane rất lớn. Nếu CPU hoặc mainboard không hỗ trợ đủ lane, GPU có thể phải hoạt động qua kết nối hẹp hơn hoặc chia sẻ băng thông.

Khi lựa chọn CPU, nên kiểm tra:

• Số core.
• Tần số.
• Số memory channel.
• Số PCIe lane.
• PCIe Gen 4, Gen 5 hoặc thế hệ phù hợp.
• Khả năng chạy nhiều GPU.
• Kiến trúc NUMA nếu dùng hai CPU.

AMD EPYC và Intel Xeon thường được sử dụng trong Server AI nhờ khả năng hỗ trợ nhiều PCIe lane, RAM ECC lớn và các tính năng dành cho môi trường Server.

#4. Trang bị RAM phù hợp với GPU

RAM hệ thống thường không cần nhanh bằng VRAM nhưng dung lượng quá thấp có thể gây nghẽn toàn bộ pipeline.

RAM được sử dụng cho:

• Dataset.
• Data preprocessing.
• Model loading.
• Cache.
• Container.
• Vector database.
• API.
• Offloading.
• Checkpoint.
• Các dịch vụ hỗ trợ.

Một mức tham khảo có thể dùng khi lập cấu hình:

Đây không phải yêu cầu cố định. Dung lượng thực tế cần được tính theo workload.

Ví dụ, nếu sử dụng CPU offloading cho LLM, lượng RAM cần thiết có thể tăng mạnh.

Với Server doanh nghiệp, nên ưu tiên ECC RAM để giảm rủi ro lỗi dữ liệu khi hệ thống hoạt động liên tục.

#5. Không xem nhẹ hệ thống lưu trữ

Dataset AI có thể chứa hàng triệu file hoặc hàng chục TB dữ liệu. Vì vậy, SSD chậm hoàn toàn có thể khiến GPU phải chờ dữ liệu.

Một kiến trúc đơn giản có thể chia thành 3 tầng.

Ổ hệ điều hành

Dành cho:

• Linux.
• Driver.
• Docker.
• Công cụ quản trị.

Có thể sử dụng hai SSD chạy mirror nếu yêu cầu độ sẵn sàng cao.

SSD NVMe cho dataset và scratch

Dành cho:

• Dataset đang xử lý.
• Cache.
• Model.
• Checkpoint tạm thời.

NVMe PCIe Gen 4 hoặc Gen 5 phù hợp hơn SATA SSD khi cần tốc độ đọc ghi cao.

Kho lưu trữ dài hạn

Có thể sử dụng:

• NAS.
• SAN.
• Object Storage.
• Distributed Storage.

Checkpoint quan trọng không nên chỉ lưu trên một RAID 0 local vì lỗi một ổ có thể khiến toàn bộ dữ liệu trong nhóm mất khả năng sử dụng.

#6. Kiểm tra kết nối giữa các GPU

Khi Server chỉ có một GPU, yếu tố này chưa quá quan trọng. Nhưng từ 2 GPU trở lên, tốc độ giao tiếp GPU–GPU bắt đầu ảnh hưởng lớn đến training và inference phân tán.

Các hình thức phổ biến gồm:

• PCIe.
• NVIDIA NVLink.
• NVIDIA NVSwitch.
• AMD Infinity Fabric.

Ví dụ, NVIDIA DGX B200 sử dụng 8 GPU Blackwell với tổng 1.440 GB GPU Memory và băng thông NVLink tổng hợp 14,4 TB/s.

Khi mua Server nhiều GPU, không nên chỉ kiểm tra: Server có bao nhiêu GPU? Mà cần kiểm tra thêm: Các GPU giao tiếp với nhau bằng kiến trúc nào?

Hai Server cùng có 8 GPU vẫn có thể đạt hiệu suất training khác nhau đáng kể nếu topology GPU khác nhau.

#7. Lựa chọn tốc độ mạng phù hợp

Nếu dataset nằm trong chính Server, card mạng ít ảnh hưởng hơn.

Tuy nhiên, mạng trở thành nút thắt khi:

• Dataset nằm trên NAS.
• Có nhiều Server AI.
• Training phân tán.
• Server truy cập Object Storage.
• Nhiều máy cùng sử dụng một cụm GPU.

Mức tham khảo:

Không phải dự án nào cũng cần 100 hoặc 400 Gbps.

Nếu chỉ có một Server dùng vài GPU, mạng 10 hoặc 25 GbE có thể đã đáp ứng tốt.

#8. Tính toán nguồn điện ngay từ đầu

GPU AI cao cấp tiêu thụ rất nhiều điện.

Khi tăng từ một GPU lên bốn hoặc tám GPU, bài toán nguồn điện không còn dừng lại ở việc chọn PSU.

Cần kiểm tra toàn bộ chuỗi:

GPU → PSU → PDU → Rack → nguồn điện Data Center

Ví dụ, NVIDIA công bố DGX B200 8 GPU có mức tiêu thụ điện hệ thống tối đa khoảng 14,3 kW.

Điều này cho thấy Server AI cao cấp có thể vượt rất xa mức điện của Server truyền thống.

Khi thiết kế nên tính:

• Công suất GPU.
• Công suất CPU.
• RAM.
• SSD.
• NIC.
• Fan.
• PSU loss.
• Công suất dự phòng.
• Khả năng cấp điện của rack.

Server doanh nghiệp cũng thường sử dụng PSU dự phòng để giảm nguy cơ gián đoạn dịch vụ khi một nguồn gặp sự cố.

#9. Thiết kế hệ thống làm mát phù hợp

Điện năng mà Server tiêu thụ cuối cùng phần lớn chuyển thành nhiệt. Vì vậy, một Server AI 3 kW cũng đồng nghĩa hệ thống làm mát phải xử lý lượng nhiệt rất lớn liên tục.

Cần quan tâm:

• Airflow trước → sau.
• Khoảng cách giữa các GPU.
• Loại chassis.
• Tốc độ quạt.
• Nhiệt độ phòng máy.
• Công suất điều hòa.
• Mật độ công suất trên mỗi rack.

Với các hệ thống GPU mật độ rất cao, Direct Liquid Cooling đang ngày càng phổ biến.

AMD cho biết nền tảng MI350 Series có thể được triển khai từ Server làm mát bằng không khí đến các nền tảng mật độ cao sử dụng Direct Liquid Cooling.

Vì vậy, trước khi đặt mua Server AI cao cấp, cần kiểm tra Data Center có đáp ứng được mật độ nhiệt và công suất cần thiết hay không.

#10. Kiểm tra khả năng tương thích phần mềm

Phần cứng mạnh chưa chắc hoạt động tốt nếu software stack không tương thích.

Với NVIDIA, hệ thống thường liên quan đến:

• NVIDIA Driver.
• CUDA.
• cuDNN.
• NCCL.
• TensorRT.
• NVIDIA Container Toolkit.

Với AMD:

• AMD Driver.
• ROCm.
• RCCL.
• Framework tương thích.

Không nên cài từng thành phần theo phiên bản mới nhất một cách độc lập.

Driver, CUDA/ROCm, PyTorch, TensorFlow, kernel Linux và container runtime cần nằm trong compatibility matrix phù hợp.

Ví dụ, tài liệu NVIDIA hiện quy định những mức driver tối thiểu khác nhau cho H100/H200, B200 và RTX PRO Blackwell khi sử dụng MIG. AMD cũng duy trì bảng tương thích riêng giữa ROCm, hệ điều hành và PyTorch.

Cách triển khai an toàn hơn là:

1. Chọn framework.
2. Xác định phiên bản CUDA hoặc ROCm được hỗ trợ.
3. Chọn driver tương thích.
4. Cố định phiên bản bằng container.
5. Kiểm thử trước khi cập nhật production.

Docker rất hữu ích vì giúp từng dự án AI sử dụng môi trường phần mềm riêng.

#11. Chuẩn bị bảo mật và giám sát Server

Server GPU có giá trị cao và thường chứa dữ liệu quan trọng nên cần được bảo vệ tương tự các hệ thống production khác.

Một số biện pháp cơ bản:

• Không mở SSH trực tiếp cho toàn Internet nếu không cần thiết.
• Dùng SSH Key thay cho mật khẩu.
• Sử dụng firewall.
• Tách mạng quản trị BMC/IPMI khỏi mạng public.
• Hạn chế quyền root.
• Quản lý API Key bằng Secret Manager.
• Backup cấu hình.
• Cập nhật firmware và security patch.
• Ghi log truy cập.
• Phân quyền người sử dụng GPU.

Đồng thời cần giám sát:

• GPU utilization.
• VRAM utilization.
• GPU temperature.
• GPU power.
• ECC error.
• CPU.
• RAM.
• SSD.
• Network.
• PCIe.
• GPU interconnect.
• Job đang chạy.

Một Server có GPU utilization chỉ 20–30% trong thời gian dài có thể đang gặp bottleneck ở CPU, storage hoặc pipeline dữ liệu.

Phân chia GPU cho nhiều người dùng

Trong môi trường nhiều nhóm cùng sử dụng Server, có thể cân nhắc công nghệ GPU partitioning.

NVIDIA MIG có thể chia GPU hỗ trợ thành nhiều GPU Instance độc lập với tài nguyên compute và memory riêng. Các GPU như H200 và B200 hỗ trợ tối đa 7 MIG instance, trong khi RTX PRO 6000 Blackwell hỗ trợ tối đa 4 instance.

Giải pháp này phù hợp với:

• AI Lab.
• Trường đại học.
• Công ty có nhiều nhóm AI.
• GPU Cloud.
• Nhiều workload inference nhỏ.

#12. Tính đến khả năng mở rộng trong tương lai

Một Server AI có thể phù hợp hôm nay nhưng nhanh chóng trở thành giới hạn sau vài tháng nếu workload tăng mạnh.

Khi thiết kế, nên để dư khả năng:

• Thêm GPU.
• Thêm RAM.
• Thêm NVMe.
• Nâng NIC.
• Tăng nguồn.
• Mở rộng rack.
• Kết nối thêm Server.

Ví dụ, nếu dự định bắt đầu bằng hai GPU nhưng sau này tăng lên bốn GPU, hãy kiểm tra ngay từ đầu:

• Mainboard có đủ PCIe slot hay không?
• CPU có đủ PCIe lane?
• Chassis có đủ không gian?
• PSU có đủ công suất?
• Rack có đủ điện?
• Hệ thống làm mát có chịu được?
• NIC có đáp ứng distributed training?

Mua lại toàn bộ Server chỉ vì mainboard không thể thêm GPU thường tốn kém hơn rất nhiều so với việc tính khả năng mở rộng ngay từ đầu.

Gợi ý cấu hình Server AI/ML theo từng nhu cầu

Bảng dưới đây chỉ mang tính tham khảo để định hướng ban đầu.

Tuy nhiên, đừng chọn cấu hình chỉ dựa vào bảng. Hai dự án cùng sử dụng LLM 70B vẫn có thể cần cấu hình rất khác nhau.

Ví dụ:

Trường hợp A

• 1 người sử dụng.
• 4-bit quantization.
• Context ngắn.
• Không yêu cầu tốc độ cao.

Có thể sử dụng cấu hình khá gọn.

Trường hợp B

• 100 người dùng.
• Context dài.
• Batch lớn.
• Yêu cầu phản hồi nhanh.
• SLA production.

Số GPU và VRAM cần thiết sẽ tăng đáng kể.

Vì vậy, nên benchmark workload thực tế trước khi mua số lượng lớn Server.

Checklist trước khi xây dựng Server cho AI/ML

Trước khi đặt mua phần cứng, có thể kiểm tra nhanh 15 câu hỏi sau:

• Server dùng cho training hay inference?
• Mô hình lớn bao nhiêu tham số?
• Precision nào sẽ được sử dụng?
• Cần bao nhiêu VRAM?
• Context Window dự kiến bao nhiêu?
• Bao nhiêu request chạy đồng thời?
• Cần một hay nhiều GPU?
• GPU có cần NVLink hoặc interconnect riêng hay không?
• CPU có đủ PCIe lane?
• RAM có đủ cho dataset và offloading?
• SSD có đủ dung lượng và throughput?
• Network cần 10, 25, 100 hay 400 Gbps?
• Rack có đủ điện?
• Hệ thống làm mát có đủ công suất?
• Software stack có hỗ trợ GPU đã chọn?

Nếu chưa trả lời được những câu hỏi này, chưa nên chốt cấu hình Server.

Những sai lầm thường gặp khi xây dựng Server AI/ML

• Chọn GPU dựa hoàn toàn vào benchmark: Benchmark rất hữu ích nhưng cần chọn benchmark tương ứng workload thực tế. GPU đứng đầu ở Image Generation chưa chắc là lựa chọn phù hợp nhất cho LLM inference.
• Chọn GPU mạnh nhưng VRAM quá ít: Nếu model không nằm vừa trong VRAM, hệ thống phải offload sang RAM hoặc chia sang nhiều GPU, khiến kiến trúc phức tạp hơn và có thể giảm tốc độ đáng kể.
• Bỏ qua PCIe lane: Server có bốn khe PCIe x16 chưa chắc CPU có đủ lane để cả bốn GPU chạy ở tốc độ mong muốn.
• Dùng SSD quá chậm: GPU cao cấp vẫn có thể phải chờ nếu data pipeline không cung cấp dữ liệu đủ nhanh.
• Không tính điện và làm mát: Đây là vấn đề dễ gặp khi chuyển từ một GPU sang 4 hoặc 8 GPU.
• Cài driver và CUDA tùy ý: Phiên bản mới nhất chưa chắc phù hợp framework đang chạy.
• Mua cấu hình quá lớn ngay từ đầu: Nếu workload chưa ổn định, nên benchmark trước trên một hoặc hai GPU rồi mới mở rộng.

Kết luận

Khi xây dựng Server cho AI/ML, hãy bắt đầu từ workload và VRAM thay vì bắt đầu từ tên GPU. Sau khi xác định mô hình, precision, số người dùng và mục tiêu hiệu năng, mới tiếp tục tính GPU, CPU, RAM, storage, interconnect, network, điện và làm mát.

Một cấu hình AI tốt không nhất thiết phải sử dụng phần cứng đắt nhất. Cấu hình phù hợp là hệ thống đáp ứng đúng workload, tận dụng tốt GPU, ổn định khi chạy liên tục và còn khả năng mở rộng khi nhu cầu tăng.

Những câu hỏi thường gặp