Chọn RAM server đúng cách: RDIMM, LRDIMM, rank và populate đúng kênh

UDIMM, RDIMM và LRDIMM khác nhau ở đâu

UDIMM là loại không có bộ đệm, tín hiệu địa chỉ và điều khiển từ bộ điều khiển bộ nhớ đi thẳng tới từng chip DRAM. Cách này đơn giản và độ trễ thấp nhất, nhưng tải điện dung trên đường tín hiệu tăng nhanh theo số chip, nên chỉ dùng được số lượng module nhỏ. Đó là lý do UDIMM phổ biến ở máy trạm và máy chủ một socket cấp thấp, nhưng không đi xa được về dung lượng.

RDIMM có thêm register, một mạch đệm cho tín hiệu địa chỉ và lệnh. Bộ điều khiển chỉ cần lái tín hiệu tới register thay vì tới toàn bộ chip DRAM, giảm tải điện đáng kể và cho phép cắm nhiều module dung lượng lớn hơn trên cùng một kênh. Cái giá phải trả là thêm một chu kỳ độ trễ cho lệnh, gần như không ảnh hưởng tới hiệu năng thực tế. RDIMM là lựa chọn mặc định cho gần như toàn bộ máy chủ hai socket hiện nay.

LRDIMM đi xa hơn, dùng buffer đệm cả tín hiệu dữ liệu chứ không chỉ địa chỉ. Nhờ vậy nhiều rank được ẩn sau buffer và bộ điều khiển chỉ nhìn thấy một tải duy nhất, cho phép đạt dung lượng tối đa lớn hơn nhiều so với RDIMM khi cắm đủ khe. Đổi lại LRDIMM đắt hơn trên mỗi GB và có độ trễ nhỉnh hơn. Chỉ nên chọn LRDIMM khi cần dung lượng vượt mức mà RDIMM đạt được, ví dụ máy chủ ảo hoá mật độ cao hoặc cơ sở dữ liệu in-memory.

• UDIMM: không đệm, độ trễ thấp nhất, giới hạn dung lượng, dùng cho máy trạm và server cấp thấp
• RDIMM: đệm tín hiệu địa chỉ và lệnh, cân bằng tốt nhất, mặc định cho máy chủ doanh nghiệp
• LRDIMM: đệm cả dữ liệu, dung lượng tối đa cao nhất, giá trên GB cao hơn
• Không trộn UDIMM với RDIMM hay RDIMM với LRDIMM trên cùng một hệ thống
• Kiểm tra bảng tương thích của hãng vì mỗi dòng bo mạch có giới hạn riêng

ECC và cơ chế sửa lỗi thực sự làm gì

ECC dùng thêm bit kiểm tra để phát hiện và sửa lỗi bit trong dữ liệu lưu trong RAM. Cơ chế SECDED phổ biến nhất sửa được lỗi một bit và phát hiện được lỗi hai bit trong một từ dữ liệu. Lỗi một bit thường do nhiễu, tia vũ trụ hoặc suy giảm ô nhớ, xảy ra âm thầm và không có ECC thì hệ điều hành không hề biết. Hậu quả có thể là một con số sai trong báo cáo tài chính, một file bị hỏng khi ghi xuống đĩa, hoặc một lần treo máy không giải thích được.

Trên máy chủ, ECC không chỉ sửa lỗi mà còn ghi log. Các sự kiện correctable error được ghi lại trong iDRAC của Dell hay iLO của HPE, và khi một module vượt ngưỡng lỗi trong khoảng thời gian nhất định, hệ thống sẽ cảnh báo trước khi nó hỏng hẳn. Đây là tín hiệu quan trọng: nếu thấy correctable error tăng đều trên cùng một DIMM, hãy lên kế hoạch thay nó trong lần bảo trì gần nhất chứ đừng chờ tới lúc máy chủ tự khởi động lại.

Ngoài SECDED, các nền tảng máy chủ còn có các lớp cao hơn như memory mirroring, tức nhân đôi dữ liệu trên hai kênh và đánh đổi một nửa dung lượng để chịu được hỏng cả một chip; hoặc memory sparing, dành riêng một rank làm dự phòng và tự chuyển sang khi rank chính vượt ngưỡng lỗi. Các chế độ này bật trong BIOS và chỉ nên dùng cho hệ thống tối quan trọng vì chúng giảm dung lượng và băng thông khả dụng.

Rank ảnh hưởng tới băng thông và tốc độ thế nào

Rank là một nhóm chip DRAM cùng được truy cập để tạo ra toàn bộ độ rộng dữ liệu của module. Module single rank có một nhóm, dual rank có hai. Ở mức thấp, khi bộ điều khiển bận chờ một rank hoàn tất thao tác thì nó có thể phát lệnh tới rank kia, gọi là rank interleaving. Nhờ vậy module dual rank thường cho băng thông thực tế cao hơn single rank cùng tốc độ, chênh lệch điển hình khoảng 5 tới 10 phần trăm tuỳ workload.

Mặt trái là số rank trên mỗi kênh tác động tới tốc độ tối đa mà bộ điều khiển duy trì được. Khi cắm nhiều module trên cùng một kênh, tổng số rank tăng, tải điện tăng và bo mạch buộc phải hạ tốc độ. Ví dụ điển hình trên nền tảng DDR5: một module mỗi kênh chạy được tốc độ định mức cao nhất, nhưng cắm hai module mỗi kênh thì tốc độ có thể tụt xuống một bậc. Kết quả là bạn có gấp đôi dung lượng nhưng băng thông trên mỗi kênh giảm.

Bài học thực dụng: nếu ứng dụng nhạy với băng thông bộ nhớ như tính toán khoa học, in-memory database hay máy chủ ảo hoá tải nặng, hãy ưu tiên cấu hình một module mỗi kênh với dung lượng module lớn hơn, thay vì cắm đầy khe bằng module nhỏ. Nếu chỉ cần nhiều dung lượng cho máy ảo văn phòng, việc tụt một bậc tốc độ hầu như không ai cảm nhận được.

• Dual rank thường nhanh hơn single rank khoảng 5 tới 10 phần trăm nhờ rank interleaving
• Nhiều module mỗi kênh làm tăng tổng rank và có thể buộc hạ tốc độ một bậc
• Ứng dụng nhạy băng thông: ưu tiên 1 module mỗi kênh, dung lượng module lớn
• Ứng dụng cần dung lượng: chấp nhận 2 module mỗi kênh và tốc độ thấp hơn
• Đọc kỹ bảng populate của hãng vì quy tắc hạ tốc độ khác nhau giữa các dòng

Số kênh nhớ và quy tắc populate đối xứng

Xeon Scalable thế hệ 4 hỗ trợ 8 kênh DDR5 trên mỗi socket. AMD EPYC dòng hiện đại hỗ trợ 12 kênh DDR5 trên mỗi socket. Băng thông bộ nhớ tỷ lệ thuận với số kênh được lấp đầy, nên một máy chủ EPYC chỉ cắm 4 thanh RAM đang bỏ phí hai phần ba tiềm năng băng thông của nó, dù dung lượng nhìn có vẻ ổn. Đây là lỗi cấu hình tốn tiền nhất mà chúng tôi thấy khi kiểm tra máy chủ khách hàng mua theo giá rẻ nhất.

Quy tắc là populate đối xứng và lấp đủ kênh. Với Xeon 8 kênh, số thanh nên là 8 hoặc 16 cho mỗi CPU. Với EPYC 12 kênh, số thanh nên là 12 hoặc 24 cho mỗi CPU. Các con số lẻ như 6, 10 hay 20 thanh vẫn chạy được nhưng bộ nhớ trở nên không cân bằng, một số vùng địa chỉ có băng thông thấp hơn vùng khác, gây ra hiệu năng thất thường rất khó chẩn đoán.

Với máy chủ hai socket, mỗi CPU có bộ điều khiển bộ nhớ riêng và phải được cấp RAM đối xứng. Cắm hết RAM vào một CPU rồi để CPU kia trống là cấu hình sai nghiêm trọng: các tiến trình chạy trên CPU thứ hai phải truy cập bộ nhớ qua liên kết giữa hai socket, độ trễ tăng đáng kể. Với hệ điều hành và hypervisor có nhận biết NUMA, hãy giữ cấu hình đối xứng và để lịch trình NUMA làm việc của nó.

Ví dụ cụ thể: máy chủ hai Xeon Scalable Gen4 cần 512GB. Phương án tốt là 16 thanh 32GB, tức 8 thanh cho mỗi CPU, lấp đủ 8 kênh, một module mỗi kênh, đạt tốc độ định mức cao nhất. Phương án kém là 8 thanh 64GB vì mỗi CPU chỉ có 4 kênh hoạt động, băng thông giảm khoảng một nửa dù dung lượng y hệt và giá có khi còn cao hơn.

• Xeon Scalable Gen4: 8 kênh DDR5 mỗi socket, populate 8 hoặc 16 thanh mỗi CPU
• EPYC hiện đại: 12 kênh DDR5 mỗi socket, populate 12 hoặc 24 thanh mỗi CPU
• Hai socket phải cấp RAM đối xứng, không dồn hết vào một CPU
• Số thanh lẻ gây bộ nhớ không cân bằng và hiệu năng thất thường
• Lấp đủ kênh quan trọng hơn việc chọn thanh dung lượng lớn nhất

Hậu quả khi trộn dung lượng, tốc độ và nhà sản xuất

Khi trộn module có tốc độ khác nhau, toàn bộ hệ thống sẽ chạy ở tốc độ của thanh chậm nhất. Cắm thêm một thanh 4400 MT trên hệ thống đang chạy 5600 MT nghĩa là hạ toàn bộ hệ thống xuống 4400. Tương tự với timing và điện áp, bộ điều khiển luôn lấy mẫu số chung an toàn nhất. Đây là lý do việc mua thêm RAM giá rẻ để nâng cấp đôi khi làm máy chủ chậm đi thay vì nhanh lên.

Trộn dung lượng khác nhau còn phiền hơn. Nhiều nền tảng yêu cầu các module trong cùng một kênh hoặc cùng một nhóm phải giống nhau. Nếu trộn được thì bộ nhớ thường rơi vào chế độ không cân bằng, mất khả năng interleaving tối ưu giữa các kênh. Một số bo mạch còn từ chối khởi động và báo lỗi memory configuration không rõ ràng, tốn hàng giờ dò tìm.

Về nhà sản xuất chip, dù nhãn hiệu module giống nhau thì lô sản xuất khác nhau có thể dùng chip DRAM của hãng khác. Trong phần lớn trường hợp vẫn chạy, nhưng khi hệ thống chạy ở tốc độ cao và cắm nhiều rank, sự khác biệt về đặc tính tín hiệu có thể gây lỗi correctable tăng bất thường. Nguyên tắc an toàn: mua RAM theo bộ cho một máy chủ, cùng mã sản phẩm, và giữ lại vài thanh dự phòng cùng lô.

DDR5 on-die ECC không thay thế ECC hệ thống

Đây là điểm gây hiểu nhầm nhiều nhất kể từ khi DDR5 phổ biến. Mọi chip DDR5, kể cả RAM máy tính để bàn không ECC, đều có on-die ECC. Nhưng cơ chế này chỉ sửa lỗi xảy ra bên trong mảng ô nhớ của chính chip đó, sinh ra do mật độ ô nhớ quá cao ở tiến trình sản xuất hiện đại. Nó là biện pháp để nhà sản xuất giữ được tỷ lệ sản phẩm đạt chuẩn, không phải tính năng bảo vệ dữ liệu cho người dùng.

ECC hệ thống thì khác. Nó bảo vệ toàn tuyến đường từ bộ điều khiển bộ nhớ trong CPU, qua đường tín hiệu trên bo mạch, qua đầu nối, tới chip DRAM và ngược lại. Lỗi phát sinh trên đường truyền, do tiếp xúc kém, do nhiễu, do đầu nối oxy hoá vì độ ẩm cao, chỉ ECC hệ thống mới bắt được. Ngoài ra ECC hệ thống báo cáo lỗi lên hệ điều hành và BMC, cho phép giám sát và cảnh báo trước.

Kết luận thực dụng: một máy chủ dùng RAM DDR5 không ECC vẫn là máy chủ không có ECC, bất kể quảng cáo nói gì về on-die ECC. Với mọi hệ thống chạy dữ liệu doanh nghiệp, hãy chỉ mua RDIMM ECC và kiểm tra trong iDRAC hoặc iLO rằng hệ thống báo đúng ECC enabled sau khi lắp.

• On-die ECC có trên mọi DDR5, kể cả RAM desktop không ECC
• On-die ECC chỉ sửa lỗi trong mảng ô nhớ, không bảo vệ đường truyền
• ECC hệ thống bảo vệ toàn tuyến và báo cáo lỗi lên BMC để giám sát
• Kiểm tra trạng thái ECC enabled trong iDRAC hoặc iLO sau khi lắp RAM
• Theo dõi correctable error theo từng khe để phát hiện DIMM sắp hỏng

RAM chính hãng, RAM OEM và ảnh hưởng tới bảo hành

RAM mang mã sản phẩm của Dell, HPE hay Lenovo được kiểm tra tương thích với đúng dòng bo mạch, đúng firmware, và mang thông tin nhận dạng để hệ thống quản lý đọc được đầy đủ. Khi lắp RAM không phải mã hãng, một số máy chủ hiển thị cảnh báo unsupported memory trong log quản lý, quạt có thể chạy ở tốc độ cao hơn vì hệ thống không đọc được thông tin nhiệt của module, và bộ phận hỗ trợ có thể yêu cầu tháo ra trước khi xử lý sự cố liên quan tới bộ nhớ.

Thực tế thì RAM của các nhà sản xuất lớn như Samsung, SK Hynix hay Micron ở dạng module generic vẫn chạy tốt trên phần lớn máy chủ và giá rẻ hơn đáng kể, có khi chỉ bằng 40 tới 60 phần trăm giá module mã hãng. Đây là lựa chọn hợp lý cho môi trường test, môi trường phát triển, hoặc máy chủ đã hết hạn bảo hành. Với máy chủ sản xuất còn trong hợp đồng dịch vụ, khoản chênh lệch không đáng để đánh đổi rủi ro tranh cãi khi cần bảo hành.

Một cảnh báo cụ thể cho thị trường Việt Nam: RAM server đã qua sử dụng và RAM có nhãn dán lại xuất hiện khá nhiều. Dấu hiệu nhận biết gồm chân tiếp xúc có vết xước hoặc xỉn màu, nhãn dán không khớp thông tin đọc được từ SPD, và serial trùng lặp giữa các thanh. Luôn kiểm tra thông tin SPD bằng phần mềm sau khi nhận hàng, so với nhãn dán. HQG cung cấp RAM chính hãng theo mã Dell, HPE, Lenovo kèm chứng từ nguồn gốc, và có thể tư vấn cấu hình populate tối ưu trước khi báo giá.

Khuyến nghị cấu hình theo workload

Máy chủ ảo hoá VMware hoặc Hyper-V chạy máy ảo văn phòng: ưu tiên dung lượng, tỷ lệ thường dùng là 8 tới 16GB RAM cho mỗi vCPU được cấp phát, tính theo mức overcommit hợp lý. Cấu hình 512GB tới 1TB cho máy chủ hai socket là phổ biến. Lấp đủ kênh với RDIMM 32GB hoặc 64GB dual rank, chấp nhận hai module mỗi kênh nếu cần dung lượng lớn.

Cơ sở dữ liệu quan hệ như SQL Server hoặc PostgreSQL: băng thông và độ trễ quan trọng ngang dung lượng. Cấu hình một module mỗi kênh với RDIMM dual rank dung lượng lớn để giữ tốc độ định mức. Đặt buffer pool sao cho tập dữ liệu nóng nằm trọn trong RAM, vì mỗi lần phải đọc từ đĩa dù là NVMe cũng chậm hơn RAM vài bậc độ lớn. Bật memory sparing nếu hệ thống thuộc nhóm tối quan trọng và có thể chấp nhận giảm một phần dung lượng.

Máy chủ GPU cho huấn luyện hoặc suy luận AI: nguyên tắc kinh nghiệm là RAM hệ thống nên gấp khoảng 1,5 tới 2 lần tổng bộ nhớ GPU để đủ chỗ cho tiền xử lý dữ liệu và staging. Với bốn GPU 80GB, tức 320GB bộ nhớ GPU, cấu hình 512GB tới 768GB RAM hệ thống là hợp lý. Ưu tiên nền tảng EPYC 12 kênh vì băng thông bộ nhớ và số làn PCIe đều dồi dào hơn.

Máy chủ file, domain controller, ứng dụng nội bộ nhẹ: 64GB tới 128GB là đủ cho đa số trường hợp, nhưng vẫn nên populate đối xứng đủ kênh thay vì cắm hai thanh. Chênh lệch chi phí giữa 4 thanh 16GB và 2 thanh 32GB là nhỏ, trong khi băng thông chênh nhau đáng kể và bạn giữ được đường nâng cấp gọn gàng về sau.

• Ảo hoá văn phòng: 8 tới 16GB mỗi vCPU, RDIMM 32 hoặc 64GB dual rank, ưu tiên dung lượng
• Cơ sở dữ liệu: 1 module mỗi kênh giữ tốc độ định mức, tập dữ liệu nóng nằm trọn trong RAM
• Máy chủ GPU: RAM hệ thống bằng 1,5 tới 2 lần tổng bộ nhớ GPU
• Ứng dụng nội bộ nhẹ: 64 tới 128GB nhưng vẫn populate đủ kênh
• Luôn chừa khe trống theo kế hoạch nâng cấp, không lấp kín ngay từ đầu nếu chưa cần