Thiết kế phòng server cho doanh nghiệp vừa: điện, làm mát và PUE

Tính tải điện theo tủ rack trước khi làm bất cứ việc gì

Mọi thiết kế phòng server bắt đầu từ một con số: bao nhiêu kW mỗi tủ. Đừng lấy tổng công suất ghi trên nhãn nguồn máy chủ, vì đó là công suất tối đa của bộ nguồn chứ không phải mức tiêu thụ thực. Một máy chủ 2U hai socket với bộ nguồn dự phòng 2 lần 800W thường tiêu thụ thực tế khoảng 250 tới 400W khi tải trung bình. Cách chính xác là dùng công cụ tính công suất của hãng theo đúng cấu hình CPU, RAM, ổ đĩa, rồi cộng thêm 20 phần trăm dự phòng tăng trưởng.

Với doanh nghiệp vừa, mật độ phổ biến là 3 tới 6 kW một tủ cho máy chủ thông thường. Khi có GPU NVIDIA cho AI hoặc render, con số này nhảy lên 10 tới 30 kW một tủ và bài toán làm mát thay đổi hoàn toàn, không thể dùng cách bố trí cũ. Ranh giới thực tế mà chúng tôi hay dùng là 8 kW một tủ, vượt qua mức đó thì phải tính tới containment kín hoặc làm mát cận tủ.

Sau khi có kW mỗi tủ, nhân với số tủ để ra tải IT tổng. Đây là con số gốc để chọn UPS, chọn máy lạnh, chọn máy phát và tính tiết diện dây. Ghi con số này ra giấy và giữ lại, vì mọi tranh luận sau đó với nhà thầu đều xoay quanh nó. Nên cộng thêm biên dự phòng từ ba mươi tới năm mươi phần trăm cho ba tới năm năm tới, vì mật độ công suất mỗi U vẫn tăng theo từng thế hệ máy chủ. Một tủ hôm nay chạy 5 kW hoàn toàn có thể chạm 12 kW sau một đợt refresh, và nâng cấp hệ điện lạnh giữa chừng luôn tốn kém hơn nhiều so với thiết kế dư ngay từ đầu.

• Dùng công cụ tính công suất của hãng theo cấu hình thật, không lấy công suất nhãn nguồn
• Máy chủ 2U hai socket phổ thông: khoảng 250 tới 400W tải trung bình
• Tủ máy chủ thông thường: 3 tới 6 kW; tủ có GPU: 10 tới 30 kW
• Cộng 20 phần trăm dự phòng tăng trưởng cho 3 năm tới
• Vượt 8 kW một tủ thì phải tính containment hoặc làm mát cận tủ

Chọn UPS, PDU đo được và nguồn dự phòng máy phát

UPS cho phòng server phải là loại online double conversion, không dùng line interactive như UPS máy trạm. Online double conversion luôn chuyển đổi AC sang DC rồi ngược lại, nên đầu ra sạch và không có thời gian chuyển mạch khi mất điện. Với dòng APC Smart-UPS SRT hoặc Galaxy tuỳ quy mô, hãy chọn công suất sao cho tải thực tế nằm trong khoảng 50 tới 70 phần trăm định mức. Chạy dưới 40 phần trăm thì hiệu suất kém, chạy trên 80 phần trăm thì không còn chỗ mở rộng và pin xả nhanh hơn.

Thời gian dự phòng cần bao nhiêu phụ thuộc vào việc có máy phát hay không. Nếu có máy phát điện, UPS chỉ cần đủ để máy phát khởi động và nhận tải, thông thường 10 tới 15 phút là dư. Nếu không có máy phát, UPS phải đủ để hệ thống shutdown an toàn theo trình tự, thường 20 tới 30 phút cho một phòng server vừa, kèm phần mềm shutdown tự động cài trên hypervisor và các máy chủ vật lý.

Đừng bỏ qua tuổi thọ pin. Pin axit chì VRLA thường dùng được 3 tới 5 năm và suy giảm nhanh khi nhiệt độ phòng cao hơn 25 độ C. Cứ mỗi 8 tới 10 độ tăng thêm, tuổi thọ pin giảm khoảng một nửa. Pin lithium đắt hơn ban đầu nhưng dùng được 8 tới 10 năm và chịu nhiệt tốt hơn, tổng chi phí sở hữu thường thấp hơn nếu tính trên 10 năm. Lên lịch kiểm tra runtime thực tế mỗi 6 tháng bằng cách chạy self test có tải, đừng tin con số ước lượng trên màn hình.

Về phân phối và dự phòng nguồn, hãy dùng tối thiểu PDU metered đo được ở mức thanh, và chọn loại switched cho tủ đặt tại chi nhánh không có người trực để khởi động lại thiết bị treo từ xa. Số liệu từ PDU chính là nền tảng để tính PUE và phát hiện lệch pha, vì tải lệch quá 20 phần trăm sẽ làm nóng dây trung tính và giảm hiệu suất. Máy phát thì phải tính theo tải tổng gồm cả điều hoà chứ không riêng tải IT, thường gấp 1,5 tới 2 lần tải IT sau khi cộng dòng khởi động của máy nén, kèm ATS chuyển nguồn tự động và lịch chạy thử có tải mỗi tháng.

• Tối thiểu PDU metered ở mức thanh, ưu tiên switched cho tủ ở chi nhánh không có người trực
• Giữ chênh lệch tải giữa các pha dưới 20 phần trăm
• Máy phát tính theo tải IT cộng tải điều hoà cộng dòng khởi động, thường gấp 1,5 tới 2 lần tải IT
• Chạy thử máy phát có tải mỗi tháng, ghi biên bản
• Kiểm tra ATS chuyển nguồn tự động ít nhất mỗi quý

Làm mát chính xác so với điều hoà dân dụng

Sai lầm phổ biến nhất ở phòng server doanh nghiệp vừa là dùng điều hoà treo tường dân dụng. Điều hoà dân dụng thiết kế cho tải người ở, nghĩa là vừa làm lạnh vừa hút ẩm mạnh, và có chu kỳ bật tắt máy nén. Phòng server có tải nhiệt gần như không đổi 24 giờ và không có nguồn ẩm từ người, nên điều hoà dân dụng chạy sẽ kéo độ ẩm xuống quá thấp, tăng nguy cơ phóng tĩnh điện lên bo mạch. Ngoài ra chúng không được thiết kế để chạy liên tục nhiều năm và không có chế độ luân phiên dự phòng.

Điều hoà chính xác dành cho phòng máy có tỷ lệ nhiệt hiện cao, tức phần lớn công suất dùng để hạ nhiệt độ chứ không phải khử ẩm, kèm khả năng kiểm soát độ ẩm trong dải mong muốn và chạy liên tục. Về cấu hình dự phòng, nguyên tắc N cộng 1 nghĩa là nếu cần hai máy để tải hết nhiệt thì lắp ba máy, luân phiên chạy để đều tuổi thọ và vẫn đủ mát khi một máy bảo trì.

Nếu ngân sách chưa cho phép điều hoà chính xác ngay, giải pháp tạm chấp nhận được là dùng hai máy điều hoà thương mại loại inverter công suất lớn, chạy luân phiên theo lịch, kèm bộ điều khiển tự chuyển khi một máy lỗi và một máy hút ẩm riêng để giữ độ ẩm ổn định. Đây là phương án chuyển tiếp, cần có kế hoạch nâng cấp rõ ràng khi tải IT vượt 15 kW.

Hot aisle, cold aisle, blanking panel và nhiệt độ theo ASHRAE

Nguyên lý cơ bản của bố trí luồng khí là tách hoàn toàn khí lạnh đi vào và khí nóng đi ra. Các tủ được xếp thành hàng, mặt trước quay vào nhau tạo thành lối đi lạnh, mặt sau quay vào nhau tạo thành lối đi nóng. Khí lạnh từ điều hoà được đưa vào lối đi lạnh, thiết bị hút vào từ mặt trước và thổi khí nóng ra mặt sau, khí nóng theo lối đi nóng quay về dàn lạnh. Nếu hai luồng này trộn vào nhau, điều hoà phải làm việc nhiều hơn để đạt cùng kết quả, hiệu suất giảm rõ rệt.

Blanking panel là chi tiết nhỏ nhưng tác động lớn. Mỗi vị trí U trống trong tủ là một đường tắt cho khí nóng từ phía sau chạy vòng lên mặt trước và bị hút lại vào thiết bị. Lắp đầy blanking panel cho toàn bộ U trống thường giảm nhiệt độ đầu vào của thiết bị ở phía trên tủ vài độ C. Tương tự, bịt các khe hở dưới sàn nâng, quanh chỗ luồn cáp và hai bên hông tủ đều mang lại hiệu quả tức thì với chi phí gần như bằng không.

ASHRAE khuyến nghị nhiệt độ khí đầu vào thiết bị trong dải 18 tới 27 độ C cho lớp thiết bị phổ thông, độ ẩm tương đối duy trì trong khoảng 40 tới 60 phần trăm là an toàn cho phần lớn phòng server. Điểm cần nhấn mạnh: đo nhiệt độ ở mặt trước tủ, ngang tầm giữa và trên cùng, chứ không phải đo ở giữa phòng hay đọc con số trên điều khiển điều hoà. Rất nhiều phòng server có nhiệt độ phòng 22 độ nhưng đầu vào máy chủ ở đỉnh tủ lên tới 32 độ vì trộn luồng khí.

Về việc nâng nhiệt độ setpoint để tiết kiệm điện: đúng là mỗi độ tăng thêm giúp giảm chi phí làm mát, nhưng chỉ nên làm sau khi đã tách luồng khí tốt và có giám sát nhiệt độ đầu vào tại nhiều điểm. Nâng setpoint trong một phòng trộn luồng khí sẽ đẩy các thiết bị ở đỉnh tủ vượt ngưỡng an toàn.

• Xếp tủ theo hàng, mặt trước đối mặt trước tạo lối đi lạnh, mặt sau đối mặt sau tạo lối đi nóng
• Lắp blanking panel cho toàn bộ vị trí U trống, bịt khe hở hông tủ và chỗ luồn cáp
• Nhiệt độ khí đầu vào theo ASHRAE: 18 tới 27 độ C, độ ẩm 40 tới 60 phần trăm
• Đo nhiệt độ ở mặt trước tủ tại ba độ cao, không đo giữa phòng
• Chỉ nâng setpoint sau khi đã tách luồng khí và có cảm biến đủ dày

Chống ẩm, chống bụi và phòng cháy khí sạch

Khí hậu Việt Nam đặt ra hai vấn đề mà nhiều tài liệu nước ngoài không nhấn mạnh: độ ẩm cao và bụi. Độ ẩm vượt 60 phần trăm kéo dài gây ăn mòn chân tiếp xúc và đầu nối, đặc biệt ở khu vực ven biển. Ngược lại độ ẩm dưới 30 phần trăm làm tăng tĩnh điện. Một máy hút ẩm công nghiệp có điều khiển theo ngưỡng, kết hợp cảm biến độ ẩm đặt ở hai vị trí trong phòng, là khoản đầu tư nhỏ nhưng cần thiết ở Đà Nẵng, Hải Phòng hay các khu vực miền Trung.

Về bụi, phòng server phải là phòng kín có áp suất dương nhẹ so với bên ngoài để bụi không tràn vào khi mở cửa. Cửa kín, sàn không trải thảm, tường và trần dùng vật liệu không sinh bụi. Không dùng phòng server làm kho chứa thùng carton, đây là lỗi gặp ở rất nhiều doanh nghiệp và carton vừa sinh bụi vừa là vật liệu cháy. Lọc gió của điều hoà cần vệ sinh theo lịch, thường mỗi 1 tới 3 tháng tuỳ môi trường.

Hệ thống chữa cháy phải dùng khí sạch, không dùng nước hay bột. Các loại khí phổ biến hiện nay là FM-200 hoặc Novec 1230, dập cháy bằng cách hấp thụ nhiệt mà không để lại cặn và không dẫn điện, an toàn cho thiết bị điện tử. Đi kèm hệ thống chữa cháy phải có hệ báo cháy sớm dạng hút mẫu khí, phát hiện được khói ở nồng độ rất thấp trước khi có ngọn lửa. Đừng quên nút dừng khẩn cấp và quy trình sơ tán, vì khí chữa cháy xả ra ở nồng độ thiết kế cần con người rời khỏi phòng trước.

Giám sát môi trường và cảnh báo

Không đo thì không quản được. Bộ giám sát môi trường tối thiểu cần cảm biến nhiệt độ ở mặt trước và mặt sau mỗi hàng tủ, cảm biến độ ẩm, cảm biến rò nước đặt dưới dàn lạnh và dọc đường ống, cảm biến mở cửa và camera. Ngưỡng cảnh báo nên đặt ở hai mức: mức chú ý khi nhiệt độ đầu vào vượt 27 độ C và mức khẩn cấp khi vượt 32 độ C, gửi cảnh báo qua email và tin nhắn tới ít nhất hai người.

Ngoài môi trường, cần giám sát trạng thái UPS gồm tải hiện tại, tình trạng pin, số lần chuyển sang chạy pin; trạng thái PDU gồm dòng theo pha; và trạng thái phần cứng máy chủ qua iDRAC của Dell hoặc iLO của HPE. Gộp tất cả về một hệ thống giám sát tập trung như Zabbix hoặc PRTG để có một màn hình duy nhất, thay vì phải mở năm giao diện khác nhau khi có sự cố.

Điểm hay bị bỏ sót là kiểm tra chính hệ thống cảnh báo. Mỗi quý nên tạo một sự kiện giả để xác nhận cảnh báo thực sự đến được người trực, số điện thoại còn đúng, hộp thư chưa đầy. Nhiều sự cố kéo dài chỉ vì cảnh báo gửi tới email của một nhân viên đã nghỉ việc từ năm trước.

• Cảm biến nhiệt độ mặt trước và mặt sau từng hàng tủ, tối thiểu ba độ cao ở tủ đại diện
• Cảm biến rò nước dưới dàn lạnh và dọc đường ống thoát nước ngưng
• Ngưỡng chú ý 27 độ C, ngưỡng khẩn cấp 32 độ C tại đầu vào thiết bị
• Gộp UPS, PDU, iDRAC, iLO về một hệ thống giám sát tập trung
• Kiểm tra kênh cảnh báo mỗi quý bằng sự kiện giả

PUE: cách tính, mức hợp lý và cách cải thiện

PUE bằng tổng điện tiêu thụ của toàn bộ cơ sở chia cho điện tiêu thụ của riêng thiết bị IT. PUE bằng 1,0 là lý tưởng tuyệt đối, nghĩa là mọi kWh đều đi vào máy chủ. Thực tế phòng server doanh nghiệp tại Việt Nam thường nằm trong khoảng 1,5 tới 2,0, tức cứ mỗi kWh cho máy chủ thì tốn thêm 0,5 tới 1 kWh cho làm mát, tổn hao UPS và chiếu sáng. Trung tâm dữ liệu chuyên nghiệp đạt 1,3 tới 1,5, các cơ sở hyperscale ở khí hậu mát có thể xuống dưới 1,2 nhưng đó không phải mục tiêu thực tế cho phòng server văn phòng.

Để tính được PUE bạn cần hai đồng hồ: một ở đầu vào tổng của phòng và một tổng hợp từ các PDU cấp cho tủ. Nếu chưa có, hãy lắp trước khi bàn tới việc tối ưu, vì không có số liệu gốc thì không chứng minh được cải thiện. Đo theo tháng để loại bỏ dao động ngày đêm và mùa.

Các biện pháp giảm PUE theo thứ tự chi phí từ thấp tới cao: lắp đầy blanking panel và bịt khe hở, sắp xếp lại tủ theo hot aisle cold aisle, dọn cáp dưới sàn nâng để không cản luồng khí, nâng setpoint sau khi đã tách luồng khí, lắp tấm chắn containment cho lối đi lạnh, thay UPS cũ hiệu suất thấp bằng UPS hiệu suất cao có chế độ eco, và cuối cùng là đầu tư điều hoà chính xác có quạt EC điều tốc. Ba biện pháp đầu gần như miễn phí và thường đủ để hạ PUE từ 2,0 xuống khoảng 1,7.

Sai lầm hay gặp và checklist khảo sát

Danh sách sai lầm chúng tôi gặp nhiều nhất khi khảo sát: phòng server đặt cạnh nhà vệ sinh hoặc dưới đường ống nước tầng trên; không có lối đi phía sau tủ nên phải kéo tủ ra mới thao tác được; dùng ổ cắm dân dụng thay PDU; cáp mạng và cáp điện đi chung máng; không có blanking panel; điều hoà thổi thẳng vào mặt sau tủ; và phòng dùng chung làm kho vật tư. Mỗi lỗi này đều có thể sửa, nhưng chi phí sửa sau khi đã lắp đặt luôn cao hơn nhiều so với làm đúng từ đầu.

Một sai lầm về quy hoạch quan trọng hơn: thiết kế vừa khít với nhu cầu hiện tại. Phòng server nên tính dư ít nhất 30 phần trăm về diện tích, công suất điện và công suất làm mát cho ba năm tới. Nâng cấp UPS hay đi lại đường điện trong một phòng đang chạy sản xuất là việc phải làm ngoài giờ, rủi ro cao và tốn kém.

Không phải phòng server nào cũng cần cải tạo toàn bộ trong một lần. Nhiều trường hợp chỉ cần sắp lại hướng tủ, lắp blanking panel và nâng cấp hệ giám sát là đã xử lý được phần lớn vấn đề nhiệt với chi phí dưới một trăm triệu đồng. Checklist khảo sát tối thiểu trước khi thiết kế gồm các mục dưới đây. HQG có đội khảo sát tại TP.HCM, Đà Nẵng và Hà Nội, có thể đo tải thực tế, chụp ảnh nhiệt và đưa ra phương án cải tạo theo từng giai đoạn ngân sách. Hotline 1900 636 106.

• Vị trí phòng: không dưới khu vệ sinh, không cạnh đường ống nước, không sát tường ngoài hướng nắng
• Tải điện hiện tại theo pha, công suất aptomat tổng, tiết diện dây, có hay không máy phát và ATS
• Số tủ, số U trống, kW mỗi tủ, dự kiến tăng trưởng 3 năm
• Bố trí luồng khí hiện tại, đo nhiệt độ đầu vào tại đỉnh tủ trong giờ cao điểm
• Tình trạng UPS: tuổi pin, runtime thực đo, tỷ lệ tải trên định mức
• Hệ thống báo cháy chữa cháy, giám sát môi trường, kiểm soát ra vào