Tóm tắt điều hành (Executive Summary)
Bộ phận Tư vấn Rủi ro (Risk Advisory) của Nomura đã thực hiện chuyển đổi hạ tầng dữ liệu bằng cách hiện đại hóa từ môi trường Hadoop cũ sang mô hình data lakehouse lai (hybrid), dựa trên kiến trúc lưu trữ đối tượng gốc (object-native) với MinIO AIStor. Sự chuyển đổi này mang lại những cải thiện rõ rệt về hiệu năng, tính ổn định và khả năng mở rộng, đồng thời giúp giảm chi phí vận hành và rủi ro hệ thống, tăng mức độ sẵn sàng của dữ liệu và tạo nền tảng cho các khối lượng công việc AI và phân tích dữ liệu trong tương lai.
Các lợi ích chính bao gồm:
- Hiệu năng: Kết quả benchmark cho thấy thông lượng tăng 13,9% so với Hadoop
- Tuân thủ SLA: Hiệu năng cải thiện giúp rút ngắn 4 giờ thời gian xử lý, giảm đáng kể nguy cơ vi phạm SLA
- Hiệu quả lưu trữ: Dung lượng lưu trữ khả dụng tăng từ khoảng một phần ba lên ba phần tư tổng dung lượng đĩa HDD thô, tương đương mức cải thiện hơn 2 lần
- Năng suất phát triển: Kiến trúc S3 thống nhất giúp loại bỏ nhu cầu chia tách mã nguồn để hỗ trợ nhiều API khác nhau
- Thời gian tạo giá trị: AIStor được triển khai trong vòng 2 tuần, so với 4 tháng khi sử dụng HDFS
Môi trường triển khai (The Environment)
Nomura là một ngân hàng đầu tư toàn cầu, trong đó bộ phận Risk IT đóng vai trò tạo ra các chỉ số rủi ro thị trường và rủi ro tín dụng hàng ngày cho hoạt động giao dịch. Hệ thống này xử lý khoảng 1,8 tỷ dòng dữ liệu mỗi ngày và ghi dữ liệu vào một bảng gồm 700 cột trong hạ tầng Hadoop hiện có. Khi quy mô và độ phức tạp dữ liệu gia tăng, hệ thống cũ dần gặp khó khăn trong việc đáp ứng các SLA nghiêm ngặt liên quan đến yêu cầu báo cáo tuân thủ quy định.
Thách thức (Challenges)
Mặc dù Dremio đáp ứng tốt nhu cầu phân tích dữ liệu của Nomura, lớp lưu trữ dựa trên Hadoop lại gây ra nhiều thách thức về mặt vận hành và kinh doanh. Các sự cố gián đoạn và tình trạng thiếu ổn định làm gia tăng nguy cơ vi phạm SLA và rủi ro tuân thủ quy định. Đội ngũ kỹ sư thiếu khả năng quan sát chi tiết hiệu năng truy vấn, khiến việc chẩn đoán sự cố và đổi mới bị chậm lại. Hệ thống HDFS gắn chặt lưu trữ với tính toán, buộc doanh nghiệp phải mở rộng cả hai cùng lúc, dẫn đến lãng phí tài nguyên và chi phí cao hơn. Ngoài ra, các khoảng thời gian ngừng hệ thống theo lịch để nâng cấp cũng gây gián đoạn hoạt động phân tích dữ liệu. Nomura cần một kiến trúc hiện đại, ổn định và hiệu quả, có khả năng mở rộng linh hoạt và không gây gián đoạn.
Tầm nhìn (The Vision)
Nomura hướng tới xây dựng một nền tảng dữ liệu tự phục vụ, kết hợp khả năng kiểm soát tại chỗ (on-premises) với sự linh hoạt của kiến trúc cloud-native. Mục tiêu là tách rời lớp tính toán và lớp lưu trữ, cho phép mở rộng linh hoạt, tiết kiệm chi phí và đơn giản hóa quản trị. Thông qua việc hiện đại hóa hạ tầng, Nomura kỳ vọng cung cấp các phân tích rủi ro nhanh hơn và đặt nền móng cho các phân tích dựa trên AI trong tương lai.
Theo ông Conor Brennan, Trưởng nhóm Risk IT tại Nomura:
“Độ đơn giản của AIStor tạo ra sự khác biệt ở một cấp độ hoàn toàn khác.”
Giải pháp: MinIO AIStor (The Solution)
Nomura lựa chọn MinIO AIStor để hiện đại hóa lớp dữ liệu, thay thế HDFS của Hadoop bằng hệ thống lưu trữ đối tượng hiệu năng cao, tương thích S3, trong khi vẫn tiếp tục sử dụng Dremio cho các truy vấn tương tác hiệu năng cao và phân tích nghiệp vụ. Việc tận dụng S3 cũng cho phép Nomura linh hoạt tích hợp thêm các công cụ phân tích hoặc tính toán khác khi cần, đồng thời tránh được gánh nặng vận hành do phải chỉnh sửa mã nguồn cho nhiều API khác nhau.
Phối hợp chặt chẽ với đội ngũ kỹ sư MinIO, Nomura đã nhanh chóng triển khai kiến trúc đồng vị trí (co-located), trong đó Dremio và AIStor chạy trên cùng một cụm phần cứng được quản lý bằng Kubernetes. Hệ thống quản lý 4,5 PB dữ liệu trên 22 node, cho phép doanh nghiệp tái sử dụng hạ tầng phần cứng hiện có và trì hoãn một khoản đầu tư vốn lớn (CapEx) tiềm năng.
Kết quả và tác động (Results & Outcomes)
Với MinIO AIStor, Nomura đạt được mức cải thiện hiệu năng 13,9% so với môi trường Hadoop trước đây và tăng gấp đôi hiệu quả sử dụng dung lượng lưu trữ. Hệ thống mới loại bỏ tình trạng thiếu ổn định và cải thiện đáng kể khả năng tuân thủ SLA cho các phân tích rủi ro mang tính then chốt. Ngoài ra, các nhóm kỹ thuật có thể chạy khối lượng công việc gần với môi trường sản xuất trong môi trường thử nghiệm, giúp kiểm thử hồi quy chính xác hơn và tăng tốc độ lặp phát triển. Thời gian triển khai nhanh và tính đơn giản tổng thể của AIStor cho phép Nomura nhanh chóng chứng minh hiệu quả và giảm thiểu thời gian gián đoạn trong tương lai.
Theo ông Conor Brennan:
“AIStor đã giúp chúng tôi biến một hệ thống đơn khối, mong manh trước đây thành một kiến trúc Data Lakehouse hiện đại, sẵn sàng hỗ trợ mô hình hybrid cloud thực sự.”
Lợi ích ngoài dự kiến (Unexpected Wins)
Nhờ áp dụng lớp lưu trữ định nghĩa bằng phần mềm, Nomura đã tránh được chi phí hàng triệu đô la cho việc nâng cấp hạ tầng mạng lõi – vốn là yêu cầu bắt buộc đối với nhiều giải pháp khác. Khả năng đồng vị trí hóa lưu trữ và tính toán trên các máy chủ được tái sử dụng cũng giúp doanh nghiệp trì hoãn đầu tư vào hơn 20 máy chủ mới, trong khi vẫn giải quyết triệt để các thách thức hiện tại và chuẩn bị sẵn sàng cho các khối lượng công việc hybrid cloud và AI trong tương lai.
Unitas cam kết đồng hành cùng doanh nghiệp, cung cấp các giải pháp và phân tích an ninh mạng tiên tiến nhất. Để nhận được tư vấn chuyên sâu hoặc hỗ trợ nhanh chóng, vui lòng liên hệ với chúng tôi qua email: info@unitas.vn hoặc Hotline: (+84) 939 586 168.
