MinIO Case Study về Hiện đại hóa HDFS – The Bank of the North

Bank of the North

Giống như các tổ chức tài chính lớn khác, họ có nghĩa vụ pháp lý để tạo và lưu trữ hồ sơ điện tử từ mọi tương tác với khách hàng. Phân tích dữ liệu lớn giúp các tổ chức này không chỉ lưu trữ dữ liệu cho mục đích pháp lý mà còn tận dụng thông tin này để tạo ra những hiểu biết kinh doanh và tăng thêm giá trị. Công nghệ học máy và trí tuệ nhân tạo (ML/AI) đang thúc đẩy các công việc phân tích dữ liệu hiện đại, không chỉ thực hiện phân tích dữ liệu lịch sử mà còn tiến hành phân tích thời gian thực để đưa ra quyết định ngay lập tức. Các ứng dụng của phân tích thời gian thực bao gồm phát hiện gian lận, giám sát giao dịch, phân khúc khách hàng, tiếp thị cá nhân hóa và quản lý rủi ro. Ngân hàng này đã chuyển kho dữ liệu doanh nghiệp cũ kỹ của mình (Cloudera/Hadoop) sang MinIO khi bắt đầu gặp phải các vấn đề về hiệu suất và ổn định – khi dữ liệu tăng lên trong môi trường Hadoop, các ứng dụng gặp vấn đề về hiệu suất và thời gian ngừng hoạt động. Họ muốn một mô hình đám mây mà không tốn kém và không mất kiểm soát như đám mây công cộng. Các thách thức liên quan đến sự phát triển dữ liệu cùng với nhu cầu hiện đại hóa cơ sở hạ tầng đã dẫn đến việc chuyển đổi sang kiến trúc hiện đại, dựa trên Kubernetes. Ngân hàng muốn triển khai nhanh chóng và hiệu quả. Đó là lý do họ chọn MinIO.

Hạ tầng lưu trữ của họ hỗ trợ nhiều đơn vị kinh doanh, bao gồm:

Canadian Banking Analytics
International Banking Analytics
Data Enablement & Architecture

Họ triển khai hai hệ thống MinIO ở các trung tâm dữ liệu riêng biệt. Dữ liệu giữa hai hệ tống này được sao chép thông qua cơ chế sao chép active- active, cho phép MinIO luôn hoạt động ổn định. Do tính chất quan trọng của dữ liệu tài chính, một yêu cầu bắt buộc là hệ thống lưu trữ đối tượng MinIO phải hỗ trợ khả năng mở rộng vô hạn và khả năng chịu thảm họa ở cấp độ Site Failures. Để đạt được điều này, nhóm MinIO đã giúp triển khai chiến lược sao chép active – active tại hai địa điểm. Ngân hàng có thể mở rộng hệ thống tại mỗi địa điểm theo nhu cầu bằng cách đơn giản thêm các máy chủ mới vào. Với cơ chế sao chép active – active ở cấp độ site, hệ thống MinIO của ngân hàng không chỉ có thể chịu đựng sự cố của nhiều disk, server và thậm chí là rack trong một site, mà toàn bộ site có thể gặp sự cố mà không gây thời gian chết hoặc mất dữ liệu.

Một trong những trường hợp sử dụng chính cho on-prem object storage là Enterprise File Handling, nơi hiện có hơn một trăm dự án đã được di chuyển để tận dụng MinIO object store. Ngân hàng sử dụng MinIO để đào tạo và phục vụ mô hình học máy.

Khả năng mở rộng và Tính khả dụng của cụm MinIO

Đồng bộ hóa dữ liệu giữa nhiều trung tâm dữ liệu là khả năng chính của bất kỳ object storage nào cung cấp khả năng chịu đựng thảm họa ở cấp độ site. Sao chép active – active cung cấp khả năng chuyển đổi dự phòng hot – hot nhanh chóng và khả năng phục hồi muti-geographic. Multi-site replication được xây dựng trên khuôn khổ active – active hai chiều và giữ nguyên chức năng chính, chẳng hạn như sao chép delete operations, delete markers, existing objects và replica metadata changes.

Kết quả

Lợi ích của việc nâng cấp lên hạ tầng hiện đại dựa trên Kubernetes đã trở nên rõ ràng ngay lập tức. Kể từ khi triển khai MinIO, ngân hàng đã cắt giảm storage footprint hơn 50% trong khi đồng thời tăng gấp đôi storage capacity. Bằng cách này, ngân hàng đã giảm chi phí gần 60% và cải thiện hiệu suất của các nhiệm vụ học máy quan trọng lên 30%.

MinIO cũng đặt nền móng cho thành công cloud – native của ngân hàng trong tương lai. Platform engineer cho biết rằng “Những nhu cầu dữ liệu liên tục phát triển đòi hỏi khả năng mở rộng và lưu trữ tại chỗ mạnh mẽ, và MinIO đã đáp ứng các nhu cầu này. Hơn nữa, độ trễ đã được giảm giữa các trung tâm dữ liệu; điều này có thể mở rộng khi cần thiết đồng thời cung cấp metadata để cải thiện sự hiểu biết về dữ liệu. Điều này cũng cung cấp cho chúng tôi môi trường lưu trữ rất giống với các nền tảng đám mây mà chúng tôi đang muốn chuyển đến trong tương lai gần”. Một trong những cloud engineer cũng nhận xét tương tự rằng “MinIO đã giúp hiện đại hóa khối lượng công việc phân tích dữ liệu của chúng tôi, làm cho chúng có khả năng mở rộng cao và đã tăng cường việc áp dụng các công nghệ đám mây trong tổ chức của chúng tôi”.