MinIO chính thức công bố phát hành toàn cầu MinIO AIStor Tables. Bằng cách hợp nhất Tables và Objects trong một hệ thống lưu trữ dữ liệu hiệu suất cao và gốc Iceberg, AIStor giúp loại bỏ sự phân mảnh giữa dữ liệu có cấu trúc và dữ liệu phi cấu trúc, từ đó hỗ trợ hiệu quả các khối lượng công việc phân tích dữ liệu, trí tuệ nhân tạo và hệ thống AI agent ở quy mô doanh nghiệp. Giải pháp này giúp tăng tính linh hoạt, cho phép các đội ngũ dữ liệu truy cập dữ liệu an toàn và nhanh hơn. Với AIStor Tables, MinIO khẳng định vị thế tiên phong trong Open Table Format khi trở thành nền tảng đầu tiên tích hợp đầy đủ Apache Iceberg V3 Catalog REST API trực tiếp vào hệ thống lưu trữ.
AIStor Tables định hình nền tảng lưu trữ dữ liệu cho phân tích và AI
AIStor Tables đưa MinIO AIStor trở thành hệ thống lưu trữ hiệu suất cao được thiết kế chuyên biệt để vận hành các khối lượng công việc phân tích và AI trên nhiều môi trường như on-premises, private cloud, sovereign cloud và hybrid cloud.
Các tính năng nổi bật bao gồm:
Apache Iceberg V3 REST Catalog API đầy đủ
AIStor Tables tích hợp trực tiếp Iceberg V3 REST Catalog API vào hệ thống lưu trữ như một thành phần cốt lõi. Điều này giúp đơn giản hóa tích hợp, tăng cường bảo mật và rút ngắn thời gian truy cập dữ liệu cho các đội phân tích mà không cần triển khai dịch vụ catalog bên ngoài.
Iceberg Views
Đây là định dạng metadata tiêu chuẩn cho các logical view trên nhiều công cụ truy vấn như Spark, Trino và Hive. Iceberg Views cho phép tạo view trên một công cụ và sử dụng lại trên công cụ khác mà không cần sao chép dữ liệu.
Giao dịch đa bảng và kiểm soát phiên bản
AIStor Tables đảm bảo tính chính xác dữ liệu thông qua giao dịch đa bảng ở mức atomic. Lịch sử phiên bản giúp hỗ trợ rollback, xử lý dữ liệu chuỗi thời gian và nhiều quy trình phân tích, vận hành trực tiếp tại tầng lưu trữ.
Hành trình từ bản thử nghiệm đến phát hành chính thức với Iceberg V3
Sau khi ra mắt phiên bản thử nghiệm AIStor Tables, MinIO đã hợp tác với nhiều khách hàng tiên phong và chuyên gia trong ngành, trong đó có Nomura – tập đoàn ngân hàng đầu tư và môi giới lớn nhất Nhật Bản – để kiểm chứng các yêu cầu vận hành thực tế.
Theo đại diện Nomura, việc chạy các khối lượng công việc phân tích và AI trực tiếp trên cùng một nguồn dữ liệu giúp đơn giản hóa đáng kể quá trình xây dựng và vận hành pipeline dữ liệu. Điều này giúp doanh nghiệp tăng tốc phát triển, giảm độ phức tạp vận hành và xem toàn bộ dữ liệu như nguồn đầu vào quan trọng cho AI.
Khả năng tương thích với Amazon S3 Tables ở giai đoạn đầu cung cấp nền tảng ban đầu, nhưng MinIO đã mở rộng mạnh mẽ hơn khi trở thành nền tảng đầu tiên hỗ trợ đầy đủ Apache Iceberg V3, bao gồm Iceberg Views, được tích hợp trực tiếp vào object storage trên cả môi trường cloud và on-premises.
Những cải tiến quan trọng của Iceberg V3 trong AIStor Tables
Deletion Vectors giúp tăng tốc độ đọc dữ liệu
Iceberg V3 thay thế các file xóa truyền thống bằng deletion vectors – bitmap nhị phân nhỏ gọn đánh dấu các dòng dữ liệu bị xóa trong file dữ liệu. Công nghệ này sử dụng Roaring Bitmaps được mã hóa trong file Puffin, giúp tối ưu nén dữ liệu và cải thiện đáng kể hiệu suất truy vấn.
Truy vết dòng dữ liệu hỗ trợ xử lý gia tăng
Iceberg V3 bổ sung metadata ở cấp độ dòng bao gồm row ID và sequence number chỉnh sửa gần nhất. Nhờ đó, hệ thống có thể xác định chính xác dòng dữ liệu thay đổi giữa các snapshot, giúp pipeline xử lý nhanh hơn và giảm chi phí tính toán.
Kiểu dữ liệu Variant hỗ trợ phân tích dữ liệu bán cấu trúc nhanh hơn
Variant cho phép lưu trữ dữ liệu bán cấu trúc trực tiếp trong cột bằng mã hóa nhị phân hiệu quả. Kiểu dữ liệu này hỗ trợ schema linh hoạt, cấu trúc lồng nhau và tối ưu truy vấn tốt hơn so với JSON, từ đó giúp tăng tốc phân tích dữ liệu thay đổi liên tục mà không ảnh hưởng hiệu suất.
Kiểu dữ liệu Geometry và Geography tối ưu truy vấn không gian địa lý
Iceberg V3 bổ sung các kiểu dữ liệu địa lý gốc giúp hệ thống lọc dữ liệu ngay tại tầng lưu trữ. Điều này giúp giảm thời gian truy vấn và tối ưu tài nguyên khi xử lý dữ liệu vị trí, logistics hoặc phân tích bản đồ.
Hợp nhất dữ liệu có cấu trúc và phi cấu trúc cho AI
Các hệ thống AI thường yêu cầu sử dụng dữ liệu bảng có cấu trúc để lưu trữ đặc trưng và chỉ số, đồng thời cần dữ liệu phi cấu trúc như hình ảnh, âm thanh, video và tài liệu. Trước đây, hai loại dữ liệu này thường được quản lý trên các hệ thống riêng biệt.
AIStor Tables sử dụng Iceberg V3 để cho phép bảng dữ liệu tham chiếu trực tiếp đến đối tượng dữ liệu phi cấu trúc thông qua đường dẫn. Điều này tạo ra một lớp khám phá dữ liệu thống nhất, giúp đơn giản hóa truy vấn, tăng hiệu suất và giảm độ phức tạp vận hành. Đồng thời, hệ thống cũng cải thiện bảo mật thông qua áp dụng chính sách nhất quán, cung cấp nhật ký kiểm toán rõ ràng và đơn giản hóa quản trị.
AIStor Tables chỉ là bước khởi đầu
Các khối lượng công việc phân tích dữ liệu và AI ở cấp doanh nghiệp yêu cầu khả năng xử lý đồng thời lớn, độ trễ ổn định và hỗ trợ nhiều loại workload cùng lúc. Kiến trúc lưu trữ truyền thống thường gây phức tạp và hạn chế hiệu suất sử dụng dữ liệu.
Mục tiêu của MinIO là đơn giản hóa nền tảng lưu trữ dữ liệu, giúp doanh nghiệp tăng tính linh hoạt và giảm chi phí vận hành. Với AIStor Tables và Apache Iceberg V3, khoảng cách từ dữ liệu đến insight đang được rút ngắn đáng kể.
Trong tương lai, MinIO tập trung giải quyết bài toán dữ liệu phân tán giữa on-premises và cloud công cộng. Việc sao chép, đồng bộ hoặc di chuyển dữ liệu giữa các nền tảng phân tích như Databricks thường tốn nhiều thời gian và chi phí. MinIO đang phát triển các giải pháp như tích hợp Delta Sharing trực tiếp vào object storage nhằm đơn giản hóa vận hành và tăng tốc triển khai phân tích và AI.
Unitas cam kết đồng hành cùng doanh nghiệp, cung cấp các giải pháp và phân tích an ninh mạng tiên tiến nhất. Để nhận được tư vấn chuyên sâu hoặc hỗ trợ nhanh chóng, vui lòng liên hệ với chúng tôi qua email: info@unitas.vn hoặc Hotline: (+84) 939 586 168.
