Có một sự lệch pha ngay tại trung tâm của hầu hết các hạ tầng AI và phân tích dữ liệu hiện nay. Dù là huấn luyện mô hình tăng tốc bằng GPU hay các truy vấn Spark và Presto ở quy mô petabyte, các workload hiện đại đã thúc đẩy mạnh mẽ sự phát triển của compute, networking và orchestration. Tuy nhiên, lưu trữ dữ liệu vẫn thường bị neo vào những kiến trúc được thiết kế từ hàng chục năm trước cho các loại workload hoàn toàn khác.

Kết quả là: một hạ tầng hiện đại, tiên tiến lại bị nghẽn cổ chai bởi các hệ thống lưu trữ không thể theo kịp mức độ song song, quy mô metadata và thông lượng mà các workload ngày nay yêu cầu.

Để hiểu rõ những đánh đổi này, hãy bắt đầu từ chính dữ liệu. Các tập dữ liệu huấn luyện AI, checkpoint mô hình, file Parquet, bảng Iceberg, embedding, log… tất cả đều có đặc điểm chung: bất biến, ghi một lần – đọc nhiều lần, và được truy cập đồng thời bởi hàng trăm hoặc hàng nghìn tiến trình ở quy mô lớn. Chúng không cần chỉnh sửa tại chỗ hay cấu trúc thư mục phân cấp. Thay vào đó, chúng cần các thao tác nguyên tử, metadata nhất quán và khả năng xử lý song song không khóa trên hàng tỷ đối tượng.

Object storage được sinh ra chính xác cho mô hình truy cập này. File system thì không.

Khi kiến trúc file system bắt đầu sụp đổ

Vậy điều gì xảy ra khi các tổ chức vẫn chạy những workload này trên kiến trúc dựa trên file system? Các triệu chứng rất quen thuộc. Các job huấn luyện vốn chạy ổn định bắt đầu bị treo. Truy vấn Spark bị timeout. Các thao tác LIST chậm từ mức mili giây lên đến vài giây. Kỹ sư lần theo sự cố từ ứng dụng, mạng, lớp điều phối – mọi thứ đều bình thường. Nút thắt nằm ở storage, nhưng không phải ở dung lượng hay băng thông. Vấn đề nằm sâu hơn.

Thực chất, mỗi yêu cầu tới file system đều kích hoạt một chuỗi thao tác phức tạp: phân giải đường dẫn qua các thư mục, tra cứu inode, điều phối khóa, cập nhật metadata. Một thao tác LIST không quét một chỉ mục phẳng, mà phải duyệt qua cấu trúc phân cấp, chạm vào metadata ở mọi cấp. Ở quy mô lớn, những thao tác này cộng dồn chi phí. Các cơ chế khóa buộc những tác vụ lẽ ra có thể chạy song song phải tuần tự hóa. Việc duyệt thư mục làm tăng độ trễ cho mọi lời gọi metadata. Nút thắt không nằm ở một thành phần cụ thể, mà nằm ở chính kiến trúc.

Lời hứa của đa giao thức không mang lại kết quả như mong đợi

Lời chào mời nghe rất hấp dẫn: một nền tảng duy nhất hỗ trợ object, file, thậm chí cả block. S3 cho workload AI hiện đại, NFS cho ứng dụng legacy. Một nhà cung cấp, một mặt phẳng quản lý, vận hành đơn giản hơn. Các hãng như NetApp, Pure Storage và Dell Technologies quảng bá đây là “tốt nhất của cả hai thế giới”.

Nhưng thực tế thì ngược lại. Bạn thừa hưởng hạn chế của cả hai, còn sự đơn giản trong vận hành chỉ là ảo tưởng. Các doanh nghiệp hiện đại đạt được quản lý thống nhất không phải bằng cách gộp nhiều giao thức vào một nền tảng bị thỏa hiệp, mà bằng cách vận hành các dịch vụ lưu trữ được thiết kế chuyên biệt trong mô hình cloud-native trên Kubernetes. Đây cũng chính là cách các hyperscaler vận hành.

Các lớp chuyển đổi giao thức làm tăng độ trễ. Gateway làm gia tăng độ phức tạp. Và việc xử lý sự cố trở nên khó khăn hơn rất nhiều khi bạn phải debug qua hai mô hình kiến trúc bị “gắn tạm” với nhau.

Cụ thể, các yêu cầu S3 sẽ đi vào một gateway hoặc lớp chuyển đổi, nơi chúng bị biến thành các thao tác file system trước khi được thực thi trên backend dựa trên file. Namespace phẳng bị ép thành cây thư mục. Các thao tác LIST chậm từ mili giây lên vài giây. Pipeline có mức song song cao bắt đầu tranh chấp tài nguyên. Job huấn luyện bị đình trệ. Giao diện S3 vẫn chấp nhận yêu cầu, nhưng kiến trúc bên dưới chưa bao giờ được thiết kế cho mô hình truy cập này. Khi hệ thống gặp sự cố, nguyên nhân bị che giấu trong lớp chuyển đổi – vô hình với ứng dụng và rất khó chẩn đoán.

Kiến trúc object-native mang lại điều gì?

Object-native có nghĩa là không có lớp chuyển đổi. Không có gateway biến yêu cầu S3 thành thao tác file system. Không có engine POSIX bên dưới. Mọi thao tác đều được thực thi như object storage thực thụ: PUT và GET nguyên tử trên dữ liệu bất biến trong một namespace phẳng. Metadata được lưu cùng từng object, thay vì tập trung vào một dịch vụ metadata dễ trở thành nút nghẽn. Không cần điều phối khóa, vì object bất biến không đòi hỏi điều đó.

Kiến trúc này thực thi đúng những gì mà ngữ nghĩa S3 yêu cầu, không cần thích nghi hay thỏa hiệp.

Đây chính là điều mà AIStor cung cấp. AIStor là một nền tảng dữ liệu object-native, được thiết kế chuyên biệt cho AI và phân tích dữ liệu ở quy mô lớn. Mỗi object là một thực thể độc lập, nên khả năng mở rộng là tuyến tính: thêm node là có thêm hiệu năng. Hàng nghìn tiến trình đọc và ghi đồng thời có thể hoạt động mà không gây nhiễu lẫn nhau. Các hệ thống triển khai của khách hàng vượt mốc exabyte vẫn duy trì độ trễ dưới mili giây, đồng thời xử lý hàng trăm nghìn thao tác mỗi giây trên mỗi node. Không có lớp chuyển đổi. Không có nút nghẽn ẩn. Khi có sự cố, bạn có thể xác định nguyên nhân rõ ràng.

Ý nghĩa đối với AI và phân tích dữ liệu

Với AI, điều này đồng nghĩa GPU luôn được khai thác tối đa. Nghiên cứu cho thấy pipeline dữ liệu tối ưu kém có thể làm mức sử dụng GPU giảm xuống chỉ còn 40-60%, trong khi các tổ chức tối ưu tốt việc nạp dữ liệu đạt trên 90% và rút ngắn thời gian phát triển mô hình từ 2-3 lần. AIStor đảm bảo GPU luôn được “nuôi dữ liệu”, giúp khoản đầu tư của bạn dùng để huấn luyện mô hình thay vì chờ storage.

Với phân tích dữ liệu, các commit của Apache Iceberg được hoàn tất một cách nguyên tử, không bị trễ do tuần tự hóa hay tranh chấp khóa. Truy vấn không phải chờ quá trình ingest. Ghi không chặn đọc. Kiến trúc phù hợp với đúng đặc tính của workload.

Kiến trúc là yếu tố quyết định – và đó là lý do các tổ chức chọn AIStor

Đối với các tổ chức xây dựng hạ tầng AI và phân tích hiện đại, AIStor đáp ứng đúng những gì workload yêu cầu: hiệu năng ổn định dưới mức song song cao, khả năng mở rộng dự đoán được, và một kiến trúc không đi ngược lại mô hình truy cập dữ liệu. AIStor được phát triển bởi MinIO – nền tảng object storage được triển khai rộng rãi nhất trên thế giới. Lưu trữ dữ liệu object của MinIO, dù là mã nguồn mở hay phiên bản thương mại AIStor, đang vận hành trong môi trường sản xuất tại hàng nghìn tổ chức, từ startup đến Fortune 500, được hậu thuẫn bởi cộng đồng và hệ sinh thái mã nguồn mở toàn cầu.

Khi hiệu năng lưu trữ ảnh hưởng trực tiếp đến thời gian huấn luyện, thông lượng truy vấn và kết quả kinh doanh, kiến trúc không còn là lựa chọn phụ. AIStor được xây dựng chính xác cho mục tiêu đó.

Unitas cam kết đồng hành cùng doanh nghiệp, cung cấp các giải pháp và phân tích an ninh mạng tiên tiến nhất. Để nhận được tư vấn chuyên sâu hoặc hỗ trợ nhanh chóng, vui lòng liên hệ với chúng tôi qua email: info@unitas.vn hoặc Hotline: (+84) 939 586 168.