Vượt rào rào cản lai

Trong nhiều tổ chức, dữ liệu hiện đang rải rác giữa công cộng và nội bộ tầng hạ tầng (on-prem), gây ra các công thức về đồng bộ, quản trị và truy cập hệ thống nhất. Với Lakehouse Platform từ Databricks, bài toán đặt ra phải được làm sao để dữ liệu dù ở đâu cũng có thể được khám phá , quản trị và sử dụng dễ dàng – mà không cần sao chép hoặc chuyển đổi.

Đó là lý do Delta Sharing kết hợp với MinIO AIStor trở lại nên chốt: chúng mở rộng khả năng của Unity Catalog , tạo ra toàn bộ dữ liệu doanh nghiệp – dù trên cloud hay on-prem – đều được truy cập trực tiếp, đồng nhất và tối ưu.

Cấu hình hybrid đầy đủ

• Người sử dụng đám mây yêu thích sự phù hợp mượt mà với notebook và các dịch vụ SaaS của Databricks nhưng lại bỏ đi dữ liệu tại chỗ.
• Trong khi đó, môi trường ưu tiên kiểm soát chi phí, tránh phí API, duy trì tự động lưu trữ nhưng thiếu khả năng tương tác với đám mây.
• Giải pháp gương (dữ liệu đối chiếu) giữa hai môi trường dẫn đến hoạt động phức tạp và tài nguyên tốn kém.
  

Delta Sharing + AIStor giải quyết triệt để bằng cách cho phép xuất trực tiếp các bảng Delta Lake không cần sao chép dữ liệu hoặc cư trú lại .

Unity Catalog – Một điểm quản trị dữ liệu duy nhất

Unity Catalog là lớp quản trị trung tâm của Databricks, giúp dữ liệu bất kể ở đâu đều có thể được khám phá, bảo mật và quản lý từ một điểm quản trị. KHÔNG:

• Triển khai lớp siêu dữ liệu duy nhất cho dữ liệu có cấu trúc & cấu hình phi, khối lượng công việc theo thời gian thực & hàng loạt, trên môi trường đám mây và tại chỗ.
• Kết hợp Delta Sharing và AIStor, Unity Catalog trở thành lớp quản trị dữ liệu mở và liên thông , biến mọi tập dữ liệu trở thành “công dân” của hệ thống dữ liệu doanh nghiệp.

Delta Sharing – Mở khóa dữ liệu an toàn và tiện lợi

Delta Sharing là giao thức mở rộng để chia sẻ dữ liệu và toàn bộ hệ thống, cho phép truy cập trực tiếp vào Delta Lake từ các công cụ phổ biến như Spark, Pandas, Power BI, Tableau… Đồng thời, giao thức này cũng đảm bảo quyền kiểm soát, kiểm tra và hiệu ứng quyền.

Khi kết hợp với AIStor – Delta Sharing trở thành tầng chia sẻ dữ liệu thống nhất, hoạt động xuyên suốt môi trường đám mây và tại chỗ mà không yêu cầu chuyển dữ liệu.

Cách phát triển Delta Sharing với AIStor

Kiến trúc cấu hình đặt Delta Sharing Server trong môi trường tại chỗ, bảo vệ bằng proxy ngược NGINX.

• Mặt phẳng điều khiển quản lý xác thực và ủy quyền qua HTTPS sử dụng mã thông báo mang.
• Mặt phẳng dữ liệu mở quyền truy cập trực tiếp đến dữ liệu lưu tại AIStor.
• Người dùng tạo thông tin xác thực tệp (.share) để nhập vào Unity Catalog, thiết lập quyền truy cập an toàn.

Cấu hình thông thường bằng tệp YAML xác định chia sẻ, lược đồ, bảng, điểm cuối. MinIO Sidekick hỗ trợ cân bằng tải giữa AIStor và cả máy khách từ đám mây tại chỗ, đảm bảo hiệu suất và ổn định.

Tổng kết

Delta Sharing kết hợp AIStor và Unity Catalog tạo nên một bước cho doanh nghiệp dữ liệu – phân phối dữ liệu vẫn có thể được phát hiện và quản lý tập trung trên một nền tảng duy nhất. Việc phát triển

Giải pháp cung cấp thông tin của hãng:

Unitas    là nhà phân phối ủy quyền tại Việt Nam của các công ty công nghệ nghệ thuật: Commvault, ExaGrid, VergeIO, Nexsan, DDN, Tintri, MinIO, LogicMonitor, Netgain, Kela, UltraRed, Sling, Quokka, An toàn, Hackuity, Cyabra, Cymetrics, ThreatDown, F-Secure, OutSystems, Micas Networks ….

Liên hệ    Unitas    ngay hôm nay để được tư vấn chi tiết!