Đặt vấn đề
Trong vài năm gần đây, câu chuyện dữ liệu của doanh nghiệp chủ yếu xoay quanh việc thu thập, lưu trữ và tích hợp. Nhưng khi dữ liệu ngày càng được sử dụng cho phân tích, tự động hóa và AI, một vấn đề khác bắt đầu trở nên quan trọng hơn: làm thế nào để người dùng hoặc một hệ thống có thể tìm và khai thác được đúng dữ liệu, hiểu nó có ý nghĩa gì, biết nó có đáng tin hay không và sử dụng nó mà không phải bắt đầu lại từ đầu mỗi lần? Chính khoảng cách giữa “dữ liệu đang tồn tại” và “dữ liệu có thể được tiêu thụ như một tài sản” đang đưa khái niệm Data Product trở thành một chủ đề đáng chú ý.
Data Product không đơn thuần là một dataset được đóng gói đẹp hơn. Đó là dữ liệu được quản trị như một sản phẩm có mục tiêu sử dụng, chủ sở hữu, ngữ nghĩa (context), chất lượng (quality), mối liên kết (lineage) và điều kiện sử dụng rõ ràng. Ở mức độ tổng quát hơn, cần xây dụng một giúp cho doanh nghiệp quản lý các sản phẩm dữ liệu đó được khám phá, đánh giá và chia sẻ một cách tự chủ (Self-service), lớp này còn gọi là Data Product Hub hoặc Data Marketplace.
Xu hướng: từ “data asset để lưu trữ” thành “data product để sử dụng”
Sự thay đổi này xuất phát từ chính cách doanh nghiệp đang sử dụng dữ liệu. Một ngân hàng có thể cần cùng một góc nhìn khách hàng cho marketing, chăm sóc khách hàng và quản trị rủi ro; một doanh nghiệp bán lẻ có thể cần dữ liệu sản phẩm cho cả BI, recommendation và supply chain; trong khi các ứng dụng AI lại cần những dữ liệu có ngữ nghĩa và nguồn gốc rõ ràng để tạo ra kết quả đáng tin cậy. Nếu mỗi đội BA hoặc IT tự tạo riêng cho mình một bản dữ liệu cho từng nhu cầu, doanh nghiệp sẽ nhanh chóng có nhiều bản sao, nhiều định nghĩa khác nhau, từ đó làm dư thừa và không đảm bảo về chất lượng cũng như nguồn gốc của dự liệu nguyên bản.
Data product đưa ra một cách tiếp cận khác: một nhóm nghiệp vụ (business domain) chịu trách nhiệm cung cấp (producer) một sản phẩm dữ liệu cho một nhóm đối tượng khai thác cụ thể cụ thể (consumer), thay vì chỉ giao một table hoặc một dataset. Ví dụ một số data products trong ngân hàng như Customer 360, Fraud Detection, Credit Scoring và Product Performance.
Theo cách tiếp cận được Gartner và nhiều tổ chức trong hệ sinh thái data mesh thúc đẩy, data product hướng tới self-service, có ownership và khả năng tái sử dụng cáo; dữ liệu được xem như một sản phẩm có vòng đời và trải nghiệm người dùng. Một số nghiên cứu thị trường cũng cho thấy xu hướng này đang đi từ concept sang triển khai khái tế (production). McKinsey từng ước tính các Data Product chất lượng cao, sẵn sàng sử dụng có thể giúp triển khai use case mới nhanh hơn tới 90% và giảm TCO tới 30%. Một khảo sát khác của Enterprise Strategy Group cho biết 84% tổ chức trong mẫu đã cung cấp data products và 95% đã có hoặc dự kiến xây dựng self-service Data Product Hub.
Data Product thực sự là gì?
Có một cách đơn giản để hình dung: nếu một bảng dữ liệu chỉ trả lời câu hỏi “dữ liệu là gì?”, thì một data product phải trả lời thêm “dữ liệu này dùng để làm gì, ai chịu trách nhiệm, tôi có thể tin đến mức nào và tôi được phép sử dụng nó như thế nào?”. Vì vậy, sản phẩm dữ liệu thường bao gồm dữ liệu cùng metadata, business semantics, quality, lineage, policy và các điều khoản sử dụng khác. Như vậy điểm đáng chú ý là mỗi data product đều được đặt trong mối quan hệ với consumer và mục tiêu kinh doanh, thay vì tồn tại như một dataset kỹ thuật độc lập. Tài liệu đầu vào của bài viết cũng tiếp cận data product theo hướng này, nhấn mạnh ba đặc tính: sẵn sàng sử dụng, luôn được cập nhật và được quản trị; đồng thời mô tả các
Ví dụ sản phẩm Customer 360 bao gồm nguồn dữ liệu có thể đến từ core banking, card system và digital channels, nhưng consumer không nhất thiết phải biết cách ghép tất cả nguồn đó. Data product có thể cung cấp một góc nhìn nghiệp vụ đã được chuẩn hóa theo ngữ cảnh cụ thể, và đảm bảo nhưng yêu cầu khác của ngân hang ví dụ như đảm bảo masking PII, đưa ra chỉ số data quality, các mối liên kết lineage và đặc biệt là khái niệm hợp đồng dữ liệu (data contract). Với sản phẩm này, ví dụ với nhóm marketing, sẽ tập trung vào việc phân loại khách hàng, định vị mục tiêu và xây dựng chiến dịch marketing có mục tiêu rõ ràng thay vì dành thời gian truy tìm và làm sạch dữ liệu.
Vai trò của Data Product Hub
Khi số lượng data product tăng lên, một vấn đề mới xuất hiện: sản phẩm dữ liệu cũng cần một “nơi để khai thác”, đó là lúc Data Product Hub (còn gọi là Data Marketplace), trở nên có ý nghĩa. Marketplace không nhất thiết là nơi mua bán dữ liệu; trong nhiều doanh nghiệp, nó đơn giản là một không gian nội bộ (hoặc thậm chí public ra bên ngoài) để các data consumer tìm kiếm, tìm hiểu, xin quyền và sử dụng các sản phẩm dữ liệu được phép chia sẻ.
Một Data Product Hub tốt vì vậy không dừng ở chức năng tìm kiếm thông thường mà các consumers cần nhìn thấy nhiều thông tin cơ bản hơn ví dụ như loại hình nghiệp vụ của sản phẩm, chủ sở hữu, chất lượng dữ liệu, tần suất cấp nhật, lineage, data policy và cách sử dụng trước khi quyết định nhấn nút subscribe. Sau đó, cơ chế entitlement hoặc contract xác định ai được sử dụng sản phẩm và trong phạm vi nào. Nói cách khác, marketplace tạo ra vòng đời trải nghiệm “discover → trust → access → consume” thay vì “search → download”.
Đây cũng là lý do Gartner trong các nghiên cứu gần đây xem Data Marketplace như một thành phần thúc đẩy việc triển khai data products trên các AI-ready platform. Thị trường đã bắt đầu xuất hiện các giải pháp marketplace ở cả dạng internal, private exchange và ecosystem sharing, cho thấy bài toán đang dịch chuyển từ một ý tưởng kiến trúc sang một năng lực nền tảng (platform).
Niềm tin là điều kiện để dữ liệu được chia sẻ (Trusted Data for Sharing)
Nếu Data Product Hub chỉ làm tốt việc đưa dữ liệu đến gần consumer hơn nhưng không giải quyết được niềm tin, nó sẽ làm giảm giá trị của việc cung cấp dữ liệu và Data Product Hub sẽ không có người khai thác. Niềm tin dữ liệu là cốt lõi trong việc xây dựng data product, bao gồm 3 năng lực chính gồm data governance (privacy & protection), data quality và data lineage.
· Governance trả lời câu hỏi về quyền sử dụng. Một data product có thể rất hữu ích nhưng không phải ai cũng được xem toàn bộ dữ liệu, đặc biệt khi chứa PII hoặc dữ liệu nhạy cảm. Masking, classification, access policy và audit cần đi cùng sản phẩm để việc chia sẻ không tách rời trách nhiệm bảo vệ dữ liệu.
· Quality trả lời câu hỏi liệu dữ liệu có đủ tốt cho mục đích hay không. Một quality score không phải để làm đẹp catalog, mà để consumer có cơ sở lựa chọn sản phẩm và để producer biết khi nào cần hành động. Các tiêu chí như completeness, accuracy, consistency và timeliness cần được gắn với kỳ vọng của từng use case.
· Lineage trả lời câu hỏi dữ liệu đến từ đâu và thay đổi sẽ ảnh hưởng đến đâu. Đối với BI, lineage giúp giải thích con số; đối với AI, lineage ngày càng quan trọng để hiểu nguồn context và hỗ trợ traceability. Khi lineage được gắn trực tiếp với data product, consumer có thể nhìn xuyên từ sản phẩm về nguồn thay vì phải tự điều tra trong nhiều hệ thống.
Lộ trình triển khai từ Lakehouse đến Data Product Hub
Một trong những hiểu lầm phổ biến là xem Data Product Hub như một hệ thống đứng riêng phía trên tất cả dữ liệu. Thực tế, Data Product Hub chỉ phát huy tác dụng khi phía dưới đã có một nền tảng dữ liệu đủ mở và một lớp tri thức đủ mạnh để hiểu, quản trị và kiểm soát dữ liệu. Có thể hình dung chuỗi giá trị sau.
IBM watsonx.data: khi intelligence trở thành nền móng cho Data Product Hub
Nhìn từ góc độ công nghệ, điểm thú vị của IBM watsonx.data là cách nền tảng tiếp cận bài toán từ data intelligence thay vì chỉ bắt đầu bằng một trang portal chia sẻ dữ liệu. IBM watsonx.data cung cấp đầy đủ business catalog, domain context, governance, quality và lineage tạo thành lớp tri thực dữ liệu tin cậy từ đó thúc đẩy việc chia sẻ dữ liệu và như vậy Data Product Hub có thể đưa các data product đã được quản trị đến đúng consumer.
Một số điểm mạnh của giải pháp IBM Watsonx.data intelligence như sau
· Lớp metadata và business context. Một catalog có giá trị không chỉ biết một bảng nằm ở đâu mà còn phải hiểu bảng đó đại diện cho khái niệm kinh doanh nào, liên quan đến domain nào và được dùng trong ngữ cảnh nào. Các năng lực catalog, business glossary, intelligent search và metadata enrichment của IBM hướng tới việc biến metadata kỹ thuật thành context có thể sử dụng cho con người và AI.
· Lớp data governance, privacy và quality được đặt cùng một bức tranh. Policy, classification, masking, access control và audit giúp doanh nghiệp kiểm soát việc chia sẻ; data quality giúp consumer có thêm cơ sở đánh giá sản phẩm. Khi những thông tin này xuất hiện ngay trong trải nghiệm data product, governance chuyển từ một hoạt động phía sau thành một phần của trải nghiệm người dùng.
· Lớp data lineage và khả năng theo dõi tác động. Trong môi trường dữ liệu phân tán, việc biết một chỉ số hoặc một data product bắt nguồn từ đâu và thay đổi nguồn sẽ ảnh hưởng thế nào là yếu tố quan trọng để duy trì niềm tin. Đặc biệt khi dữ liệu được đưa vào AI, khả năng traceability càng trở nên có giá trị.
· Lớp Data Product Hub. Khi dữ liệu đã có business context, governance, quality và lineage, Data Product Hub trở thành lớp phân phối hợp lý để consumer tìm và khai thác sản phẩm. Đây là điểm tạo nên sự khác biệt của giải pháp, IBM Data Product Hub không đứng ngoài governance, mà được xây trên chính nền tảng tin cậy của dữ liệu.
Như vậy Lakehouse giúp doanh nghiệp có nơi để dữ liệu được lưu trữ và xử lý, Data intelligence giúp doanh nghiệp hiểu và tin dữ liệu và Data Product giúp dữ liệu trở nên có thể tái sử dụng. Thông qua Data Product Hub, data consumers tìm thấy và sử dụng các sản phẩm dữ liệu phù hợp và giá trị cuối cùng xuất hiện khi những sản phẩm đó được đưa vào ứng dụng, ra quyết định, hoặc các mô hình AI khai thác thêm.
Yếu tố triển khai Data Product Hub thành công
Có lẽ thách thức lớn nhất không nằm ở việc xây một giao diện như là Marketplace, mà nằm ở việc thay đổi cách doanh nghiệp quản lý sản phẩm dữ liệu. Nếu không có product owner, không có consumer, không có định nghĩa thống nhất và không có cơ chế đo quality, marketplace rất dễ trở thành một catalog với nhiều danh mục nhưng ít người dùng.
Ngược lại, khi mỗi data product bắt đầu từ một vấn đề kinh doanh cụ thể, chẳng hạn Customer 360 cho marketing, fraud signals cho quản trị rủi ro, credit scoring cho tín dụng hay product performance cho product owner, thì consumer sẽ có lý do rõ ràng để sử dụng. Data Product Hub chính là nơi xây dựng mối liên hệ giữa producer, data product, consumer và giá trị kinh doanh này; sản phẩm dữ liệu không tồn tại để “có thêm một asset”, mà để nhiều bộ phận có thể sử dụng lại cùng một tài sản cho những mục tiêu khác nhau.
Vì vậy, thước đo quan trọng của một Data Product Hub có lẽ không phải là có bao nhiêu dataset được đưa lên marketplace, mà là dữ liệu được tìm thấy nhanh hơn, được tái sử dụng bao nhiêu lần, thời gian từ nhu cầu đến khai thác giảm bao nhiêu và cuối cùng nó tạo ra kết quả kinh doanh như thế nào.
Kết luận
Data Products và Data Product Hub phản ánh một bước trưởng thành mới trong quản trị dữ liệu. Doanh nghiệp không còn chỉ cần biết mình đang có bao nhiêu dữ liệu, mà cần biến dữ liệu thành những sản phẩm có thể hiểu, tin cậy (trust), kiểm soát (governance) và tái sử dụng.
Điều đó cũng giải thích vì sao Data Governance, Data Quality và Data Lineage không nên được xem là những hoạt động tách biệt khỏi Data Product Hub. Chúng chính là mới lớp tri thức (data intelligence) giúp marketplace có ý nghĩa hơn. Khi lớp intelligence đủ mạnh, Data Product trở thành đơn vị chia sẻ tự nhiên, và Data Product Hub trở thành điểm gặp giữa data producer và data consumer đúng nghĩa của khái niệm Marketplace
Và khi AI ngày càng trở thành một consumer quan trọng của dữ liệu, cách tiếp cận này càng đáng chú ý. AI không chỉ cần nhiều dữ liệu hơn; AI cần dữ liệu có ngữ nghĩa, chất lượng, nguồn gốc và quyền sử dụng rõ ràng. Theo nghĩa đó, hành trình từ Open Lakehouse đến Trusted Data, Data Product và Data Product Hub không chỉ là một câu chuyện về kiến trúc dữ liệu, mà là câu chuyện về cách doanh nghiệp biến dữ liệu thành một tài sản có khả năng tạo ra giá trị lặp lại.
