2022年3月21日星期一

微軟在其數據管控服務Azure Purview,支援Azure SQL數據庫動態數據處理歷程擷取(Dynamic Lineage Extraction)功能,使用戶更容易追蹤數據操作歷程,包括生成來源和轉換過程等數據。

無論是技術還是業務領域的數據使用者,皆依賴數據處理歷程,來進行根本原因分析、影響分析、數據品質追蹤和各種數據管理操作,在現今數據環境中,數據散布於本地和雲端部署,能自由地跨數據平台和應用程式轉移,因此掌握數據處理歷程也就越來越重要,為此微軟發布動態數據處理歷程擷取功能。


傳統系統執行靜態程式碼分析,藉由解析數據轉換劇本來找出數據處理歷程,這種方法只能應用在簡單的用例,例如SQL劇本藉由連接兩個數據表生成目標表格,不過在許多實際環境,數據操作複雜很多,因為劇本可以包裝在預存程序,而預存程序可能包含判斷式,在運作時執行不同劇本,又或是在執行時發生數據交易失敗。有許多用例都需要以動態分析更有效地分析數據處理歷程,而且靜態數據處理歷程分析,不會將數據和程序與執行時的後設數據相關聯,反之動態數據處理歷程能夠掌握數據執行者身份、執行時間、用於執行的伺服器等數據,如此能使用戶進一步管理隱私,並且遵守法規要求。

預存程序通常用於下游應用程式,在SQL表格中執行數據轉換和聚合操作,而微軟現在於Azure Purview提供Azure SQL數據庫動態數據處理歷程擷取功能,透過使用Azure Purview Data Map,用戶可以獲得更豐富的數據處理歷程,包括執行狀態、受影響行數、使用者數據等各式操作細節。

Azure Purview Data Map連結SQL引擎的檢測框架,直接擷取執行時日誌以聚合動態歷程,同時執行時日誌還提供在SQL引擎中實際執行的查詢,藉由使用Azure Purview便可以映射數據歷程和收集詳細的出處數據。

沒有留言:

發佈留言

俄羅斯方塊能治療成癮和 PTSD

最近醫學研究證實,適當玩《俄羅斯方塊》對大腦有益。在上世紀 90 年代的研究中,就有科學家發現,初次玩《俄羅斯方塊》的人,其大腦葡萄糖代謝率( GMR )有顯著提高,意味著在玩遊戲時大腦消耗的能量增加。持續玩 4 至 8 星期後,這些人的 GMR 跌回原本水平,而遊戲分數則...