如何在 Apache Hive 中創建快照表

已發表: 2022-11-23

在 Apache Hive 中,快照是在特定時間點獲取的表的副本。 可以使用任何支持的文件格式創建快照表。 快照表中的數據以與原始表相同的格式存儲。 要在 Hive 中創建快照表,請使用以下命令:CREATE TABLE snapshot_table_name AS SELECT * FROM original_table_name;

什麼是快照表?

圖片來源:https://google.com

作為原始交易數據的來源,快照表與交易系統的來源相同,具有額外的字段來記錄快照日期。 快照表由在提取時被視為有效的數據行組成(例如,當前)。

表快照可以幫助保存一條數據記錄超過 7 天。 表快照使您可以根據需要將表的數據保持在連續狀態。 這在您需要長時間跟踪數據的情況下非常有用,例如報告或跟踪。

使用數據庫快照的好處

什麼是數據庫快照? SQL Server 快照是存儲在數據庫中的數據庫的靜態只讀快照。 數據庫快照在其創建期間與源數據庫的一致性在任何時候都不會發生變化。 當涉及到數據庫快照存儲時,擁有快照的服務器總是擁有源數據庫的快照。 快照表有什麼用? 表快照提供以下優點:您可以保留超過 7 天的記錄。 使用 BigQuery 時間旅行時,您只能訪問 7 天前或最近的表數據。 表快照允許您根據需要從特定時間點保留表的數據。 什麼是快照表? 當數據在特定時間點出現時(例如,發生刷新或創建數據時),快照以事務(讀取)一致的方式表示它。 為保證快照的數據與主表的數據相對恆定,必須定期刷新。


快照表SQL

圖片來源:https://slidesharcdn.com

快照表是作為另一個表的副本創建的表,通常用於創建備份或提供數據的只讀視圖。 快照表包含與拍攝快照時原始表相同的數據。

數據庫的快照對於管理員來說是一個有用的工具。 您可以使用這些工具在特定時間點查看數據庫中正在發生的事情,而無需將數據庫加載到內存中,然後在該時間點拍攝快照。 此方法允許您恢復對不是使用 Transact-SQL 創建的數據庫的更改。 數據庫快照還可用於在不干擾實時數據的情況下測試對數據庫的更改。 可以在進行更改之前創建數據庫的快照,並且可以在不影響實時數據的情況下使用它來測試更改。 數據庫快照伴隨著一些限制。 因此,它們是只讀的,並且駐留在與源數據庫相同的服務器實例上。 因此,您將無法在使用它們的服務器之間移動數據庫。 SQL Server 數據庫的快照尚未包含在 SQL Server Management Studio 中。 如果需要創建快照,可以選擇 transcat-SQL 腳本。

快照查詢:它們是什麼以及如何使用它們

可以使用快照查詢生成報告和評估。 快照查詢可用於確定完成特定查詢需要多長時間。 要確定數據庫更改的影響,您可以使用快照查詢。 對於小型數據集,快照查詢最有意義。 要查詢快照中的數據庫,它必須處於只讀模式。 您可以使用 sp_snapshot 查詢生成快照查詢。 要使用快照查詢,源數據庫必須是只讀的。 要使用快照查詢,源數據庫必須是只讀的。

BigQuery 創建快照表

當您創建快照表時,BigQuery 首先創建一個新的空表。 然後它通過掃描源表或分區來填充表。 創建並填充快照表後,它將成為一個靜態的只讀表。 您可以像查詢 BigQuery 中的任何其他表一樣查詢快照表。

表快照——記錄表狀態的好方法

表的快照使我們能夠查看表在任何給定時間的執行情況。 快照可用於跟踪長時間運行的查詢的進度。 快照也可用於將表恢復到特定狀態。 要創建表快照,您必須首先有權訪問要創建快照的表。 在谷歌云控制台的BigQuery頁面,可以進入BigQuery頁面。 在資源管理器窗格中,將項目和數據集節點添加到要快照的表中。 您可以選擇要快照的表名。 要保存當前存儲在 BigQuery 中的表的快照,請右鍵單擊它並選擇拍攝快照。 作為此過程的一部分,將創建表內容的快照。 你指定的時間是UTC時間,也就是瀏覽器設置的時間。 通過單擊 Take snapshot of table 按鈕,您可以創建表的表快照,就像它在過去 7 天內的任何給定時間一樣。 指定日期後,將創建一個表快照,以復制當時的表。 要選擇特定的一天,只需使用日曆即可。

BigQuery 表快照

BigQuery 表快照是一種在給定時間點拍攝表“快照”的方法。 這對於保留數據備份或審計目的可能很有用。 表快照作為文件存儲在 Google Cloud Storage 中,可以根據需要導出和導入。

如何在BigQuery中創建快照表?

時間旅行可用於創建表快照。 您可以轉到 BigQuery 頁面,在 Google Cloud 控制台中訪問 BigQuery。 通過單擊資源管理器窗格中的項目和數據集節點,您可以添加表的快照。 單擊表名後,您將看到該表的快照。