如何在 Apache Hive 中创建快照表

已发表: 2022-11-23

在 Apache Hive 中,快照是在特定时间点获取的表的副本。 可以使用任何支持的文件格式创建快照表。 快照表中的数据以与原始表相同的格式存储。 要在 Hive 中创建快照表,请使用以下命令:CREATE TABLE snapshot_table_name AS SELECT * FROM original_table_name;

什么是快照表?

图片来源:https://google.com

作为原始交易数据的来源,快照表与交易系统的来源相同,具有额外的字段来记录快照日期。 快照表由在提取时被视为有效的数据行组成(例如,当前)。

表快照可以帮助保存一条数据记录超过 7 天。 表快照使您可以根据需要将表的数据保持在连续状态。 这在您需要长时间跟踪数据的情况下非常有用,例如报告或跟踪。

使用数据库快照的好处

什么是数据库快照? SQL Server 快照是存储在数据库中的数据库的静态只读快照。 数据库快照在其创建期间与源数据库的一致性在任何时候都不会发生变化。 当涉及到数据库快照存储时,拥有快照的服务器总是拥有源数据库的快照。 快照表有什么用? 表快照提供以下优点:您可以保留超过 7 天的记录。 使用 BigQuery 时间旅行时,您只能访问 7 天前或最近的表数据。 表快照允许您根据需要从特定时间点保留表的数据。 什么是快照表? 当数据在特定时间点出现时(例如,发生刷新或创建数据时),快照以事务(读取)一致的方式表示它。 为保证快照的数据与主表的数据相对恒定,必须定期刷新。


快照表SQL

图片来源:https://slidesharcdn.com

快照表是作为另一个表的副本创建的表,通常用于创建备份或提供数据的只读视图。 快照表包含与拍摄快照时原始表相同的数据。

数据库的快照对于管理员来说是一个有用的工具。 您可以使用这些工具在特定时间点查看数据库中正在发生的事情,而无需将数据库加载到内存中,然后在该时间点拍摄快照。 此方法允许您恢复对不是使用 Transact-SQL 创建的数据库的更改。 数据库快照还可用于在不干扰实时数据的情况下测试对数据库的更改。 可以在进行更改之前创建数据库的快照,并且可以在不影响实时数据的情况下使用它来测试更改。 数据库快照伴随着一些限制。 因此,它们是只读的,并且驻留在与源数据库相同的服务器实例上。 因此,您将无法在使用它们的服务器之间移动数据库。 SQL Server 数据库的快照尚未包含在 SQL Server Management Studio 中。 如果需要创建快照,可以选择 transcat-SQL 脚本。

快照查询:它们是什么以及如何使用它们

可以使用快照查询生成报告和评估。 快照查询可用于确定完成特定查询需要多长时间。 要确定数据库更改的影响,您可以使用快照查询。 对于小型数据集,快照查询最有意义。 要查询快照中的数据库,它必须处于只读模式。 您可以使用 sp_snapshot 查询生成快照查询。 要使用快照查询,源数据库必须是只读的。 要使用快照查询,源数据库必须是只读的。

BigQuery 创建快照表

当您创建快照表时,BigQuery 首先创建一个新的空表。 然后它通过扫描源表或分区来填充表。 创建并填充快照表后,它将成为一个静态的只读表。 您可以像查询 BigQuery 中的任何其他表一样查询快照表。

表快照——记录表状态的好方法

表的快照使我们能够查看表在任何给定时间的执行情况。 快照可用于跟踪长时间运行的查询的进度。 快照也可用于将表恢复到特定状态。 要创建表快照,您必须首先有权访问要创建快照的表。 在谷歌云控制台的BigQuery页面,可以进入BigQuery页面。 在资源管理器窗格中,将项目和数据集节点添加到要快照的表中。 您可以选择要快照的表名。 要保存当前存储在 BigQuery 中的表的快照,请右键单击它并选择拍摄快照。 作为此过程的一部分,将创建表内容的快照。 你指定的时间是UTC时间,也就是浏览器设置的时间。 通过单击 Take snapshot of table 按钮,您可以创建表的表快照,就像它在过去 7 天内的任何给定时间一样。 指定日期后,将创建一个表快照,以复制当时的表。 要选择特定的一天,只需使用日历即可。

BigQuery 表快照

BigQuery 表快照是一种在给定时间点拍摄表“快照”的方法。 这对于保留数据备份或审计目的可能很有用。 表快照作为文件存储在 Google Cloud Storage 中,可以根据需要导出和导入。

如何在BigQuery中创建快照表?

时间旅行可用于创建表快照。 您可以转到 BigQuery 页面,在 Google Cloud 控制台中访问 BigQuery。 通过单击资源管理器窗格中的项目和数据集节点,您可以添加表的快照。 单击表名后,您将看到该表的快照。