docs:Hive专栏概述

Java-Edge · Java-Edge · commit e46e3e2a75be · 2024-03-14T10:28:59.000+08:00
diff --git a/docs/.vuepress/config.js b/docs/.vuepress/config.js
@@ -169,8 +169,8 @@ module.exports = {
                             {
                                 text: 'Hive',
                                 items: [{
-                                    text: '00-Hive执行原理',
-                                    link: '/md/bigdata/轻松驾驭Hive数仓.md'
+                                    text: 'Hive专栏概述',
+                                    link: '/md/bigdata/Hive专栏概述.md'
                                 }, ]
                             },
 
@@ -492,10 +492,12 @@ module.exports = {
                             collapsable: false,
                             sidebarDepth: 0,
                             children: [
-                                "01-macOS下 Hive 2.x 的安装与配置.md",
-                                "Hive执行原理.md",
-                                "Hive修复分区.md",
-                                
+                                "Hive专栏概述",
+                                "Hive 2.x 的安装与配置",
+                                "Hive执行原理",
+                                "Hive分区和分桶",
+                                "Hive修复分区",
+                                "hive的严格模式",
                             ]
                         },
                         {
diff --git a/docs/md/bigdata/Hive 2.x 的安装与配置.md b/docs/md/bigdata/Hive 2.x 的安装与配置.md
@@ -1,4 +1,4 @@
-# 01-macOS下 Hive 2.x 的安装与配置
+# Hive 2.x 的安装与配置
 
 ## 1 简介
 
diff --git a/docs/md/bigdata/Hive专栏概述.md b/docs/md/bigdata/Hive专栏概述.md
@@ -0,0 +1,3 @@
+# Hive专栏概述
+
+Hive“出身名门”，是最初由Facebook公司开发的数据仓库工具。它简单且容易上手，是深入学习Hadoop技术的一个很好的切入点。专栏内容包括：Hive的安装和配置，其核心组件和架构，Hive数据操作语言，如何加载、查询和分析数据，Hive的性能调优以及安全性，等等。本书旨在为读者打牢基础，从而踏上专业的大数据处理之旅。
diff --git a/docs/md/bigdata/Hive分区和分桶.md b/docs/md/bigdata/Hive分区和分桶.md
@@ -0,0 +1,73 @@
+# Hive分区和分桶
+
+两种用于优化查询性能的数据组织策略，数仓设计的关键概念，可提升Hive在读取大量数据时的性能。
+
+## 1 分区（Partitioning）
+
+根据表的某列的值来组织数据。每个分区对应一个特定值，并映射到HDFS的不同目录。为大幅减少数据量，基本必须要做！
+
+常用于经常查询的列，如日期、区域等。这样可以在查询时仅扫描相关的分区，而不是整个数据集，从而减少查询所需要处理的数据量，提高查询效率。
+
+物理上将数据按照指定的列（分区键）值分散存放于不同的目录中，每个分区都作为表的一个子目录。
+
+### 创建分区表
+
+在新能源汽车数仓项目中，如希望对整车日志表按照统计日期字段进行分区，建表语句：
+
+```sql
+# 车辆标识`vehicle_id`、事件发生的时间戳`timestamp`、日志级别`log_level`、日志消息`message`、引擎温度`engine_temperature`、电池电量`battery_level`以及车辆位置`location`等
+CREATE EXTERNAL TABLE ev_vehicle_logs (
+    vehicle_id STRING,
+    timestamp BIGINT,
+    log_level STRING,
+    message STRING,
+    engine_temperature DOUBLE,
+    battery_level INT,
+    location STRING
+)
+PARTITIONED BY (log_date DATE)
+ROW FORMAT DELIMITED
+FIELDS TERMINATED BY '\t'
+STORED AS TEXTFILE
+LOCATION '/path/to/hdfs/new_energy_vehicle/logs';
+```
+
+`PARTITIONED BY (log_date DATE)`子句定义`log_date`作为表的分区键，即按照统计日期对数据进行分区存储。
+
+分区键`log_date`通常是日志数据中的一个字段，该字段存储每条日志记录的日期。按日期分区日志数据可以极大地提高查询性能，特别是对于那些限定在特定日期范围内的查询。例如，如果用户只想看昨天的日志，Hive只需要扫描昨天日期分区对应的数据，而不必扫描整个数据表。
+
+创建分区表之后，可以根据实际需要将数据加载到对应的分区目录中。例如，如果有一份新的日志数据，其日期为2023年10月1日，你可以这样导入数据：
+
+```sql
+LOAD DATA INPATH '/path/to/local/file/2023-10-01.log' INTO TABLE ev_vehicle_logs PARTITION (log_date='2023-10-01');
+```
+
+或也可用Hive的动态分区特性让Hive在数据加载时自动根据数据内容创建分区。
+
+## 2 分桶（Bucketing）
+
+使用哈希函数将数据行分配到固定数量的存储桶（即文件）中。这在表内部进一步组织数据。
+
+- 对提高具有大量重复值的列（如用户ID）上JOIN操作的效率特别有用，因为它可以更有效地处理数据倾斜
+- 要求在创建表时指定分桶的列和分桶的数目
+
+### 创建分桶表
+
+```sql
+CREATE TABLE user_activities (
+    user_id INT,
+    activity_date DATE,
+    page_views INT
+)
+CLUSTERED BY (user_id) INTO 256 BUCKETS;
+```
+
+`user_id`是用于分桶的列，数据会根据用户ID的哈希值分配到256个存储桶中。
+
+## 3 对比
+
+- 分区是基于列的值，将数据分散到不同的HDFS目录；分桶则基于哈希值，将数据均匀地分散到固定数量的文件中。
+- 分区通常用于减少扫描数据的量，特别适用于有高度选择性查询的场景；而分桶有助于优化数据的读写性能，特别是JOIN操作。
+- 分区可以动态添加新的分区，只需要导入具有新分区键值的数据；分桶的数量则在创建表时定义且不能更改。
+
+使用分区时要注意避免过多分区会导致元数据膨胀，合理选择分区键，确保分布均匀；而分桶则通常针对具有高度重复值的列。两者结合使用时，可以进一步优化表的读写性能和查询效率。
diff --git a/docs/md/bigdata/hive的严格模式.md b/docs/md/bigdata/hive的严格模式.md
@@ -0,0 +1,69 @@
+# hive的严格模式
+
+## 1 参数控制
+
+一项配置，旨在阻止执行某些可能导致效率低下的查询操作。主要是通过以下几个配置参数控制的：
+
+### 1.1 hive.mapred.mode
+
+- 默认值：
+  - Hive 0.x: `nonstrict`
+  - Hive 1.x: `nonstrict`
+  - Hive 2.x: `strict` ([HIVE-12413](https://issues.apache.org/jira/browse/HIVE-12413))
+- 添加于：Hive 0.3.0
+
+Hive 操作执行的模式。在 `strict` 模式下，一些风险较高的查询不允许运行。如阻止：
+
+- 全表扫描（参见 [HIVE-10454](https://issues.apache.org/jira/browse/HIVE-10454)）
+-  [ORDER BY](https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy#LanguageManualSortBy-SyntaxofOrderBy) 需 LIMIT 子句
+
+- 没有WHERE子句的查询（可能会扫描整个表）
+- 无分区键的查询（对分区表而言，如果不使用分区键进行查询，也可能会扫描整个表）
+
+### 1.2 hive.strict.checks.large.query
+
+若置true，Hive会对大查询大数据做析假以限制（如，防止笛卡尔积）
+
+### 1.3 hive.strict.checks.no.partition.filter
+
+若设置为true，Hive会要求分区表的查询须含有分区列的过滤条件，为防止查询无意中扫描全表。
+
+### 1.4 hive.strict.checks.bucketing
+
+置true时，Hive会检查对于bucketed表的查询是否使用了正确的数据集合方法。
+
+## 2 开启
+
+```sql
+SET hive.mapred.mode=STRICT;
+```
+
+## 3 关闭
+
+```sql
+SET hive.mapred.mode=nonstrict;
+```
+
+严格模式下，如果你必须执行全表扫描或者不指定分区键的查询，你需要明确告知Hive你知晓这些潜在的效率问题并且接受后果。这可以通过在查询时添加相关的LIMIT子句，或者在查询中使用分区过滤条件来实现。
+
+例如，在严格模式下，下面的查询会被阻止：
+
+```sql
+SELECT * FROM sales; -- 无WHERE子句，可能扫描全表
+```
+
+你需要这样修改查询以避免被阻止：
+
+```sql
+SELECT * FROM sales WHERE sale_date = '2023-04-15'; -- 使用WHERE子句限制扫描
+```
+
+者：
+
+```sql
+SELECT * FROM sales LIMIT 100; -- 使用LIMIT子句限制返回结果的数量
+```
+
+## 4 总结
+
+开启严格模式是一种好的实践，因为它可以帮助我们避免执行一些可能导致计算资源浪费的低效查询。这在处理大型数据集和维护生产环境时尤其重要。但是，在某些情况下，如果我们知道所执行的操作是确定的，并且我们需要执行全表扫描这样的操作，可临时关闭严格模式。

Original file line number	Diff line number	Diff line change
`@@ -1,4 +1,4 @@`
`1`		`-# 01-macOS下 Hive 2.x 的安装与配置`
	`1`	`+# Hive 2.x 的安装与配置`
`2`	`2`
`3`	`3`	`## 1 简介`
`4`	`4`
Original file line number	Diff line number	Diff line change
`@@ -0,0 +1,3 @@`
	`1`	`+# Hive专栏概述`
	`2`	`+`
	`3`	`+Hive“出身名门”，是最初由Facebook公司开发的数据仓库工具。它简单且容易上手，是深入学习Hadoop技术的一个很好的切入点。专栏内容包括：Hive的安装和配置，其核心组件和架构，Hive数据操作语言，如何加载、查询和分析数据，Hive的性能调优以及安全性，等等。本书旨在为读者打牢基础，从而踏上专业的大数据处理之旅。`