数据分区&分桶学习

2/10-数据分区&分桶学习

把输入数据文件单独插入分区表的叫静态分区。通常在加载文件（大文件）到 Hive 表的时候，首先选择静态分区。在加载数据时，静态分区比动态分区更节省时间。你可以通过 alter table add partition 语句在表中添加一个分区，并将文件移动到表的分区中。我们可以修改静态分区中的分区。您可以从文件名、日期等获取分区列值，而无需读取整个大文件。如果要在 Hive 使用静态分区，需要把 hive.mapred.mode 设置为 strict，set hive.mapred.mode=strict。静态分区是在严格模式进行下。你可以在 Hive 的内部表和外部表使用静态分区。 1.2 动态分区

对分区表的一次性插入称为动态分区。通常动态分区表从非分区表加载数据。在加载数据的时候，动态分区比静态分区会消耗更多时间。如果需要存储到表的数据量比较大，那么适合用动态分区。假如你要对多个列做分区，但又不知道有多少个列？，那么适合使用动态分区。动态分区不需要 where 子句使用 limit。不能对动态分区执行修改。可以对内部表和外部表使用动态分区。
建立内部表和外部表时external区别，两者的区别在于：内部表，删除表格时，删除元数据（meta data）和存储数据，即表格，以及对应表格的数据文件；外部表，删除表格时，只删表结构
https://blog.csdn.net/qq_34224565/article/details/108448261?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1.pc_relevant_default&utm_relevant_index=1使用动态分区之前，需要把模式修改为非严格模式？。set hive.mapred.mode=nostrict。

SequenceFileInputFormat：
sequence 文件是块压缩的，并且提供了几种数据类型（不仅仅是文本类型）直接的序列化和反序列化操作。
序列化反序列化？