Hive学习使用一周感悟
2017-11-26 20:47
267 查看
最近一段时间主要在学习Hive SQL语句并完成了一个小任务,熟悉了Hive SQL的基本语法和应用,对进一步学习使用Hive SQL来分析处理数据打下了一个基础。
数据科学领域最重要的在于数据本身,一起技能和工具都是过程,数据既是开始也是结果,所以在处理数据时首先要了解数据。
以Hive SQL表的join为例,在分析使用哪种语句之前,首先要确定自己想要得到的表需要是做什么的,需要包括哪些字段,分别有什么用,在考虑保留表的字段时,不仅需要考虑当前需求,也要为后来的业务需求保留相应的字段,由此确定整个表的数据结果,当然这也是建立在熟悉业务的基础之上。
在确定了表的字段之后,便需要根据表的需求去选择上游的关联表,在确定了上游的关联表之后,再根据关联表采用相关的HQL语句进行操作得到相应字段的值并进行赋值命令。在表的join过程中涉及到查询语句的优化,更涉及到join之后数据膨胀的问题,因此在join之前与之后都需要特别注意表的去重问题。
初入此坑,技能与工具都是手段,业务才是目的,但熟练的掌握工具的使用和高超的技能更是有助于精准的分析与理解业务。路漫漫其修远兮,吾将上下而求索。
踏踏实实过好每一天,认认真真做好每件事,许人生以信念,给信念以时间!
数据科学领域最重要的在于数据本身,一起技能和工具都是过程,数据既是开始也是结果,所以在处理数据时首先要了解数据。
以Hive SQL表的join为例,在分析使用哪种语句之前,首先要确定自己想要得到的表需要是做什么的,需要包括哪些字段,分别有什么用,在考虑保留表的字段时,不仅需要考虑当前需求,也要为后来的业务需求保留相应的字段,由此确定整个表的数据结果,当然这也是建立在熟悉业务的基础之上。
在确定了表的字段之后,便需要根据表的需求去选择上游的关联表,在确定了上游的关联表之后,再根据关联表采用相关的HQL语句进行操作得到相应字段的值并进行赋值命令。在表的join过程中涉及到查询语句的优化,更涉及到join之后数据膨胀的问题,因此在join之前与之后都需要特别注意表的去重问题。
初入此坑,技能与工具都是手段,业务才是目的,但熟练的掌握工具的使用和高超的技能更是有助于精准的分析与理解业务。路漫漫其修远兮,吾将上下而求索。
踏踏实实过好每一天,认认真真做好每件事,许人生以信念,给信念以时间!
相关文章推荐
- hive学习(6)--- 关于桶(Buckets)的解释与使用
- java数据结构学习感悟之java中指针的使用
- 使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟
- hadoop生态系统学习之路(六)hive的简单使用
- Hive学习之一:安装与初步使用
- hadoop生态系统学习之路(七)impala的简单使用以及与hive的区别
- Hbase 学习(十一)使用hive往hbase当中导入数据
- hive学习之六:row_number()排序函数的使用
- Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储(来自学习资料)
- Hive学习笔记 --- Array, Map, Struct类型使用
- 使用hive、java api两种方式实现wordcount功能、及个人感悟
- 使用hive、java api两种方式实现wordcount功能、及个人感悟
- 使用hive、java api两种方式实现wordcount功能、及个人感悟
- hive学习001 hive的使用
- flume学习(六):使用hive来分析flume收集的日志数据
- 使用hive、java api两种方式实现wordcount功能、及个人感悟
- flume学习(六):使用hive来分析flume收集的日志数据
- flume学习(五):使用hive来分析flume收集的日志数据
- hive学习(5)--- Partitions分区的使用(包括动态分区)
- flume学习(六):使用hive来分析flume收集的日志数据