Hive入门详解（一）

简介

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能

Hive的优点

• 学习成本低，避免使用复杂的MapReduce
• 开发周期短，使用类sql语法，十分简洁
• 拓展性强

Hive的缺点

执行延迟高，处理速度慢，只适合用来做大规模批量数据统计

Hive的组件

• 用户接口：CLI、JDBC/ODBC、WebGUI
  CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。
• 元数据存储：存储在关系数据库如mysql，derby中
  Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
• 解释器、编译器、优化器、执行器
  解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后由MapReduce调用执行。

Hive与Hadoop的关系

hive利用hdfs存储数据，利用mapreduce查询数据
流程：
1.发出并执行HQL语句
2.Hive处理，转换成MapReduce
3.提交任务到Hadoop，MapReduce运行
4.HDFS操作

Hive的数据存储

1. Hive中所有的数据都存储在HDFS中，没有专门的数据存储格式
2. 只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive 就可以解析数据
3. Hive中包含以下数据模型：DB、Table，External Table，Partition，Bucket
   • db：在hdfs中表现为user/hive/warehouse/目录下的一个文件夹
   • table：在hdfs中表现所属db目录下一个文件夹
   • external table：与table类似，不过其数据存放位置可以任意指定
   • partition：在hdfs中表现为table目录下的子目录
   • bucket：在hdfs中表现为同一个table目录下根据hash散列之后的多个文件

安装Hive

1. 将hive安装到hadoop的同级目录下
   tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /home/hadoop/apps/
2. 配置环境变量
   vi ~/.bash_profile
   增加
   export HIVE_HOME=
   export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin
   :$HIVE_HOME/bin
   刷新配置文件
   source ~/.bash_profile

3. 修改配置文件hive-site.xml
   vi /home/hadoop/apps/hive/conf/hive-site.xml
   添加

   <configuration>
   <property>
           <name>javax.jdo.option.ConnectionURL</name>
           <value>jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true</value>
   </property>
   <property>
           <name>javax.jdo.option.ConnectionDriverName</name>
           <value>com.mysql.jdbc.Driver</value>
   </property>
   <property>
           <name>javax.jdo.option.ConnectionUserName</name>
           <value>hive</value>
   </property>
   <property>
           <name>javax.jdo.option.ConnectionPassword</name> 
            <value>Lousen??1234</value>
   </property>
   </configuration>

4. 导入连接mysql的jar包
   cp mysql-connector-java-5.1.38.jar /home/hadoop/apps/hive/lib/

5. 进入mysql创建对应用户
   mysql -uroot -p
   create user ‘hive’@’hadoop1’ identified by ‘Lousen??1234’
   grant all privileges on . to ‘hive’@’hadoop1’ identified by ‘Lousen??1234’ with grant option;
   flush privileges;
6. 重启mysql服务
   sudo systemctl restart mysqld
7. 初始化元数据
   schematool -dbType mysql -initSchema
8. 进入hive的shell
   hive

最后更新： 2018年11月21日 15:04

原始链接： https://www.lousenjay.top/2018/09/10/Hive入门详解（一）/

Lousen Jay