hive 安装流程-元一软件

安装hive的前提是先安装hadoop集群，并且hive只需要在hadoop的namenode节点中安装即可，可以不在datanode节点的机器上安装，启动hive的前提是需要hadoop在正常跑着

安装过程

1. 下载hive：http://hive.apache.org/downloads.html
2. 解压 tar -zxvf apache-hive-2.1.1-bin.tar.gz
3. 配置环境变量： 编辑/etc/profile文件，增加hive相关的环境变量配置

export  JAVA_HOME=/opt/java/jdk1.8.0_121
export  HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export  HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop 
export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native 
export  HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib" 
export  HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin
export  HIVE_CONF_DIR=${HIVE_HOME}/conf 
export  CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH
export  PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:$PATH      

配置完成后source /etc/profile

4. 修改hive配置文件
   • 进入到/opt/hive/apache-hive-2.1.1-bin/conf目录，将hive-default.xml.template文件复制一份，并且改名为hive-site.xml，命令是 cp hive-default.xml.template hive-site.xml 因为在hive-site.xml中有这样的配置：

  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
   <name>hive.exec.scratchdir</name>
  <value>/tmp/hive</value>
  

所以要让hadoop新建/user/hive/warehouse目录，执行命令：

$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

给刚才新建的目录赋予读写权限，执行命令：
$HADOOP_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse

让hadoop新建/tmp/hive/目录，执行命令：
$HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp/hive/

给刚才新建的目录赋予读写权限，执行命令：
$HADOOP_HOME/bin/hadoop fs -chmod 777 /tmp/hive

• 修改hive-site.xml中的临时目录

将hive-site.xml文件中的{system:user.name}都替换为root， 当然也可以是其他用户。

截图并不完整，只是截取了几处以作举例，你在替换时候要认真仔细的全部替换掉。

修改hive-site.xml 数据库相关的配置，

搜索javax.jdo.option.ConnectionURL，将该name对应的value修改为MySQL的地址，例如我修改后是：

   <name>javax.jdo.option.ConnectionURL</name>  
   <value>jdbc:mysql://192.168.27.138:3306/hive?createDatabaseIfNotExist=true</value>
   

搜索javax.jdo.option.ConnectionDriverName，将该name对应的value修改为MySQL驱动类路径，例如我的修改后是：
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
搜索javax.jdo.option.ConnectionUserName，将对应的value修改为MySQL数据库登录名：
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
搜索javax.jdo.option.ConnectionPassword，将对应的value修改为MySQL数据库的登录密码：
<name>javax.jdo.option.ConnectionPassword</name>
<value>cj</value>
搜索hive.metastore.schema.verification，将对应的value修改为false：
<name>hive.metastore.schema.verification</name>
<value>false</value>

将MySQL驱动包上传到hive的lib目录: hive 需要连接mysql需要驱动包。驱动包： mysql-connector-java-8.0.11.jar,

centos7安装mysql

MySQL 被 Oracle 收购后，CentOS 的镜像仓库中提供的默认的数据库也变为了 MariaDB。

添加 MySQL YUM 源：
根据自己的操作系统选择合适的安装源，和其他公司一样，总会让大家注册账号获取更新，注意是 Oracle 的账号，如果不想注册，下方有直接下载的地址，下载之后通过 rpm -Uvh 安装。

$wget '[https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm](https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm)'

$sudo rpm -Uvh mysql57-community-release-el7-11.noarch.rpm

$yum repolist all | grep mysql

mysql-connectors-community/x86_64 MySQL Connectors Community                  36

mysql-tools-community/x86_64      MySQL Tools Community                       47

mysql57-community/x86_64          MySQL 5.7 Community Server                 187

这个安装源包含了很多版本，如果想安装最新版本的，直接使用 yum 命令即可，

$sudo yum install mysql-community-server

启动 MySQL 服务

$sudo service mysqld start 
$sudo systemctl start mysqld #CentOS 7
$sudo systemctl status mysqld

查看初始密码并修改，密码不要设置的太简单了，否则通不过

sudo grep 'temporary password' /var/log/mysqld.log
ALTER USER 'root'@'localhost' IDENTIFIED BY 'MyNewPass4!';

修改编码

在 /etc/my.cnf 中设置默认的编码，

[client]
default-character-set = utf8

[mysqld]
default-storage-engine = INNODB
character-set-server = utf8
collation-server = utf8_general_ci #不区分大小写
collation-server =  utf8_bin #区分大小写
collation-server = utf8_unicode_ci #比 utf8_general_ci 更准确

创建数据库

CREATE DATABASE <datebasename> CHARACTER SET utf8;
CREATE USER 'username'@'host' IDENTIFIED BY 'password';
GRANT privileges ON databasename.tablename TO 'username'@'host';
SHOW GRANTS FOR 'username'@'host';
REVOKE privilege ON databasename.tablename FROM 'username'@'host';
DROP USER 'username'@'host';

• username：你将创建的用户名
• host：指定该用户在哪个主机上可以登陆，如果是本地用户可用 localhost，如果想让该用户可以从任意远程主机登陆，可以使用通配符 %
• password：该用户的登陆密码，密码可以为空，如果为空则该用户可以不需要密码登陆服务器
• privileges：用户的操作权限，如 SELECT，INSERT，UPDATE 等，如果要授予所的权限则使用ALL
• databasename：数据库名
• tablename：表名，如果要授予该用户对所有数据库和表的相应操作权限则可用 * 表示，如 .

修改hive-env.sh

cp hive-env.sh.template hive-env.sh

打开hive-env.sh配置并且添加以下内容：

export  HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export  HIVE_CONF_DIR=/opt/hive/apache-hive-2.1.1-bin/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/apache-hive-2.1.1-bin/lib

启动hive并测试

• 对MySQL数据库进行初始化：
  cd /opt/hive/apache-hive-2.1.1-bin/bin
  对数据库进行初始化，执行命令：
  schematool -initSchema -dbType mysql

  执行成功后，hive数据库里已经有一堆表创建好了

启动hive

运行hive （已经配置好PATH）

测试

启动成功后，就进入了hive的命令行模式。下面进行一系列简单测试，

  create database  db_hive_edu;
  
  use  db_hive_edu;
    
  create  table  student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';

执行Linux命令(最好是重新打开一个终端来执行)：
touch /opt/hive/student.txt

往文件中添加以下内容：
001 zhangsan

002 lisi

003 wangwu

004 zhaoliu

005 chenqi

ID和name直接是TAB键，不是空格，因为在上面创建表的语句中用了terminated by ‘\t’所以这个文本里id和name的分割必须是用TAB键。还有就是行与行之间不能有空行，否则下面执行load，会把NULL存入表内

完成上面的步骤后，在磁盘上/opt/hive/student.txt文件已经创建成功，文件中也已经有了内容，在hive命令行中执行加载数据的hive命令：

load   data  local   inpath   '/opt/hive/student.txt'   into   table   db_hive_edu.student;


   执行命令，查看是否把刚才文件中的数据写入成功，hive命令是：

  select  *  from    student;

在界面上查看刚才写入hdfs的数据，访问hadoop集群：

在MySQL数据库中执行select语句，查看hive创建的表，SQL是：
SELECT * FROM hive.TBLS