程序中的Hive具体是干什么用的呢?

发布网友发布时间：2022-04-25 21:01

共2个回答

懂视网时间：2022-04-29 21:36

1、hive开放jdbc接口，开发需要导入jar如下

commons-logging-1.0.4.jar
hadoop-common-2.6.0.jar
hive_exec.jar
hive_jdbc.jar
hive_metastore.jar
hive_service.jar
httpclient-4.2.5.jar
httpcore-4.2.5.jar
libfb303.jar
log4j-1.2.16.jar
slf4j-api-1.7.5.jar
slf4j-log4j12-1.7.5.jar

2、开发的实例程序如下

package com.gw;

import java.io.InputStream;
import java.net.URL;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;

import org.apache.log4j.Logger;

/**
* @author wangweifeng
* @description:通过jdbc连接到hive实现如下操作：建表、删表、对表进行描述、从本地文件系统导入数据、执行查询
*
*/

public class HiveJdbcClient {

   public static Statement jdbcStatemt;
   private static ResultSet res = null;
   private static final Logger log = Logger.getLogger(HiveJdbcClient.class);

   // 采用单例模式创建一个jdbcstatemt
   public static Statement getJdbcStatemt() throws Exception {
       if (jdbcStatemt == null) {
           Properties prop = new Properties();
           URL url = Thread.currentThread().getContextClassLoader()
                   .getResource("config.properties");
           InputStream in = url.openStream();
           prop.load(in);
           String driverName = prop.getProperty("driverName");
           String jdbcUrl = prop.getProperty("jdbcUrl");
           String userName = prop.getProperty("userName");
           String password = prop.getProperty("password");
           // 1、使用CLASS 类加载驱动程序
           Class.forName(driverName);
           // 2、连接数据库
           Connection con = DriverManager.getConnection(jdbcUrl, userName,
                   password);
           // 3、Statement 接口需要通过Connection 接口进行实例化操作
           jdbcStatemt = con.createStatement();
       }
       return jdbcStatemt;
   }

   // 关闭jdbc连接
   public static void closeStatement() throws Exception {
       if (!jdbcStatemt.isClosed()) {
           jdbcStatemt.close();
       }
   }

   public static void main(String[] args) {

       try {
           jdbcStatemt = getJdbcStatemt();
       } catch (Exception e) {
           e.printStackTrace();
       }
       String Hql = "";
       /* String tableName = "DemiClass"; */
       /* String tableName = "DemiDate"; */
       /* String tableName = "DemiDept"; */
       String tableName = "tXsXsMxFactA";
       String rowTerminated = " ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,‘ ";
       String lineTerminated = " LINES TERMINATED BY ‘ ‘ ";

       // 1、删除表
       Hql = "DROP TABLE IF EXISTS " + tableName;
       try {
           jdbcStatemt.execute(Hql);
           System.out.println("表删除成功！");
       } catch (SQLException e1) {
           System.out.println("表删除失败！");
           e1.printStackTrace();
       }

       // 2、创建表
       /*
       * Hql = "CREATE EXTERNAL TABLE " + tableName +
       * "(clscode STRING,cty_big STRING,cty_sml STRING) " + rowTerminated +
       * lineTerminated;
       */

       /*
       * Hql = "CREATE EXTERNAL TABLE " + tableName +
       * "(XSDATE STRING,YEAR STRING,MONTH STRING,DAY STRING) " +
       * rowTerminated + lineTerminated;
       */

       /*
       * Hql = "CREATE EXTERNAL TABLE " + tableName +
       * "(DEPCODE STRING,BRANCH_NAM STRING,GROUP_NAME STRING,DEPNAME STRING) "
       * + rowTerminated + lineTerminated;
       */

       Hql = "CREATE EXTERNAL TABLE "
               + tableName
               + "(CLSCODE STRING,DEPCODE STRING,XSDATE STRING,JXCOUNT INT,DXCOUNT INT,LXCOUNT INT,JXTOTAL DOUBLE,DXTOTAL DOUBLE,LXTOTAL DOUBLE) "
               + rowTerminated + lineTerminated;

       try {
           jdbcStatemt.execute(Hql);
           System.out.println("表创建成功！");
       } catch (SQLException e) {
           System.out.println("表创建失败！");
           e.printStackTrace();
       }

       // 3、执行“show tables”操作
       Hql = " SHOW TABLES ‘" + tableName + "‘";
       System.out.println("Running:" + Hql);
       try {
           res = jdbcStatemt.executeQuery(Hql);
           if (res.next()) {
               System.out.println(res.getString(1));
           }
       } catch (SQLException e) {
           e.printStackTrace();
       }

       // 4、执行“describe table”操作
       Hql = " DESCRIBE " + tableName;
       System.out.println("Running:" + Hql);
       try {
           res = jdbcStatemt.executeQuery(Hql);
           System.out.println("执行" + Hql + " 运行结果:");
           while (res.next()) {
               System.out.println(res.getString(1) + " " + res.getString(2));
           }
       } catch (SQLException e) {
           e.printStackTrace();
       }

       // 5、执行“load data into table”操作
       /*
       * String filePath =
       * "/home/Hadoop/Desktop/createTable_And_Data/DemiClass.csv"; Hql =
       * "LOAD DATA LOCAL INPATH ‘" + filePath +
       * "‘ OVERWRITE INTO TABLE DemiClass";
       */

       /*
       * String filePath =
       * "/home/Hadoop/Desktop/createTable_And_Data/DemiDate.csv"; Hql =
       * "LOAD DATA LOCAL INPATH ‘" + filePath+
       * "‘ OVERWRITE INTO TABLE DemiDate";
       */

       /*
       * String filePath =
       * "/home/Hadoop/Desktop/createTable_And_Data/DemiDept.csv"; Hql =
       * "LOAD DATA LOCAL INPATH ‘" + filePath+
       * "‘ OVERWRITE INTO TABLE DemiDept";
       */

       String filePath = "/home/Hadoop/Desktop/createTable_And_Data/tXsXsMxFactA.csv";
       Hql = "LOAD DATA LOCAL INPATH ‘" + filePath
               + "‘ OVERWRITE INTO TABLE tXsXsMxFactA";

       System.out.println("Running:" + Hql);
       try {
           jdbcStatemt.executeQuery(Hql);
           System.out.println("数据导入成功！");
       } catch (Exception SQLException) {
           System.out.println("bug!");
       }

       // 6、执行“select * query”操作
       // 执行“select * query”操作

       Hql = "SELECT * FROM " + tableName;
       System.out.println("Running:" + Hql);
       try {
           res = jdbcStatemt.executeQuery(Hql);
           System.out.println("执行“select * query”运行结果:");
           while (res.next()) {

               /*
               * System.out.println(res.getInt(1) + " " + res.getString(2) +
               * " " + res.getString(3));
               */

               /*
               * System.out.println(res.getString(1) + " " + res.getString(2)
               * + " " + res.getString(3) + " " + res.getString(4));
               */

               System.out.println(res.getString(1) + " " + res.getString(2)
                       + " " + res.getString(3) + " " + res.getInt(4) + " "
                       + res.getInt(5) + " " + res.getInt(6) + " "
                       + res.getDouble(7) + " " + res.getDouble(8) + " "
                       + res.getDouble(9) + " ");
           }
       } catch (SQLException e) {
           e.printStackTrace();
       }

       // 7、执行一个连接操作，查找某一天，某个部门，
       Hql = " select dd.XSDATE ,ddp.BRANCH_NAM, dc.CTY_BIG, fac.DXCOUNT, fac.DXTOTAL from tXsXsMxFactA fac join DemiClass dc on (fac.CLSCODE = dc.CLSCODE)"
               + "join DemiDate dd on (fac.XSDATE = dd.XSDATE) join DemiDept ddp on (fac.DEPCODE = ddp.DEPCODE) WHERE dd.XSDATE BETWEEN ‘2004-04-27‘ AND ‘2004-05-20‘";
       try {
           res = jdbcStatemt.executeQuery(Hql);
           while (res.next()) {
               System.out.println(res.getString(1) + " " + res.getString(2)
                       + " " + res.getString(3) + " " + res.getInt(4) + " "
                       + res.getDouble(5));
           }
       } catch (Exception e) {
           e.printStackTrace();
       }

       try {
           closeStatement();
       } catch (Exception e) {
           e.printStackTrace();
       }

   }
}

Hive中jdbc接口

标签：

热心网友时间：2022-04-29 18:44

Hive是基于Hadoop平台的数仓工具，具有海量数据存储、水平可扩展、离线批量处理的优点，解决了传统关系型数仓不能支持海量数据存储、水平可扩展性差等问题，但是由于Hive数据存储和数据处理是依赖于HDFS和MapRece，因此在Hive进行数据离线批量处理时，需将查询语言先转换成MR任务，由MR批量处理返回结果，所以Hive没法满足数据实时查询分析的需求。
Hive是由FaceBook研发并开源，当时FaceBook使用Oracle作为数仓，由于数据量越来越大，Oracle数仓性能越来越差，没法实现海量数据的离线批量分析，因此基于Hadoop研发Hive，并开源给Apacha。
由于Hive不能实现数据实时查询交互，Hbase可提供实时在线查询能力，因此Hive和Hbase形成了良性互补。Hbase因为其海量数据存储、水平扩展、批量数据处理等优点，也得到了广泛应用。
Pig与HIVE工具类似，都可以用类sql语言对数据进行处理。但是他们应用场景有区别，Pig用于数据仓库数据的ETL，HIVE用于数仓数据分析。
从架构图当中，可看出Hive并没有完成数据的存储和处理，它是由HDFS完成数据存储，MR完成数据处理，其只是提供了用户查询语言的能力。Hive支持类sql语言，这种SQL称为Hivesql。用户可用Hivesql语言查询，其驱动可将Hivesql语言转换成MR任务，完成数据处理。
【Hive的访问接口】
CLI：是hive提供的命令行工具
HWI：是Hive的web访问接口
JDBC/ODBC：是两种的标准的应用程序编程访问接口
Thrift Server：提供异构语言，进行远程RPC调用Hive的能力。
因此Hiv具备丰富的访问接口能力，几乎能满足各种开发应用场景需求。
【Driver】
是HIVE比较核心的驱动模块，包含编译器、优化器、执行器，职责为把用户输入的Hivesql转换成MR数据处理任务
【Metastore】
是HIVE的元数据存储模块，数据的访问和查找，必须要先访问元数据。Hive中的元数据一般使用单独的关系型数据库存储，常用的是Mysql，为了确保高可用，Mysql元数据库还需主备部署。
架构图上面Karmasphere、Hue、Qubole也是访问HIVE的工具，其中Qubole可远程访问HIVE，相当于HIVE作为一种公有云服务，用户可通过互联网访问Hive服务。
Hive在使用过程中出现了一些不稳定问题，由此发展出了Hive HA机制，