实战,让学习更简单     全国咨询热线:400-009-1906

北京 切换校区

全国24小时免费热线

400-009-1906

Hive命令的执行过程

时间:2018-12-04   来源:尚学堂   阅读:63
首页> Hive命令的执行过程

1.入口/bin/cli.sh

调用CliDriver类进行初始化过程

处理-e,-f, -h等信息,如果是-h,打印提示信息,并退出
>读取hive的配置文件,设置HiveConf
>创建一个控制台,进入交互模式

 

2.在交互方式下,读取每一个输命令行,直到‘;’为止,然后提交给processLine(cmd)方法处理,该方法将输入的流以;分割成多个命令,然后交给processCmd(cmd)方法。

 

3. ProcessCmd(cmd)对输入的命令行进行判断,根据命令的第一个记号(Token),分别进入相应的流程

quit or exit系统正常退出
>!开头的命令行执行操作系统命令
>source开头的,读取外部文件并执行文件中的命令list列出jar file archive
>其他命令提交给Commandprocess,进行命令的预处理

4.命令的预处理CommandProcess

根据输入命令的第一个记号,分别进行处理

set:调用SetProcess类, 设置hive的环境参数,并保存在该进程的HiveConf中
>dfs:调用DfsProcess类,调用hadoop的shell接口,执行hadoop的相关命令
>add:调用AddResourceProcessor,导入外部的资源,只对该进程有效
>delete:与add对应,删除资源
>其他:提交给Driver类,进行下一步的处理

5.命令的处理( Driver类的run方法)

1、编译complie (Hive的核心部分)
>通过语言识别工具Antlr,验证语句的合法性
>将sql转换成一个抽象语法树(AST)
>定义树解释器Operator,将AST翻译成逻辑操作树
>调用genMapRed方法,生成物理执行计划
2、获取读写锁
>对操作的表获取一个读写锁acquireReadWriteLocks
3、执行execute
>将生成的Task提交hadoop API处理
>返回任务的执行时间和状态(成功 or 失败)

6.获取执行的结果

任务执行失败,抛出异常
>执行成功后,调用Driver的GetReuslt方法, 顺序打开每一个输出文件
>获取每一行的输出,并打印到控制台

7.执行清理

清理hive执行过程中的中间文件和临时文件
>退出该条命令的执行,返回控制台并等待下一条命令的输入

最后附上一张流程图

 

相关资讯

  • 北京校区
  • 山西校区
  • 郑州校区
  • 武汉校区
  • 四川校区
  • 长沙校区
  • 深圳校区
  • 上海校区
  • 广州校区
  • 保定招生办

北京海淀区校区(总部):北京市海淀区西三旗街道建材城西路中腾建华商务大厦东侧二层尚学堂
北京京南校区:北京亦庄经济开发区科创十四街6号院1号楼 赛蒂国际工业园
咨询电话:400-009-1906 / 010-56233821
面授课程: JavaEE培训大数据就业班培训大数据云计算周末班培训零基础大数据连读班培训大数据云计算高手班培训人工智能周末班培训人工智能+Python全栈培训H5+PHP全栈工程师培训

山西学区地址:山西省晋中市榆次区大学城大学生活广场万科商业A1座702
咨询电话:0354-3052381 / 18903441162

郑州学区地址:金水区东风路经三路北100米注协大厦10楼
咨询电话:0371-55177956 

武汉学区地址:湖北省武汉市江夏区江夏大道26号 宏信悦谷创业园4楼
咨询电话:027-87989193

四川学区地址:成都市高新区锦晖西一街99号布鲁明顿大厦2栋1003室
咨询电话:028-65176856 / 13880900114

长沙学区地址:长沙市岳麓区麓源路湖南电子商务基地5楼(公交车站:六沟垅)
咨询电话:0731-83072091

深圳校区地址:深圳市宝安区航城街道航城大道航城创新创业园A4栋210(固戍地铁站C出口)
咨询电话:0755-23061965 / 18898413781

上海尚学堂松江校区地址:上海市松江区荣乐东路2369弄45号绿地伯顿大厦2层
咨询电话:021-67690939

广州校区地址:广州市天河区元岗横路31号慧通产业广场B区B1栋6楼尚学堂(地铁3号线或6号线到“天河客运站”D出口,右拐直走约800米)
咨询电话:020-2989 6995

保定招生办公室

地址:河北省保定市竞秀区朝阳南大街777号鸿悦国际1101室

电话:15132423123

Copyright 2006-2018 北京尚学堂科技有限公司  京ICP备13018289号-19  京公网安备11010802015183  
媒体联系:18610174079 闫老师  

有位老师想和您聊一聊