你好,欢迎来到电脑编程技巧与维护杂志社! 杂志社简介广告服务读者反馈编程社区  
合订本订阅
 
 
您的位置:技术专栏 / Web开发
Spark2.3.1APISparkSession解析
 

org.apache.spark.sql.SparkSession

1 dataset和dataframe API的入口

2 在REPL和databrick的notebooks环境中已经提前建立好了

对象

org.apache.spark.sql.SparkSession

1 为创建sparksession而创建一个builder

2 设置/获取/清除session

3 工厂方法模式,创建sparksession的接口

内部类

org.apache.spark.sql.SparkSession.Builder

1 builder是对象sparksession的内部类,使用builder pattern(将一个复杂对象的构建和它的表示相分离,使得同样的构建过程可以有不同的表示)

2 config/appname/master/getorcreate

3 enablehivesupport

通过修改配置

config(CATALOG_IMPLEMENTATION.key, "hive")

4 withextensions

注入自定义内容

SparkSessionExtensions

1 对SparkSession注入规则和策略,官方不保证稳定性

2 主要是注入客制化analyzer/optimizer/planner

 
  推荐精品文章

·2024年12月目录 
·2024年11月目录 
·2024年10月目录 
·2024年9月目录 
·2024年8月目录 
·2024年7月目录 
·2024年6月目录 
·2024年5月目录 
·2024年4月目录 
·2024年3月目录 
·2024年2月目录 
·2024年1月目录
·2023年12月目录
·2023年11月目录

  联系方式
TEL:010-82561037
Fax: 010-82561614
QQ: 100164630
Mail:gaojian@comprg.com.cn

  友情链接
 
Copyright 2001-2010, www.comprg.com.cn, All Rights Reserved
京ICP备14022230号-1,电话/传真:010-82561037 82561614 ,Mail:gaojian@comprg.com.cn
地址:北京市海淀区远大路20号宝蓝大厦E座704,邮编:100089