Spark编程指南-开始

Spark中所有相关功能的入口点是SQLContext类或者它的子类，

创建一个SQLContext的所有需要仅仅是一个SparkContext。

   val sc: SparkContext // An existing SparkContext.
   val sqlContext = new org.apache.spark.sql.SQLContext(sc)

   // createSchemaRDD is used to implicitly convert an RDD to a SchemaRDD.
   import sqlContext.createSchemaRDD

除了一个基本的SQLContext，你也能够创建一个HiveContext，它支持基本SQLContext所支持功能的一个超集。它的额外的功能包括用更完整的HiveQL分析器写查询去访问HiveUDFs的能力、

从Hive表读取数据的能力。用HiveContext你不需要一个已经存在的Hive开启，SQLContext可用的数据源对HiveContext也可用。HiveContext分开打包是为了避免在Spark构建时包含了所有

的Hive依赖。如果对你的应用程序来说，这些依赖不存在问题，Spark 1.2推荐使用HiveContext。以后的稳定版本将专注于为SQLContext提供与HiveContext等价的功能。

用来解析查询语句的特定SQL变种语言可以通过spark.sql.dialect选项来选择。这个参数可以通过两种方式改变，一种方式是通过setConf方法设定，另一种方式是在SQL命令中通过SET key=value

来设定。对于SQLContext，唯一可用的方言是"sql”，它是Spark SQL提供的一个简单的SQL解析器。在HiveContext中，虽然也支持"sql”，但默认的方言是"hiveql”。这是因为HiveQL解析器更

完整。在很多用例中推荐使用"hiveql”。

文章列表

更多推荐

更多
  • IOS开发者的AWS和DevOps指南-十、iOS 应用开发的持续交付渠道 Jenkins 管道公司，AWS 代码管道，摘要，Fastlane 测试阶段，AWS 设备场测试阶段，Fastlane 构建阶段，Fastlane 交付阶段，为 AWS 代码管道设置 Jenkins 环境，在 AWS 控制台上设置代码管
    Apache CN

  • IOS开发者的AWS和DevOps指南-九、将 AWS 设备群用于测试 AWS 设备群简介，为应用测试生成 ipa 包，设置设备场项目并安排测试运行，AWS 设备场 Jenkins 插件，使用 Jenkins 自动化 AWS 设备群测试，摘要，使用 AWS 控制台安排测试运行，使用 AWS CLI 计划测试
    Apache CN

  • IOS开发者的AWS和DevOps指南-八、使用 Fastlane 自动构建、测试和发布 使用 Fastlane 匹配和亚马逊 S3 设置代码签名，设置 Jenkins 环境，用 Fastlane 自动化测试和构建，自动发布到 App Store Connect，摘要，正在初始化 Fastlane 匹配，在亚马逊 S3 存储
    Apache CN

  • IOS开发者的AWS和DevOps指南-六、使用 AWS CodeCommit 的源代码管理 Git 基础，创建 AWS 代码提交存储库，在 AWS 代码提交中添加源代码，AWS 代码提交中分支，AWS 代码提交中的拉请求，摘要，Git 安装，初始化 Git 存储库，记录对 Git 存储库的更改，克隆和使用远程 Git 存储库，
    Apache CN

  • IOS开发者的AWS和DevOps指南-七、将 AWS CodeCommit 与 Jenkins 集成 Jenkins 代码提交插件，设置集成组件，配置插件，使用 AWS 代码提交源创建 Jenkins 作业，摘要，通过 AWS 控制台设置组件，通过 Terraform 设置组件，测试 AWS 代码提交插件， 当应用源代码存储在 AWS
    Apache CN

  • IOS开发者的AWS和DevOps指南-四、AWS 上的 macOS 服务器 Amazon EC2 Mac 服务器，部署 Amazon EC2 Mac 服务器，连接到 Amazon EC2 Mac 服务器，使用 Amazon CloudWatch 监控 EC2 Mac 服务器，清理 Amazon EC2 Mac
    Apache CN

  • IOS开发者的AWS和DevOps指南-五、在 macOS 实例上设置开发工具 增加 macOS 实例宗卷大小，设置 Xcode，陷害 Jenkins，建立 Fastlane，设置 GitLab，摘要，Xcode 命令行工具，供应 Jenkins 控制器，EC2 Mac 实例作为 Jenkins 构建代理，创建 G
    Apache CN

  • IOS开发者的AWS和DevOps指南-三、亚马逊网络服务（AWS）上的 DevOps 三、亚马逊网络服务AWS上的 DevOpsAWS 上的持续集成，AWS 上的连续交付，基础设施作为代码，监控和记录，摘要，AWS 代码提交，AWS 代码构建，AWS 程式码人工因素，AWS 代码部署，AWS 代码管道，AWS 云阵，AW
    Apache CN

  • IOS开发者的AWS和DevOps指南-二、从 Xcode 到 App Store Connect 标识符，应用商店连接，从 Xcode 上传构件，测试和发布，摘要，截图和应用详细信息，TestFlight 软件，应用提交， 在前一章中，我们看到了如何使用 Xcode 在物理 iPhone 设备和模拟器上构建和运行应用。我们将进一步探
    Apache CN

  • IOS开发者的AWS和DevOps指南-一、iOS 应用开发基础 开发要求，迅速发生的，摘要，苹果个人计算机，苹果开发者账户，Xcode 简介，创建应用，构建应用，Xcode 命令行工具， 为了开发 iOS 应用，苹果提供了几种工具和资源。iOS 应用可以用原生编程语言开发，如 Swift 或 Obj
    Apache CN

    • 雨中散步撒哈拉

    625
    文章数
    1066
    获赞数
    1024
    粉丝数
    Apache Spark Spark编程指南

    近期文章

    更多
    文章目录

      热门标签

      更多

      推荐作者

      更多