全部 大数据新闻动态 大数据技术文章 大数据常见问题 技术问答

• • 

    Schema怎样实现反射机制推断？

    在Windows系统下开发Scala代码，可以使用本地环境测试，下载文件后计算机无法像人一样直观的感受字段的实际含义，通过反射机制可以推断包含特定类型对象的Schema信息，因此我们需要先完成Schema的开发。 查看全文>>

    大数据技术文章2021-03-23 |传智教育 |Schema，RDD转化之Schema的开发

  • 

    多种方法创建DataFrame【大数据技术文章】

    创建SparkSession对象可以通过“SparkSession.builder().getOrCreate()”方法获取，但当我们使用Spark-Shell编写程序时，Spark-Shell客户端会默认提供了一个名为“sc”的SparkContext对象和一个名为“spark”的SparkSession对象，因此我们可以直接使用这两个对象 查看全文>>

    大数据技术文章2021-03-23 |传智教育 |创建DataFrame,

  • 

    DataFrame是什么意思?与RDD相比有哪些优点？

    DataFrame是一种以RDD为基础的分布式数据集，因此DataFrame可以完成RDD的绝大多数功能，在开发使用时，也可以调用方法将RDD和DataFrame进行相互转换。 查看全文>>

    大数据技术文章2021-03-23 |传智教育 |DataFrame是什么,SchemaRDD,DataFrame与RDD区别

  • 

    Spark SQL架构的工作原理和工作流程是什么？

    Spark作为开源项目，外部开发人员可以针对项目需求自行扩展Catalyst优化器的功能。要想很好地支持SQL，就需要完成解析（Parser）、优化（Optimizer）、执行（Execution）三大过程。Catalyst优化器在执行计划生成和优化的工作时候，它离不开自己内部的五大组件，具体介绍如下所示。 查看全文>>

    大数据技术文章2021-03-23 |传智播客 |Spark SQL,Spark SQL架构的工作原理和工作流程，Catalyst优化器

  • 

    YARN体系结构工作流程介绍【大数据文章】

    掌握了YARN的体系结构后，接下来看一下YARN的工作流程，具体如下： 查看全文>>

    大数据技术文章2021-03-12 |传智教育 |YARN的体系结构

  • 

    Spark的应用场景有哪些？

    在数据科学应用中，数据工程师可以利用Spark进行数据分析与建模，由于Spark具有良好的易用性，数据工程师只需要具备一定的SQL语言基础、统计学、机器学习等方面的经验，以及使用Python、Matlab或者R语言的基础编程能力，就可以使用Spark进行上述工作。 查看全文>>

    大数据技术文章2021-03-12 |传智教育 |Spark,大数据,数据处理

  • 

    Watch机制的通知状态与事件类型简介

    同一个事件类型在不同的连接状态中代表的含义有所不同，当客户端断开连接，这时客户端和服务器的连接就是Disconnected状态，说明连接失败；当客户端和服务器的某一个节点建立连接，并完成一次version、zxid的同步，这时客户端和服务器的连接状态就是SyncConnected，说明连接成功； 查看全文>>

    大数据技术文章2021-03-11 |传智教育 |Watch机制的通知状态与事件类型简介

  • 

    Sequence File是什么？简单介绍几种文件储存格式

    Hadoop可以存储多种文件格式。在存储结构上，SequenceFile主要由一个Header后跟多条Record组成，Header主要包含了Key classname，value classname，存储压缩算法，用户自定义元数据等信息。 查看全文>>

    大数据技术文章2021-03-11 |传智教育 |Sequence File

  << < 1 2 3 4 5 6 7 8 9 ... 38 > >>