当前位置:首页 > 编程笔记 > 正文
已解决

Spark SQL 外部数据源

来自网友在路上 164864提问 提问时间:2023-10-08 06:29:20阅读次数: 64

最佳答案 问答题库648位专家为你答疑解惑

 

1.简介

1.1 多数据源支持

Spark 支持以下六个核心数据源,同时 Spark 社区还提供了多达上百种数据源的读取方式,能够满足绝大部分使用场景。

- CSV

- JSON

- Parquet

- ORC

- JDBC/ODBC connections

- Plain-text files

 

1.2 读数据格式

所有读取 API 遵循以下调用格式:

// 格式
DataFrameReader.format(...).option("key", "value").schema(...).load()// 示例
spark.read.format("csv")
.option
查看全文

99%的人还看了

猜你感兴趣

版权申明

本文"Spark SQL 外部数据源":http://eshow365.cn/6-17146-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!