输入与输出文件格式
引入或更新版本: v1.2.530
Databend 支持多种文件格式作为数据加载或卸载的源和目标。本页介绍支持的文件格式及其可用选项。
语法
在语句中指定文件格式,使用以下语法:
-- 指定标准文件格式
... FILE_FORMAT = ( TYPE = { CSV | TSV | NDJSON | PARQUET | ORC } [ formatTypeOptions ] )
-- 指定自定义文件格式
... FILE_FORMAT = ( FORMAT_NAME = '<your-custom-format>' )
- Databend 目前仅支持 ORC 作为源。将数据卸载到 ORC 文件尚不支持。
- 如果在执行 COPY INTO 或 SELECT 操作时未指定 FILE_FORMAT,Databend 将使用创建 Stage 时为 Stage 定义的文件格式。如果在创建 Stage 时未明确指定文件格式,Databend 默认使用 PARQUET 格式。如果指定的 FILE_FORMAT 与创建 Stage 时定义的不同,Databend 将优先使用操作中指定的 FILE_FORMAT。
- 有关在 Databend 中管理自定义文件格式的信息,请参阅 文件格式。
formatTypeOptions
formatTypeOptions
包含一个或多个描述文件其他格式细节的选项。选项因文件格式而异。请参阅以下各节,了解每种支持的文件格式的可用选项。
formatTypeOptions ::=
RECORD_DELIMITER = '<character>'
FIELD_DELIMITER = '<character>'
SKIP_HEADER = <integer>
QUOTE = '<character>'
ESCAPE = '<character>'
NAN_DISPLAY = '<string>'
ROW_TAG = '<string>'
COMPRESSION = AUTO | GZIP | BZ2 | BROTLI | ZSTD | DEFLATE | RAW_DEFLATE | XZ | NONE