跳到主要内容

卸载 CSV 文件

卸载 CSV 文件

语法:

COPY INTO { internalStage | externalStage | externalLocation }
FROM { [<database_name>.]<table_name> | ( <query> ) }
FILE_FORMAT = (
TYPE = CSV,
RECORD_DELIMITER = '<character>',
FIELD_DELIMITER = '<character>',
COMPRESSION = gzip,
OUTPUT_HEADER = true -- 卸载时带表头
)
[MAX_FILE_SIZE = <num>]
[DETAILED_OUTPUT = true | false]

教程

Step 1. 创建一个 External Stage

CREATE STAGE csv_unload_stage
URL = 's3://unload/csv/'
CONNECTION = (
ACCESS_KEY_ID = '<your-access-key-id>'
SECRET_ACCESS_KEY = '<your-secret-access-key>'
);

Step 2. 创建自定义 CSV 文件格式

CREATE FILE FORMAT csv_unload_format
TYPE = CSV,
RECORD_DELIMITER = '\n',
FIELD_DELIMITER = ',',
COMPRESSION = gzip, -- 卸载时使用 gzip 压缩
OUTPUT_HEADER = true, -- 卸载时带表头
SKIP_HEADER = 1; -- 仅用于加载,如果 CSV 文件有表头,查询时跳过第一行

Step 3. 卸载到 CSV 文件

COPY INTO @csv_unload_stage
FROM (
SELECT *
FROM generate_series(1, 100)
)
FILE_FORMAT = (FORMAT_NAME = 'csv_unload_format')
DETAILED_OUTPUT = true;

结果:

┌──────────────────────────────────────────────────────────────────────────────────────────┐
│ file_name │ file_size │ row_count │
├──────────────────────────────────────────────────────────────────┼───────────┼───────────┤
│ data_c8382216-0a04-4920-9eca-7b5debe3eed6_0000_00000000.csv.gz │ 187 │ 100 │
└──────────────────────────────────────────────────────────────────────────────────────────┘

Step 4. 验证卸载的 CSV 文件

SELECT COUNT($1)
FROM @csv_unload_stage
(
FILE_FORMAT => 'csv_unload_format',
PATTERN => '.*[.]csv[.]gz'
);

结果:

┌───────────┐
│ count($1) │
├───────────┤
│ 100 │
└───────────┘