跳到主要内容

Loading from Bucket

当数据文件存储在对象存储 bucket 中时,例如 Amazon S3,可以使用 COPY INTO 命令将它们直接加载到 Databend 中。请注意,文件必须是 Databend 支持的格式,否则无法导入数据。有关 Databend 支持的文件格式的更多信息,请参见 Input & Output File Formats

image

本教程以 Amazon S3 bucket 为例,提供详细的分步指南,帮助你有效地完成从存储在 bucket 中的文件加载数据的过程。

Tutorial: Loading from Amazon S3 Bucket

Before You Begin

在开始之前,请确保已完成以下任务:

  1. 下载并将示例文件 books.parquet 保存到本地文件夹。该文件包含两条记录:
books.parquet
Transaction Processing,Jim Gray,1992
Readings in Database Systems,Michael Stonebraker,2004
  1. 在 Amazon S3 中创建一个 bucket,并将示例文件上传到该 bucket。有关如何执行此操作,请参考以下链接:

在本教程中,在 US East (Ohio) 区域(ID:us-east-2)中创建了一个名为 databend-toronto 的 bucket。

Alt text

Step 1. Create Target Table

在 Databend 中使用以下 SQL 语句创建一个表:

USE default;
CREATE TABLE books
(
title VARCHAR,
author VARCHAR,
date VARCHAR
);

Step 2. Copy Data into Table

  1. 使用 COPY INTO 命令将数据加载到目标表中:
COPY INTO books
FROM 's3://databend-toronto/'
CONNECTION = (
AWS_KEY_ID = '<my-access-key-id>',
AWS_SECRET_KEY = '<your-secret-access-key>',
REGION = 'us-east-2'
)
PATTERN = '.*[.]parquet'
FILE_FORMAT = (
TYPE = 'PARQUET'
);
  1. 检查加载的数据:
SELECT * FROM books;

---
title |author |date|
----------------------------+-------------------+----+
Transaction Processing |Jim Gray |1992|
Readings in Database Systems|Michael Stonebraker|2004|
开始使用 Databend Cloud
低成本
快速分析
多种数据源
弹性扩展
注册