SQL 极速分析·格式任意转换

基于 DuckDB 嵌入式分析引擎的命令行专家工具，支持 SQL 直接查询 CSV/Parquet/JSON 等格式文件、高效数据转换与交互式数据分析。

基本信息

• 技能名称?DuckDB CLI skills
• 中文名称?SQL 极速分析·格式任意转换
• 作者?camelsprout
• 分类?其他
• 版本?1.0.0
• 标签?sql, database, data-analysis, cli, csv, parquet, json, etl, data-conversion, embedded-database, analytics, shell

使用方法

使用说明
核心用法
DuckDB CLI Specialist 是一款面向数据分析与文件转换的命令行专家工具，基于高性能的 DuckDB 嵌入式分析引擎。用户可直接对 CSV、Parquet、JSON 等常见数据文件执行 SQL 查询，无需预先导入数据库。核心工作流包括：使用 -c 参数执行单行 SQL 命令，通过 read_csv_auto 、 read_parquet 、 read_json_auto 等函数直接读取文件，利用 COPY ... TO 语法完成格式转换，以及启动交互式 shell 进行复杂查询。
工具提供 18 种输出格式（CSV、JSON、Markdown、HTML、LaTeX 等），支持管道与 stdin/stdout 重定向，便于集成到 Shell 工作流。内置丰富的 dot 命令（如 .tables 、 .schema 、 .mode ）用于元数据查询和输出控制。支持通过 ~/.duckdbrc 配置文件保存常用设置，并提供安全的只读模式和受限的安全模式。
显著优点

1. 零配置即用 ：无需数据库服务器，单文件执行 SQL 分析，极大降低数据探索门槛
2. 格式原生支持 ：Parquet 列式存储的直接读写性能优异，特别适合大数据集
3. 管道友好 ：完美适配 Unix 哲学，可嵌入复杂的数据处理流水线
4. 交互体验佳 ：智能 Tab 补全（关键字、表名、列名、路径）、语法高亮、外部编辑器集成
   潜在局限
   单机会话限制 ：无并发多用户支持，不适合生产级数据库服务场景
   内存依赖 ：大数据集分析受单机内存约束（尽管有流式处理优化）
   生态系统 ：相比 PostgreSQL/MySQL 等成熟数据库，高级特性（如复杂权限管理、复制集群）仍在演进
   WSL2 兼容性 ：部分 Ubuntu 版本存在内存限制显示异常
   适合人群
   数据工程师、分析师、科学家及开发者，尤其适用于：快速原型验证、ETL 脚本编写、日志分析、数据清洗转换、本地大数据文件探索等场景。
   常规风险
   文件系统暴露 ：默认模式可读写任意路径，多用户环境需谨慎
   SQL 注入式误操作 ：直接执行用户输入 SQL 可能破坏数据，建议配合只读模式 ( -readonly ) 或安全模式
   大数据内存压力 ：未加限制的聚合查询可能导致 OOM，建议对未知规模数据先使用 LIMIT 探查