arrow
返回

DataLoom: Simplifying Data Loading with LLMs

delete2024-11-08
delete0
PRE
AI
A
Alexander van Renen *
S
Stoian, Mihail
A
Andreas Kipf
DOI:10.14778/3685800.3685897delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
模式发现和数据加载是任何数据分析流水线中的关键步骤。虽然这项任务过去较为少见,但在机器学习高度动态的领域以及基于数据湖的现代商业智能中,如今它已成为一项频繁但常被低估的活动。现有工具通常关注单个文件,假设用户已具备数据方面的先验知识或需要大量手动劳动。在本文中,我们改进了将一组混乱的文件映射到初始数据库模式的过程,该模式随后可进行迭代细化和加载。我们的思路是利用大型语言模型(LLMs)自动化此前繁琐的流程部分,同时将约束发现等已得到良好解决的问题交给现有算法。我们因此仔细协调LLMs用于软问题以及传统算法用于硬问题的应用。这为用户创造了更无缝的模式发现和数据加载体验,同时最小化用户获得初步见解所需的时间。我们在名为DataLoom的网页原型中展示了这一愿景,该原型作为我们的演示工具。

期刊

P
Proceedings of the VLDB Endowment
IF:
3.3
论文数:
563
被引数:
1.2W

机构

暂无机构信息
引用论文

引用论文

Wrangler
err2011-05-07
err0
PREAI
errSean Kandel; Andreas Paepcke; Joseph Hellerstein; Jeffrey Heer
err分享
err收藏
JOSIE
err2019-06-25
err0
errOAAI
errErkang Zhu; Dong Deng; Fatemeh Nargesian; Renée J. Miller
err分享
err收藏
Data profiling with metanome
err2015-08-01
err0
PREAI
errThorsten Papenbrock; Tanja Bergmann; Moritz Finke; Jakob Zwiener; Felix Naumann
err分享
err收藏
The Snowflake Elastic Data Warehouse
err2016-06-14
err0
errOAAI
errBenoit Dageville; Thierry Cruanes; Marcin Zukowski; Vadim Antonov; Artin Avanes; Jon Bock; Jonathan Claybaugh; Daniel Engovatov; Martin Hentschel; Jiansheng Huang; Allison W. Lee; Ashish Motivala; Abdul Q. Munir; Steven Pelley; Peter Povinec; Greg Rahn; Spyridon Triantafyllis; Philipp Unterbrunner
err分享
err收藏
Data profiling revisited
err2014-02-28
err0
errOAAI
errFelix Naumann
err分享
err收藏
DuckDB
err2019-06-25
err0
errOAAI
errMark Raasveldt; Hannes Mühleisen
err分享
err收藏
Data lake management
err2019-08-01
err0
PREAI
errFatemeh Nargesian; Erkang Zhu; Renée J. Miller; Ken Q. Pu; Patricia C. Arocena
err分享
err收藏
err分享
err收藏
没有更多内容