构建管道处理Kaggle笔记本并提取数据集

我们使用Datatrove构建了一个管道，用于获取、去重和清理真实的Kaggle笔记本。我们还利用Meta Kaggle数据集提取了与这些真实笔记本相关的Kaggle数据集，从而能够获得非幻觉的代码执行回溯信息。