DolphinDB 作为一款高性能时序数据库，其在实际生产环境中常有数据的清洗、装换以及加载等需求，而对于该如何结构化管理好 ETL 作业，Airflow 提供了一种很好的思路。本篇教程为生产环境中 ETL 实践需求提供了一个解决方案，将 Python Airflow 引入到 DolphinDB 的高 ...

Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow 可能是能帮助您解决目前困境的神器。本文将为那些想要寻找新的工具或者说不知道有这款 ...

它是DAG定义文件 上面的Airflow Python脚本实际上只是一个配置文件，用代码来指定DAG结构，这一点可以让你的思路清晰一些（可能不是每个人都觉得很直观）。定义的任务会在不同的上下文中运行，并且上下文与脚本有关。不同的任务在不同的时间点运行在不同的工作节点上，这意味着脚本不适用于 ...