Luigi是一個Python軟件包,幫助你建立復(fù)雜的批處理作業(yè)管道,它可以處理依賴性解決、工作流管理、可視化、處理失敗、命令行集成等等,Luigi的目的是解決通常與長期運(yùn)行的批處理過程相關(guān)的所有管道問題。
功能介紹
建立復(fù)雜的批處理作業(yè)管道
很容易建立起由成千上萬個任務(wù)組成的長期運(yùn)行的流水線。
Luigi幫助你把許多任務(wù)連接起來
Luigi負(fù)責(zé)大量的工作流程管理
你的數(shù)據(jù)管道不會在包含部分?jǐn)?shù)據(jù)的狀態(tài)下崩潰
使用Luigi的可視化器,你可以對工作流的依賴關(guān)系圖有一個很好的可視化概述。