基于Volcano、ClusterD、Ascend Operator或HCCL Controller、NodeD、Ascend Device Plugin、和Elastic Agent等組件提供斷點續(xù)訓能力，實現(xiàn)故障發(fā)現(xiàn)、故障處理、任務重調度全流程自動化，訓練任務分鐘級恢復