指南

继续训练

继续训练只适用于类型为「Train」的 checkpoint。PyTRIO 会加载已保存的模型权重和优化器状态,从断点继续训练。

如果还没有保存 Train checkpoint,请先使用 save_state,详见保存权重

获取 checkpoint 路径

流程十分简单,在WebUI上找到权重路径:

恢复模型和优化器状态

将权重路径填入 create_training_client_from_state_with_optimizerpath 中即可:

import pytrio as trio
 
service_client = trio.ServiceClient()

training_client = service_client.create_training_client_from_state_with_optimizer(
    path="YOUR_MODEL_PATH", 
)

之后可以继续执行 forward_backwardoptim_step,训练会从 checkpoint 中保存的状态继续。

仅加载权重

如果你希望仅加载权重而不加载优化器状态,可以使用 create_training_client_from_state

import pytrio as trio
 
service_client = trio.ServiceClient()

training_client = service_client.create_training_client_from_state(
    path="YOUR_MODEL_PATH", 
)

这种方式适合从已有权重初始化一个新的训练客户端;由于不会恢复优化器状态,它不是严格意义上的断点续训。

这篇文档对你有帮助吗?

本页目录