PipelineGenerationMixin

class PipelineGenerationMixin

重写 transformers 提供的 GenerationMixin 以支持 CoLLie 中的流水线 模型。

参数:

engine – DeepSpeedEngine 实例，可由         setup_ds_engine() 函数生成

set_engine(engine)

设置DeepSpeed Engine

generate(*args, **kwargs)

开始迭代的生成过程

generate_forward(input_ids=None, attention_mask=None, inputs_embeds=None, position_ids=None, use_cache=True, past_key_values=None, **kwargs)

进行迭代的流水线模型的前向传播（生成）

返回类型:

Tensor

train_forward(labels, input_ids=None, attention_mask=None, inputs_embeds=None, position_ids=None, past_key_values=None, **kwargs)

进行一次流水线模型的正反向传播

返回类型:

Tensor

eval_forward(labels, input_ids=None, attention_mask=None, inputs_embeds=None, position_ids=None, past_key_values=None, **kwargs)

进行一次流水线模型的正反向传播

返回类型:

Tensor

can_generate()

判断当前流水线模型是否可以进行生成

返回类型:

bool