ColliePadder

class ColliePadder(padding_token_id={'attention_mask': 0, 'labels': -100}, padding_left=False)

CoLLie 中的通用 collate_fn 构造器

参数:

• padding_token – 用于填充模型输入数据 (input_ids) 的 token，为一个 Dict 决定不同的字段使用不同 id

• labels_padding_token – 用于填充模型标签数据 (labels) 的 token

• padding_left (bool, default: False) – 是否在左侧填充

collate_fn(batch)

用于填充的 collate_fn

参数:

batch (Sequence[Any]) – 一个 batch 的数据

返回类型:

Tensor

返回:

填充后的 batch