EvaluatorForPerplexity

class EvaluatorForPerplexity(loss_fn=GPTLMLoss(   (loss): CrossEntropyLoss() ), collate_fn=<collie.utils.padder.ColliePadder object>, *args, **kwargs)

static eval_fn(evaluator, batch)

一次验证的基本单元

参数:

• evaluator – 训练器

• batch (Tuple) –

  一个 batch 的数据，类型为长度为 Dict，格式为：

  {

  “input_ids”: torch.tensor([[1, 100, 100, 2]]), “labels”: torch.tensor([[1, 100, 100, 2]]),

  }

返回类型:

Any

返回:

一次验证的结果，为 Dict 类型，该结果会被传入 metric 的 update 方法中