llmcompressor.transformers.data.cnn_dailymail

类

• CNNDailyMailDataset –

  CNN/DailyMail 数据集的文本生成类

CNNDailyMailDataset

CNNDailyMailDataset(
    dataset_args: DatasetArguments,
    split: str,
    processor: Processor,
)

基类：TextGenerationDataset

CNN/DailyMail 数据集的文本生成类

参数

• dataset_args

  (DatasetArguments) –

  数据集加载的配置设置

• split

  (str) –

  从数据集中加载的拆分，例如 test 或 train[:5%]

• processor

  (Processor) –

  要在数据集上使用的处理器或分词器

源代码在 llmcompressor/transformers/data/cnn_dailymail.py

def __init__(
    self, dataset_args: "DatasetArguments", split: str, processor: Processor
):
    dataset_args = deepcopy(dataset_args)
    dataset_args.dataset = "cnn_dailymail"
    dataset_args.dataset_config_name = "3.0.0"

    super().__init__(dataset_args=dataset_args, split=split, processor=processor)