RetrievalCollator

class trove.data.collator.RetrievalCollator(data_args, tokenizer, append_eos)
data_args: DataArguments
tokenizer: PreTrainedTokenizer
append_eos: bool