core.datasets

Subpackages

• core.datasets.retro
  • core.datasets.retro.config
    • core.datasets.retro.config.gpt_chunk_datasets
    • core.datasets.retro.config.bert_embedders
    • core.datasets.retro.config.config
    • core.datasets.retro.config.tokenizers
  • core.datasets.retro.index
    • core.datasets.retro.index.indexes
    • core.datasets.retro.index.index
    • core.datasets.retro.index.build
    • core.datasets.retro.index.validate
    • core.datasets.retro.index.factory
    • core.datasets.retro.index.utils
  • core.datasets.retro.query
    • core.datasets.retro.query.gpt_chunk_dataset
    • core.datasets.retro.query.multi_split_gpt_dataset
    • core.datasets.retro.query.query
    • core.datasets.retro.query.retro_dataset
    • core.datasets.retro.query.utils
  • core.datasets.retro.db
    • core.datasets.retro.db.build
    • core.datasets.retro.db.dataset
    • core.datasets.retro.db.utils
  • core.datasets.retro.external_libs
  • core.datasets.retro.utils

Submodules

• core.datasets.blended_megatron_dataset_builder
• core.datasets.multimodal_dataset
• core.datasets.t5_dataset
• core.datasets.gpt_dataset
• core.datasets.helpers
• core.datasets.object_storage_utils
• core.datasets.bert_dataset
• core.datasets.utils_s3
• core.datasets.megatron_tokenizer
• core.datasets.megatron_dataset
• core.datasets.blended_dataset
• core.datasets.masked_dataset
• core.datasets.indexed_dataset
• core.datasets.utils
• core.datasets.blended_megatron_dataset_config