Star
SOURCE LIBRARY

nanoGPT OpenWebText 准备脚本

原始来源、版本、阅读范围与本地保存记录。

阅读原文
This article is written in Chinese. The original equations, source links, and code remain unchanged.
本页目录

来源ID:v1-math-nano-data

打开原始来源 · 原始登记信息 · 保存记录

这份资料用在哪里

阅读与版本

  • 实际登记的读取范围:第19–78行;文档划分、process分词、添加EOT和拼接token流;仅阅读未执行
  • 原生版本:3adf61e154c3fe3fca428ad6bc3818b27a3b8291
  • 原登记指纹:text-sha256:77f3ef0cc8132d77f90c2bd5f9c3be86d1b3da7428e100559c58aee2bcb6eb12
  • 定位:train_test_split; process; binary concatenation

本地资料

已有来源快照的保存记录;取得时间见档案,新克隆需重新下载本地缓存。

原文缓存位于Git忽略的sources/.local/,具体相对路径与字节SHA-256见保存记录。缓存可能是论文正文、源码文件或网站入口,保存记录中的representation会说明范围;保存不表示全文已阅读或结论已复现。

第三方全文默认只在本地留存。原作许可未核实时不随本仓库公开分发;本库MIT许可证不改变原作权利。

返回来源资料库

发现新的理解,或需要修正的地方?一起完善这篇笔记 ↗
试试 Transformer、RAG、Codex 或 KV 缓存