1 line
1.8 MiB
Plaintext
1 line
1.8 MiB
Plaintext
|
{"version":3,"file":"gpt3-tokenizer.js","sources":["../src/text-encoder.ts","../src/text-decoder.ts","../src/bpe-vocab.ts","../src/bpe-regex.ts","../src/encodings.ts","../src/tokenizer.ts","../src/index-browser.ts"],"sourcesContent":["// import { TextEncoder } from 'util';\n\nif (typeof TextEncoder === 'undefined') {\n throw new Error(\n 'TextEncoder is required for this module to work in the browser'\n );\n}\n\n// @ts-ignore\nexport default TextEncoder;\n","// import { TextDecoder } from 'util';\n\nif (typeof TextDecoder === 'undefined') {\n throw new Error(\n 'TextDecoder is required for this module to work in the browser'\n );\n}\n\n// @ts-ingore\nexport default TextDecoder;\n","// This is grabbed from source code of https://beta.openai.com/tokenizer?view=bpe\nconst bpeVocab: string = '#version: 0.2\\n\\u0120 t\\n\\u0120 a\\nh e\\ni n\\nr e\\no n\\n\\u0120t he\\ne r\\n\\u0120 s\\na t\\n\\u0120 w\\n\\u0120 o\\ne n\\n\\u0120 c\\ni t\\ni s\\na n\\no r\\ne s\\n\\u0120 b\\ne d\\n\\u0120 f\\nin g\\n\\u0120 p\\no u\\n\\u0120a n\\na l\\na r\\n\\u0120t o\\n\\u0120 m\\n\\u0120o f\\n\\u0120 in\\n\\u0120 d\\n\\u0120 h\\n\\u0120an d\\ni c\\na s\\nl e\\n\\u0120t h\\ni on\\no m\\nl l\\nen t\\n\\u0120 n\\n\\u0120 l\\ns t\\n\\u0120 re\\nv e\\n\\u0120 e\\nr o\\nl y\\n\\u0120b e\\n\\u0120 g\\n\\u0120 T\\nc t\\n\\u0120 S\\ni d\\no t\\n\\u0120 I\\nu t\\ne t\\n\\u0120 A\\n\\u0120 is\\n\\u0120 on\\ni m\\na m\\no w\\na y\\na d\\ns e\\n\\u0120th at\\n\\u0120 C\\ni g\\n\\u0120f or\\na c\\n\\u0120 y\\nv er\\nu r\\n\\u0120 u\\nl d\\n\\u0120s t\\n\\u0120 M\\n\\' s\\n\\u0120 he\\n\\u0120 it\\nat ion\\nit h\\ni r\\nc e\\n\\u0120y ou\\ni l\\n\\u0120 B\\n\\u0120w h\\no l\\n\\u0120 P\\n\\u0120w ith\\n\\u0120 1\\nt er\\nc h\\n\\u0120a s\\n\\u0120w e\\n\\u0120 (\\nn d\\ni ll\\n\\u0120 D\\ni f\\n\\u0120 2\\na g\\ner s\\nk e\\n\\u0120 \"\\n\\u0120 H\\ne m\\n\\u0120c on\\n\\u0120 W\\n\\u0120 R\\nhe r\\n\\u0120w as\\n\\u0120 r\\no d\\n\\u0120 F\\nu l\\nat e\\n\\u0120a t\\nr i\\np p\\no re\\n\\u0120T he\\n\\u0120s e\\nu s\\n\\u0120p ro\\n\\u0120h a\\nu m\\n\\u0120a re\\n\\u0120d e\\na in\\nan d\\n\\u0120o r\\nig h\\nes t\\nis t\\na b\\nr om\\n\\u0120 N\\nt h\\n\\u0120c om\\n\\u0120 G\\nu n\\no p\\n0 0\\n\\u0120 L\\n\\u0120n ot\\nes s\\n\\u0120e x\\n\\u0120 v\\nre s\\n\\u0120 E\\ne w\\nit y\\nan t\\n\\u0120b y\\ne l\\no s\\nor t\\no c\\nq u\\n\\u0120f rom\\n\\u0120ha ve\\n\\u0120s u\\ni ve\\nou ld\\n\\u0120s h\\n\\u0120th is\\nn t\\nr a\\np e\\nigh t\\nar t\\nm ent\\n\\u0120a l\\nu st\\nen d\\n- -\\nal l\\n\\u0120 O\\nac k\\n\\u0120c h\\n\\u0120 le\\ni es\\nre d\\nar d\\n\\xe2 \\u0122\\nou t\\n\\u0120 J\\n\\u0120a b\\ne ar\\ni v\\nal ly\\nou r\\no st\\ng h\\np t\\n\\u0120p l\\nas t\\n\\u0120c an\\na k\\nom e\\nu d\\nT he\\n\\u0120h is\\n\\u0120d o\\n\\u0120g o\\n\\u0120h as\\ng e\\n\\' t\\n\\u0120 U\\nr ou\\n\\u0120s a\\n\\u0120 j\\n\\u0120b ut\\n\\u0120w or\\n\\u0120a ll\\ne ct\\n\\u0120 k\\nam e\\n\\u0120w ill\\no k\\n\\u0120w he\\n\\u0120the y\\nid e\\n0 1\\nf f\\nic h\\np l\\nt her\\n\\u0120t r\\n. .\\n\\u0120in t\\ni e\\nu re\\nag e\\n\\u0120n e\\ni al\\na p\\nin e\\nic e\\n\\u0120m e\\n\\u0120o ut\\nan s\\non e\\non g\\nion s\\n\\u0120wh o\\n\\u0120 K\\n\\u0120u p\\n\\u0120the ir\\n\\u0120a d\\n\\u0120 3\\n\\u0120u s\\nat ed\\nou s\\n\\u0120m ore\\nu e\\no g\\n\\u0120S t\\nin d\\ni ke\\n\\u0120s o\\nim e\\np er\\n. \"\\nb er\\ni z\\na ct\\n\\u0120on e\\n\\u0120sa id\\n\\u0120 -\\na re\\n\\u0120you r\\nc c\\n\\u0120T h\\n\\u0120c l\\ne p\\na ke\\nab le\\ni p\\n\\u0120con t\\n\\u0120wh ich\\ni a\\n\\u0120 im\\n\\u0120ab out\\n\\u0120we re\\nver y\\nu b\\n\\u0120h ad\\n\\u0120 en\\n\\u0120com p\\n, \"\\n\\u0120I n\\n\\u0120u n\\n\\u0120a g\\ni re\\nac e\\na u\\nar y\\n\\u0120w ould\\nas s\\nr y\\n\\u0120 \\xe2\\u0122\\nc l\\no ok\\ne re\\ns o\\n\\u0120 V\\nig n\\ni b\\n\\u0120of f\\n\\u0120t e\\nv en\\n\\u0120 Y\\ni le\\no se\\nit e\\nor m\\n\\u01202 01\\n\\u0120re s\\n\\u0120m an\\n\\u0120p er\\n\\u0120o ther\\nor d\\nul t\\n\\u0120be en\\n\\u0120l ike\\nas e\\nan ce\\nk s\\nay s\\now n\\nen ce\\n\\u0120d is\\nct ion\\n\\u0120an y\\n\\u0120a pp
|