Ah, agora entendo a confusão.
Sim, existe um token de API (ou chave, que você precisa obter da OpenAI) e existem tokens de texto que representam partes de palavras. Estes últimos são processados pelo LLM. O primeiro serve para que você seja autenticado pela API.
Aqui está um guia muito bom sobre a terminologia do The Verge: