Ahora entiendo la confusión.
Sí, hay un token de API (o clave, que necesitas obtener de OpenAI) y hay tokens de texto que representan partes de palabras. Estos últimos son procesados por el LLM. El primero es para que la API te autentifique.
Aquí tienes una guía bastante buena sobre la terminología de The Verge: