Ahora entiendo la confusión.
SÃ, hay un token de API (o clave, que necesitas obtener de OpenAI) y hay tokens de texto que representan partes de palabras. Estos últimos son procesados por el LLM. El primero es para que la API te autentifique.
Aquà tienes una guÃa bastante buena sobre la terminologÃa de The Verge: