Ах, теперь я понимаю, в чём путаница.
Да, существует токен API (или ключ, который нужно получить в OpenAI), а также текстовые токены, представляющие части слов. Последние обрабатываются LLM. Первый используется для аутентификации в API.
Вот довольно хорошее руководство по терминологии от The Verge: