Sei que esta postagem é de 2020, mas como ela nunca foi respondida (além de apenas dizer “olhe outro código” e “tabelas são muito difíceis”), pensei em contribuir e explicar como posso ajudar, já que estou escrevendo meu próprio plugin bbcode e tive que lutar sem nenhuma documentação.
Dei uma olhada na sua sintaxe de bbcode [table], e é um plugin perfeitamente razoável de se fazer, é apenas um encapsulamento. Sério, acho que o Sam nem olhou o link que você enviou, porque o formato do seu bbcode de tabela é praticamente o formato de tabela HTML, mas com tags bbcode.
Esta postagem realmente ajudou a explicar um pouco sobre como fazer isso.
Não tenho tempo agora para explicar como fazer o que você quer fazer (e testar para ver se realmente funciona), então, por enquanto, posso dizer que os tipos de token html_raw e html_block são bem úteis. Além disso, a melhor maneira de descobrir se está realmente funcionando é colocar console.log() na função wrap e, em seguida, ver o que você está realmente recebendo de volta no console (e ver se o que você está fazendo está funcionando, sem ter que se preocupar com o sanitizador agressivo do Discourse).