これが問題の原因だと思います。さらに、取り消し履歴を失わないように、この種のアドオンのtextareaでユーザー入力を模倣しているという事実もあります。
要素にspellcheck="false"を設定することで「解決」できると思いますが、明白な欠点があります。
問題の原因は引用符の一貫性のなさです。両端で同じスタイルの引用符があれば機能します。これらのセットのいずれかを使用できます。
引用時に2番目の引用符のみが変換されたのは奇妙です。手動で同じBBCodeを入力すると、両側が変換されます。