サイドバーにカスタムカテゴリアイコンを追加するには?

それらはサイト用にカスタマイズされた絵文字で、カテゴリ設定で使用されているものだと考えられます。

管理画面 > 絵文字 から、独自の絵文字を追加できます。

その後、カテゴリ設定でそれらを選択できます。