カスタムテーマでコンポーネントを使用している場合、javascripts/discourse/components/ に目的のHTMLを持つ .hbs ファイルを作成し、ブロックの custom-html の代わりにファイル名（.hbs を除く）を使用できます。
編集：なぜ .html の代わりに .hbs を使用するのか疑問に思っている方のために説明します。この方法では、カスタム Ember.js コンポーネントが作成され、Right Sidebar Blocks は名前でそれを特定し、ブロックの1つとして使用できます。.hbs は handlebars ファイルです。Handlebars は Ember.js で使用される「テンプレート」言語で、HTML のように見えますが、動的なデータの挿入、条件に基づく要素の表示、または異なるデータで満たされた同じコンテンツの複数のコピーの表示などが可能です。面白そうだと思った方は、Discourseテーマ開発者向け入門ガイド で、Discourseテーマでの handlebars と Ember コンポーネントの使用方法について詳しく説明しています。