modifyClass 自体は非推奨ではありません。これはリスクの高いカスタマイズ方法であり、使用する際は（@don がリンクしたドキュメントに記載されているように）注意が必要です。しかし、削除する予定は今のところありません。
component:topic-list および component:topic-list-items に対して非推奨メッセージを表示しているのは、これらがトピックリストのレガシー実装であり、glimmer トピックリストが有効になっている場合には使用されないためです。現在では、components/topic-list/item のような glimmer コンポーネントのセットがあります。
したがって、技術的にはこれらの新しいコンポーネントで modifyClass を使用できます。しかし、これらは glimmer コンポーネントであるため、JS クラス経由でスタイルタグを変更することはできません。そのため、OP の問題の解決には役立ちません。
公式の d-topic-thumbnails テーマコンポーネントには同様の「マソンリー」モードがあり、その実装方法を確認する価値があります。トピックリストの各「行」に一意のクラスを追加しています。
次に、別の plugin-outlet で動的な <style> タグをレンダリングし、それらのクラス名をターゲットにします。
とはいえ…これは少し複雑なので、style= 属性を変更できるように、特定の valueTransformer を追加することを検討すべきかもしれません。Ember の xss/htmlSafe 保護がこの属性にかかっているため、少しトリッキーですが…何か動作するものを見つけられるはずです。