グループYのメンバーではなく、作成者がグループYに所属していない場合、トピックをグループYと作成者のみが見られるようにするにはどうすればよいでしょうか？
ユーザーはトピックを作成でき、そのトピックには自動的にカテゴリAAAが割り当てられます。
グループYのユーザーは、カテゴリAAA内のトピックの閲覧・返信・作成が可能である必要があります。
また、作成者は自身の投稿の閲覧・返信も可能である必要があります。
これは可能でしょうか？
トピックというよりは、グループへのダイレクトメッセージのように見えます。全員がグループメッセージを送信し、全員が見られるようにするインタラクション設定がいくつか含まれています。
もしグループメンバーになったら、メッセージボックスにそのメッセージやトピックしか表示されないのでしょうか？
実際には、ユーザー単位、あるいはグループ単位で、時間に基づく権限設定を実現したいと考えています。ユーザーが投稿を表示したり返信したりできるのは、投稿がX日以上経過した場合、またはユーザー自身がトピックを作成した場合に限られます。
最新 や 新規 には表示されませんが、アバター下の通知パネルには表示されます。
うーん、Y グループのメンバーであるユーザー B にとってはスパムと見なされてしまう可能性が高く、私の目指すところとは少し違うかもしれません。
プラグインを使えば、クリエイターごとにグループを、トピックごとにサブカテゴリを自動作成できるかもしれません。ただし、タイミングの問題が 
あります。
サブカテゴリのセキュリティに追加する、調整された信頼レベルという案はいかがでしょうか。
はい、カテゴリ権限に信頼レベル（Trust Levels）の導入を検討されましたか？
ユーザーは「レベルアップ」するために時間を要するため、結果としてより経験が長い（つまり「年上」のような）状態になります。
また、プラグインの「Restricted replies」機能も、信頼レベルや特定のグループと同様に活用できるかもしれません。