Cloudflare からの接続のみを受け入れるように NGINX の設定を変更できると思います。
ベア IP をリダイレクトしないように変更することもできますが、セキュリティが大幅に向上するかどうかはわかりません。