No estoy particularmente familiarizado con Google Custom Search, pero entiendo que solo podría buscar temas públicos. Asumiendo que eso es cierto, significa que tus usuarios no podrán buscar sus mensajes privados, temas en categorías no públicas, etiquetas/usuarios/grupos (bloqueamos la indexación para esas páginas), etc. Si hay una manera de otorgar a Google acceso de administrador a tu sitio, eso podría resolver algunos problemas, pero abre otros (de privacidad).
Sí soportamos Algolia, consulta Discourse Algolia Search.