Es posible personalizar el texto desde (admin > personalizar > texto) — buscar “con google” debería mostrar lo que necesitas editar.
El logo en el botón se puede ocultar con CSS añadido a un tema (admin > personalizar > temas):
.btn-social.google_oauth2 .d-icon {
display: none;
}
Advertencia: existe un historial de Google revisando el cumplimiento de sus especificaciones y enviando correos de advertencia a los administradores… algo tan menor como usar el color incorrecto ha llamado su atención antes: Not compliant with google signin branding requirements