Как удалить или скрыть эту кнопку:
Исходная кнопка изображения должна остаться.
Спасибо
Добавление этого CSS к теме решит задачу:
.mfp-bottom-bar .image-source-link:first-of-type {
display: none;
}
Однако, к сожалению, у вас останутся двойные разделители • •, так как эти разделители статичны и их невозможно стилизовать через CSS.
Вероятно, в будущем мы сможем улучшить разметку, чтобы избежать этого.
Спасибо @awesomerobot за постоянную помощь 
Спасибо @awesomerobot за работающий CSS!
Я обнаружил, что вот так можно скрыть информацию об изображении при наведении курсора мыши:
.meta{display:none;}
А вот так — скрыть всё при клике:
.mfp-bottom-bar{display:none;}