Ah, legal. Parece que eu precisava incluir o conjunto completo de tags meta og:, incluindo og:image.
No início, pensei que ele simplesmente pegaria a primeira <img> na página, mas parece que não é o caso. Eu estava tentando evitar ter tags não padrão.
Mas, funcionou agora, yay.