Boa descoberta, está realmente travando na gem oj.
A versão 3.13.15 também contém este commit que muda para usar instruções SSE 4.2 para desempenho. E estas não são suportadas em processadores AMD Opteron 41xx.
Então voltamos a
IMHO É péssimo que o autor da gem tenha escolhido tornar isso uma decisão em tempo de compilação.