Хм, вы использовали TensorFlow? 
Возможно, стоит по возможности избегать большого количества неструктурированных данных. У меня здесь та же проблема. Но я пытаюсь как-то навести порядок прямо у источника. У меня здесь адский Slack-чат, но я справлюсь, заставив людей структурировать данные…