Error importing from vanilla: invalid byte sequence in UTF-8

Migración
1

I’m trying to import from a Vanilla forum using the instructions posted here. However, I get the following error when I run the vanilla.rb import script:

Loading existing groups...
Loading existing users...
Loading existing categories...
Loading existing posts...
Loading existing topics...
parsing file...
reading file...
Traceback (most recent call last):
	5: from script/import_scripts/vanilla.rb:254:in `<main>'
	4: from /var/www/discourse/script/import_scripts/base.rb:47:in `perform'
	3: from script/import_scripts/vanilla.rb:17:in `execute'
	2: from script/import_scripts/vanilla.rb:37:in `parse_file'
	1: from script/import_scripts/vanilla.rb:72:in `read_file'
script/import_scripts/vanilla.rb:72:in `gsub': invalid byte sequence in UTF-8 (ArgumentError)

I’ve tried changing the MySQL database character set to UTF8 following the instructions here and then re-exporting the porter file, but that didn’t resolve the issue. Any suggestions?

1 me gusta
2

You either need to keep trying to get it to really be UTF-8 or modify the import script to do it. It is a frustrating problem.

2 Me gusta
4

@dpkoch Did you ever figure this out?

5

You can google stuff about UTF-8 encoding. You need to do something that will coerce the table into UTF-8. The time that I did it, there were further complications because some rows were in one format and others in another format. I think that I did some nonsense where I coerced things on a value-by-value basis.

1 me gusta
6

Sounds awful… We’ll have to tinker with the table encoding and see what happens. Thanks!

7

Oh. It’s aweful. You best bet, based on a vague recollection of a single time I did this over a year ago, is to play around with as many different conversions as you can until you can finally hit on one that works for all or most data. I think that I did a bunch of one-by-one transformations that ended up being a waste of time when I stumbled on some conversion that worked for all (most?) data.

Here is what I did. Use at your own risk. (This was vbulletin, FWIW).

  def char_map(raw_original)
    raw = raw_original.dup
    debug = false # (raw.length > 50)

    # windows 1252
    all = ''
    win_encoded = ''

    ### WIN1252 encoding
    win_encoded = ''
    begin
      win_encoded = raw.force_encoding('utf-8').encode("Windows-1252",
                            invalid: :replace, undef: :replace, replace: ""
                           ).force_encoding('utf-8').scrub
    rescue => e
      puts "\n#{'-'*50}\nWin1252 failed for \n\n#{raw}\n\n"
      win_encoded = ''
    end

    ### ISO 8859 encoding
    iso_encoded = ''
    if all.length == 0 && win_encoded.length > 0 && win_encoded != raw
      all = (debug ? "Win1252--" : '') + win_encoded
    else
      all = raw
    end
    all = old_char_map(all)
    all
  end
8

That code is used within the import script or on the server/database side?

9

In the import script. I don’t like to mess with the database.

Somewhere you call this function on raw to fix raw (and maybe titles?).

10

Ok, thanks very much! This should give me a huge head-start in debugging this.

1 me gusta
11

Logramos que esto funcionara añadiendo un simple comando para codificar el archivo como UTF-8 al leerlo, usando algo como encode\"UTF-8\" en las líneas 76-80 del script de importación vanilla.rb.

Solo estoy esperando la confirmación de la sintaxis exacta del chico que lo hizo por línea de comandos. Actualizaré esto cuando la tenga.

1 me gusta
12

Aquí está lo que usó para arreglar esto, comenzando en la línea 76 de vanilla.rb

def read_file
  puts "leyendo archivo..."
  string = [File.read](http://file.read/)(@vanilla_file)
    .force_encoding('UTF-8').encode("UTF-8").gsub("\\N", "")
    .force_encoding('UTF-8').encode("UTF-8").gsub(/\\$\n/m, "\\n")
    .force_encoding('UTF-8').encode("UTF-8").gsub("\\,", ",")
    .force_encoding('UTF-8').encode("UTF-8").gsub(/(?<!\\)\\"/, '""')
    .force_encoding('UTF-8').encode("UTF-8").gsub(/\\\\\\"/, '\\\"\"')
  [StringIO.new](http://stringio.new/)(string)
end
1 me gusta
13

Se dividió una publicación en un nuevo tema: ¿Cómo editar un script de importación en el servidor de producción?

14

Esto no funciona. Mismo error.

16

Necesitas buscar en Google sobre codificación y averiguar cómo arreglar tu codificación rota.

17

Hola @ddeveloper,

Trabajé en este proceso hace solo un par de meses (y no soy desarrollador :slightly_smiling_face:) y logré migrar con éxito un foro Vanilla autoalojado a Discourse autoalojado. Algo que fue clave para mí fue asegurarme, al exportar los datos con Vanilla Porter, de seleccionar “Vanilla 2” como el Source Forum Type en el primer menú desplegable.

Utilicé la versión 2.6 de Vanilla Porter disponible para descargar como un archivo zip aquí: Vanilla Porter 2.6 RC1 — Vanilla Forums en lugar de la versión 2.5 enlazada en Migrate a Vanilla forum to Discourse.

Si mal no recuerdo, no volví a encontrar el error UTF-8 al usar el script más reciente de Vanilla Porter y el tipo de foro “Vanilla 2”.

Si esas dos sugerencias no marcan la diferencia en tu importación, por favor, proporciona algunos detalles sobre los pasos que has seguido hasta ahora y exactamente lo que estás viendo. A veces hay ligeras variaciones en el “mismo error” que pueden marcar una gran diferencia al solucionar problemas.

5 Me gusta
18

He seguido la misma guía excepto usando la versión porter 2.6. Exportaré el archivo de la versión 2.6 y actualizaré aquí.

19

Okay, he intentado con porter 2.6 y ha resultado en el mismo error de UTF-8:

Capture
Capture1186×294 10.2 KB

Hasta ahora, he seguido esta guía: Migrate a Vanilla forum to Discourse

Todo salió bien hasta este error de codificación UTF-8. Algunas personas han resuelto este problema. Lo he intentado y no me ha funcionado.

Intenté la solución de @Nick_Chomey anterior; intentando forzar la codificación utf-8 al leer el archivo txt, pero para mi pesar, tampoco funcionó.

20

Solo para estar seguros, ¿qué Tipo de foro de origen seleccionaste en el menú desplegable de Vanilla Porter?

image
image613×179 10.1 KB

¿Podrías decirnos qué tipo de computadora estás usando? Las instrucciones para convertir tu archivo a codificación UTF-8 variarán.

1 me gusta
21

Gracias por tomarte el tiempo de ayudar a un compañero de Discourse.

Seleccioné “Vanilla 2” en Source Forum Type.

Puedo usar dispositivos basados en Windows y Linux y tengo acceso a ambos.