Locale detector returnwaarde problemen

AI-generated summary

The discussion revolves around issues with the locale detector in content localization, where posts were incorrectly translated into their original language or corrupted due to improper handling of language codes. RGJ reported that the locale detector received a language code wrapped in markdown (e.g., ```), causing translation errors. sam acknowledged the report, and nat confirmed a PR was open, later merging a fix that updated the prompt and moved examples out of the system prompt to improve the LLM’s behavior. RGJ noted the issue was resolved on their end after decommissioning the affected instance. The fix is now live, enhancing localization reliability. nat shared the relevant PR link for reference.

We zijn twee verschillende problemen tegengekomen op twee verschillende forums, waarbij de contentlokalisatie begon met het vertalen van berichten naar hun oorspronkelijke taal.

Bij nader onderzoek bleek dat de locale detector geen pure taalcode van de LLM ontving.

In plaats daarvan was het verpakt in markdown ``` (alleen de relevante delen uit het logboek gekopieerd ter leesbaarheid

"delta":{"content":"```"}
"delta":{"content":"en```"},

of het had omringende aanhalingstekens, waarschijnlijk verward door de prompt die zegt Output: \"en\"

"delta":{"content":"\""}
"delta":{"content":"en\""}

Het wijzigen van de laatste regel van de prompt naar Uw reactie moet een taalcode zijn, en niets anders. Wikkel uw reactie niet in markdown. heeft geholpen, maar ik denk dat LanguageDetector.detect het antwoord een beetje moet opschonen (misschien alleen AZaz en - toestaan?) voordat het wordt gebruikt.

4 likes

bedankt voor de melding @nat zal ernaar kijken

2 likes

@RGJ we have a PR open for this, but can you share what LLM you’re using?

1 like

We’ve decommissioned that instance, but as far as I remember it was Ministral 3B.

I merged a fix here that included updating the prompt and moving examples away from the system prompt and into proper interaction.

https://github.com/discourse/discourse/pull/35763

Our team is also currently working on evals to improve reliability across various LLMs.

2 likes

This topic was automatically closed after 2 days. New replies are no longer allowed.