# 校正テキストでテキストが二重挿入される
**URL:** https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248
**Category:** Bug
**Tags:** ai, ai-helper
**Created:** [2024 年 11 月 29 日午前 9:42 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248 "2024-11-29T09:42:26Z")
**Posts on this page:** 9
**Page:** 1
### Author:  [@Moin](https://meta.discourse.org/u/Moin)
#### Post date: [2024 年 11 月 29 日午前 9:42 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248/1 "2024-11-29T09:42:26Z")
理由が全く分からないのですが、すべての投稿で発生するわけではなく、特定の[投稿](https://meta.discourse.org/t/emoji-fluff/339163/6?u=moin)でproofreadを使用すると、コンテンツが重複します。
---
### Author:  [@Lilly](https://meta.discourse.org/u/Lilly)
#### Post date: [2024 年 11 月 30 日午後 4:41 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248/2 "2024-11-30T16:41:35Z")
うーん、リンクされた投稿では再現できましたが、まだ他の場所では見つけられていません。本当に奇妙です 🧐 🤔
これでも試してみました
しかし、引用文のタイプミスがなければ、引用文を修正しようとすることに気づきました。
---
### Author:  [@Arkshine](https://meta.discourse.org/u/Arkshine)
#### Post date: [2024 年 11 月 30 日午後 5:20 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248/3 "2024-11-30T17:20:07Z")
これはとても奇妙です。 😄
テキストを何も選択しておらず、引用文に修正すべき点があり、あなたが非スタッフユーザーの場合、重複します。 🤔
* * *
引用文の内容が問題ない場合、重複しません。
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [2024 年 12 月 3 日午前 3:44 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248/6 "2024-12-03T03:44:32Z")
これは、Qwen @Falco によってトリガーされているバグです。
```json
{
"model": "meta-llama/Llama-3.2-11B-Vision-Instruct",
"temperature": 0,
"stop": [
"\n"
],
"messages": [
{
"role": "system",
"content": "あなたはマークダウン校正者です。ひどいタイプミスや言い回しの問題を修正しますが、ユーザーの元の声はそのまま維持します。\nコードブロックには触れません。校正するテキストを提供します。修正が必要ない場合は、テキストをそのまま返します。\nテキストは [quote=\"Arkshine, post:1, topic:339163\"]\n:information_source: This component requires Discourse to be current as of [date=2024-11-27 timezone=\"Europe/Paris\"]. \n[/quote]\nDid you update Discourse? You only receive a notification to update when a new beta is released, but new commits are added daily. ",
"tool_calls": []
},
"logprobs": null,
"finish_reason": "stop",
"stop_reason": null
}
],
"usage": {
"prompt_tokens": 184,
"total_tokens": 358,
"completion_tokens": 174,
"prompt_tokens_details": null
},
"prompt_logprobs": null
}
```
`` の両方のタグが返されていることに注意してください。したがって、ここにバグがあります。
>
Sanitize regex が入力と出力の両方を保持しています。
API をより慎重に使用するか、出力を求める場合のみ、またはより優れたプロンプトエンジニアリングを行うべきだと思います。
また、興味深いことに、例を送信するのをやめました。例はありますが、@Roman
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [2024 年 12 月 3 日午前 4:34 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248/8 "2024-12-03T04:34:53Z")
これは、リグレッションの根本的な原因を修正します。
>
>
> For a while now we have not been sending the examples to AI
> helper, which can le…ad to inconsistent results.
>
> Note: this also means that in non English we did not send
> English results, so this may end up reducing performance
>
> That said first thing we need to do is fix the regression.
ただし、副作用があります、@Jagster。しばらくの間、英語の例の送信を停止していましたが、再び送信するようになります。これが影響するかどうかお知らせください。
とはいえ、@Roman、これは私には意味が通りません。
```plaintext
SANITIZE_REGEX_STR =
%w[term context topic replyTo input output result]
.map { |tag| "<#{tag}>\n?|\n?<\/#{tag}>" }
.join("|")
```
そうではなく、こうなるべきではありませんか？
（item はタイトルの提案用ですが、別のパスを取っている可能性があります）
```plaintext
SANITIZE_REGEX_STR =
%w[output item]
.map { |tag| "<#{tag}>\n?|\n?<\/#{tag}>" }
.join("|")
```
---
### Author:  [@Roman](https://meta.discourse.org/u/Roman)
#### Post date: [2024 年 12 月 3 日午後 12:39 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248/10 "2024-12-03T12:39:44Z")
コンテキストを提供するために、ヘルパープロンプトの一部でこれらのタグが使用されています。たとえば、次のようになります。
>
一部のモデルでは、返信にそれらを含める場合があるため、削除します。
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [2024 年 12 月 3 日午後 7:07 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248/11 "2024-12-03T19:07:54Z")
フォローされていません。完全な例で説明していただけますか？
モデルが提供するものをサニタイズする際に、なぜ入力タグ内のテキストを出力に保持したいのですか？
（ちなみに、オペレーターは現在稼働中です）
---
### Author:  [@Roman](https://meta.discourse.org/u/Roman)
#### Post date: [2024 年 12 月 3 日午後 8:31 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248/12 "2024-12-03T20:31:51Z")
「サニタイズ」という言葉はここでは少し誤解を招きます。私たちは2つの異なる問題を解決したいのです。
1. 出力のみを取得できるようにする。
2. 結果が不自然に見えるタグをすべて削除する。
問題は、(1)に対してあまりにも緩いことです。関連部分は常に``で囲み、それ以外は何も使用しないようにする必要があります。この関連部分を取得したら、結果がきれいに見えるように、他のすべてのタグを削除します (2)。
* * *
上記で提供した例を拡張し、なぜ現在これらのタグをすべて削除しているのかを説明するために、シードされた「説明」プロンプトは次のようになります。
[https://github.com/discourse/discourse-ai/blob/main/db/fixtures/ai\_helper/603\_completion\_prompts.rb#L157](https://github.com/discourse/discourse-ai/blob/main/db/fixtures/ai_helper/603_completion_prompts.rb#L157)
``、``はモデルにコンテキストを提供するために使用され、``Not following` ` この文脈では、ユーザーが説明や述べられている点を理解するのに苦労していることを意味します。(…)
---
### Author:  [@sam](https://meta.discourse.org/u/sam)
#### Post date: [2024 年 12 月 4 日午前 12:11 UTC](https://meta.discourse.org/t/proofread-text-inserts-the-text-twice/339248/13 "2024-12-04T00:11:40Z")