Discourseデータエクスプローラ

[Discourse]

	概要	Discourse Data Explorerを使用すると、ライブデータベースに対してSQLクエリを実行でき、最新統計のレポート作成が可能です。
	インストールガイド	このプラグインはDiscourseコアにバンドルされています。プラグインを個別にインストールする必要はありません。

これはDiscourseチームがメンテナンスしている公式プラグインのため、#support、#contribute:bug、#contribute:ux、#contribute:featureに関するリクエストは、Metaの各カテゴリで行うことができ、適切なプラグインタグでタグ付けしてください。以下のリンクをクリックして、リクエストを開始してください。

サポート バグ UX 機能

カスタムクエリの例やサポートをお探しの場合、#sql-queryタグの下にある#data-reportingカテゴリで多くのトピックを見つけることができます。特定のニーズに合ったトピックがない場合は、コミュニティに助けを求めるために新しいトピックを作成してください。 クエリヘルプ

当社でホストされていますか？このプラグインは、BusinessプランとEnterpriseプランで利用可能です。 Data Explorer | Discourse - Civilized Discussion

プラグインをインストールした後、/admin/plugins に移動してください。

「設定」ボタンをクリックし、data explorer enabled をオンにしてから、ページに戻って再読み込みしてください。
スタックナビゲーションに「Data Explorer」というタブが表示されるはずです。それを選択するか、/admin/plugins/discourse-data-explorer に移動し、+、インポート、または実行ボタンを使用して開始してください。

デフォルトクエリ

新規インストール時、データエクスプローラーには、フォーラムのアクティビティから洞察を引き出すのに役立ついくつかのクエリが同梱されています。任意のクエリを開き、実行をクリックして試してみてください。

標準クエリは次のようになります。

注: デフォルトクエリはこのファイルから読み込まれます: discourse-data-explorer/lib/discourse_data_explorer/queries.rb at main · discourse/discourse-data-explorer · GitHub

すべての人に使ってほしい素晴らしいクエリがある場合は、このコミットのようにプルリクエストを作成してください。

デフォルトクエリは編集できません。変更したい場合は、SQLをコピーして新しいクエリに貼り付けてください。

クエリの作成

クエリビューで編集ボタンのいずれかをクリックするか、新しいエクスプローラークエリを開始すると、以下のような画面が表示されます:

上部の2つのボックスは、クエリの名前と説明です。名前はドロップダウンボックスで選択するもので、説明はクエリパラメータに何を入れるかを説明したり、照会されているデータを説明したりするために使用します。

左側のペインにSQLクエリを入力します。構文のハイライト表示とチェックが一部提供されています。

スキーマエクスプローラーは、記述ペインの右側にあります。警告記号付きの赤い列名（例：email、password_hash、salt）に注意してください。これらは「機密」列です。可能であればそれらを照会しないようにし、公共の場所では照会することを再考し、何をしているかをよく考えずに、それらの列をチェックするクエリのスクリーンショットを投稿しないでください。

クエリの自動実行

実行ボタンをクリックしてクエリを実行することもできますが、URLにrunパラメータを追加することで、クエリを読み込む際の時間を節約できます。

例: /admin/plugins/discourse-data-explorer/queries/123?run

このパラメータをURLに追加すると、ページを読み込んだ瞬間にクエリが実行されるため、結果を見るために実行ボタンをクリックする必要はありません。これは頻繁に実行するクエリに特に役立ち、runパラメータを含めてブックマークしたりサイドバーに追加したりすることで、ワンクリックでレポートを取得できます。

クエリのインポート

例として、私が作成したクエリをインポートしてみましょう。このファイルをダウンロードし、インポートダイアログを開いてアップロードするファイルを選択するか、テキストボックスにクエリを貼り付けます。[インポート]をクリックして保存し、実行をクリックして結果を確認してください。

most-common-likers.dcquery (1).json (442 Bytes)

Discourseの開発者たちは互いにかなり気に入っているようです

クエリの検索

素晴らしいクエリが溜まりすぎた場合でも問題ありません！検索バーを使用して、タイトルや説明でフィルタリングできます。

非スタッフグループにクエリの実行を許可する

特定のグループ（モデレーターを含む）をクエリに追加して、アクセス権を付与できます:

保存後、その特定のグループの[グループ]ページにあるレポートタブから確認できます:

任意のクエリをクリックして開き、実行ボタンをクリックして結果を確認してください。また、ブックマークボタンをクリックしてグループレポートをブックマークすることもできます。

事前定義されたパラメータ付きでクエリを共有する

クエリにユーザー定義のパラメータを含めている場合、クエリのリンクを共有し、URLにパラメータを含めることで、ページ読み込み時に自動的に入力済みの状態にできます。

URLにはparams={"parameter_name":"value"}の形式でパラメータを含める必要があります。複数のパラメータはカンマで区切ります。例:

discourse.example.com/g/my-group/reports/6?params={"param1":"value1","param2":"value2"}

上記で言及したrunパラメータと組み合わせることで、読み込み時に自動的に実行される事前定義されたパラメータ付きのレポートを共有できます。

結果の制限とクエリのエクスポート

大規模なクエリを実行すると、Data Explorerが表示する行数に制限があることに気づくかもしれません。デフォルトでは、制限は1000行に設定されています。これは、過度に大きなクエリがDiscourseインスタンスのパフォーマンスを低下させたり妨害したりすることを防ぐためです。

この制限を回避したい場合は、いくつかのオプションがあります:

1. ページネーション: 結果をページネーションできます。すべての結果を一度に返そうとする代わりに、特定の範囲の結果を返すようにクエリを書くことができます。その後、この範囲を調整してデータの異なるセクションを表示できます。これにより制限が増えるわけではありませんが、データをセクションごとにすべて表示できるようになります。
2. 制限の増加: Discourseサーバーにアクセスでき、Discourseの設定変更を行うことに慣れている場合、制限を増やすことができます。ただし、これは注意して行う必要があります。制限を増やすと、特に複数のユーザーが同時に大規模なクエリを実行している場合、サーバーに大きな負荷がかかる可能性があります。
3. 結果のダウンロード: また、クエリを実行した後にJSONまたはCSVボタンをクリックして、Discourse上で直接表示するのではなく、クエリ結果をダウンロードすることもできます。JSONまたはCSV形式でダウンロードされたクエリ結果は、10,000行というはるかに高い結果制限を持ちます。プログラム的な目的では、Json形式を選択し、スプレッドシートアプリケーションでデータを操作したい場合は、CSV形式の方が便利かもしれません。

制限を回避しようとするのではなく、より効率的なクエリを書くか、必要なデータのみを取得するようにデータをフィルタリングすることをお勧めします。

エクスポートボタンをクリックして、SQLクエリ自体を.JSON形式でエクスポートすることもできます。この方法でエクスポートされたクエリは、他のDiscourseサイトにインポートしたり、サードパーティアプリケーションで使用したりできます。

クエリプラン

「クエリプランを含める」チェックボックスは、SQLクエリの理解と最適化に使用できます。

このボックスをチェックしてクエリを実行すると、DiscourseはDiscourseデータベース内のデータにアクセスするために使用される操作のシーケンスを表示します。これには、スキャン、ジョイン、ソート、その他のデータベースアクションが含まれる場合があります。クエリプランを調べることで、データベースがクエリをどのように実行しているかを正確に見ることができます。

データエクスプローラートーリアルシリーズ

Data Explorerに関する専用シリーズ#sql-tutorialもあります！DiscourseでSQLクエリを作成する方法について詳しく学びたい場合は、このシリーズのトピックをすべて読むことを強くお勧めします:

• Data Explorerチュートリアル - パート1 - 最初のクエリの作成
• Data Explorerチュートリアル - パート2 - Discourse SQLの基本
• Data Explorerクエリでのパラメータの活用
• Data Explorerテーブル結果の書式設定

[HamMan2118]

こんにちは！

こちらのスレッドで、検索クエリ内のすべてのトピックのリンクをコピーする方法を尋ねました。こちらに誘導されました。そこで、私たちのフォーラムのマネージャーに、このプラグインがインストールされているか尋ねたところ、インストールされているとのことでした。しかし、このプラグインを使用して、検索クエリからすべてのリンクをCSVファイルにコピーする方法がわかりません。どなたかこの操作を行った経験のある方はいらっしゃいますか？もしよろしければ、ご教示いただけますでしょうか？

なお、私はフォーラムのレギュラーユーザーであり、スタッフ権限はありません。しかし、サイトマネージャーにこの情報を伝えており、彼は私に代わって実行できます。

よろしくお願いします！

[Arkshine]

こんにちは、プレストンさん！

Data Explorer プラグインを使用すると、SQL クエリを作成できます。

探しているトピックを一覧表示する新しいクエリを作成したいと考えています。

次に、クエリを実行すると、結果を CSV ファイルにエクスポートするための CSV ボタンが表示されます。

お役に立てば幸いです！

クエリの作成に追加のヘルプが必要な場合は、お知らせください！

[HamMan2118]

ありがとうございます。お伝えします

[gormus (Osman Görmüş)]

こんにちは。この素晴らしいプラグインに機能リクエストがあります。

Data Explorer を使用して作成するレポートの一部は、ダッシュボードのレポート (/admin/reports) ページに一覧表示できれば、チームにとって非常に役立ちます。

Data Explorer の各クエリに、レポートページに一覧表示するオプションを追加することは可能でしょうか？よろしくお願いします。

例：

• このカスタムクエリを レポート ページに一覧表示する

[kOS (KilianS)]

この機能ありがとうございます！

カスタムメトリクスを記述する方法を検討しています。DiscourseとWorkadventu.re（2DアバターベースのA/Vコラボレーションツール）を併用しています。
現在、カスタムスクリプトを実行して、Webhook経由でGoogleスプレッドシートにアクティビティを記録しています。すべてのものを中心的なツール（Discourse）に集約するために、これらのデータをDiscourseに表示できると素晴らしいのですが…

何かヒントはありますか？！

[davidgs (David G. Simmons)]

SQLの作成に役立つクエリビルダーがあればと強く思っていました。私のSQLは古く錆びついており、手作業で作成するのは間違いやすく時間がかかります。もっと簡単な方法があればいいのですが！

[Tris20 (Tristan)]

こんにちは、@davidgsさん、Metaへようこそ

@davidgs

SQLの作成に役立つクエリビルダーがあればと思っていました。

ChatGPTのようなLLMを試しましたか？ Discourseを reasonably 理解しており、私もデータエクスプローラーのクエリを作成する必要があった際にはかなり信頼できました。

プロンプトはよく「Discourseのデータエクスプローラークエリで、a,b,cからx,y,zを返すものを…という条件で書いてください」のように記述しており、かなり妥当なものが得られています。

このページの右上にも、以下のような小さなロボットのアイコンが見えるかもしれません。

もしそうであれば、Metaに統合されているAIヘルパーボットも試すことができます。

[Jagster (Jakke Flemming)]

@Tris20

このページの右上にも、以下のような小さなロボットアイコンが表示されているかもしれません。

ほとんどのユーザーには表示されていません。しかし、ask.discourse.com は常に利用可能です。

[Tris20 (Tristan)]

@Jagster

ほとんどの人はそれに気づいていません。しかし、常にask.discourse.comがあります。

ええ、これがまだ信頼レベル3限定のものだったかどうか思い出せませんでした。ask.discourse.comサイトへの言及は良いですね。

参考例として、「'software’という言葉を言ったすべてのユーザーのリストを返すDiscourseデータエクスプローラークエリを記述してください」をask.discourse.comのテキスト入力バーに投げ込んだところ、以下のクエリが返ってきました。

SELECT
    p.user_id,
    u.username,
    COUNT(p.id) AS post_count
FROM
    posts p
JOIN
    users u ON u.id = p.user_id
WHERE
    p.raw ILIKE '%software%'
GROUP BY
    p.user_id, u.username
ORDER BY
    post_count DESC;

かなり妥当です。これよりもかなり複雑なクエリも実行できることも保証できます。

[GuidoD (Guido Drehsen)]

最近インストールした最新の Discourse と Data Explorer のアップデートにより、データエクスプローラーのデータエクスポートが機能しなくなりました。データ自体は正常に作成されますが、エクスポートできなくなりました。

JSON または CSV ボタンをクリックしても、短いフラッシュが表示されるだけで何も起こりません。2週間前は正常に機能していました。

Web ブラウザのコンソールに次のエラーが表示されます。
CSV:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultCsv query-result.js:287
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

JSON:

Uncaught TypeError: this.args.query is undefined
    _downloadResult query-result.js:310
    downloadResultJson query-result.js:283
    _triggerAction d-button.gjs:160
    Ember 12
    _triggerAction d-button.gjs:157
    click d-button.gjs:106

[pento (Gary)]

ご報告ありがとうございます、@GuidoD さん！

本日、この問題に対する修正をマージしました。アップデートして、正常に動作するか確認していただけますでしょうか。

FIX: Query downloads were being passed an incorrect query object.

[GuidoD (Guido Drehsen)]

@pento

更新して、うまくいくか確認していただけますでしょうか。

迅速な修正ありがとうございます。
正常に動作することを確認しました。

[GuidoD (Guido Drehsen)]

少量のデータであれば、JSONとCSVのエクスポートはどちらも正常に機能しています。しかし、大量のデータの場合、CSVのエクスポートは正常に機能しますが、JSONのエクスポートはnginxで502 Bad Gatewayが発生します（おそらくJSONファイルの作成に30秒以上かかるため、30秒後のタイムアウトが原因だと思われます）。
nginxのタイムアウト値を簡単に増やす方法はありますか？

クエリの期間を短縮すると、CSVファイルは12.9MB、JSONファイルは645MBになります。CSVファイル全体のサイズは13.5MBなので、それほど大きくありませんが、JSONファイルはnginxのエラーにより作成されません。

あるいは、JSONファイルの作成が奇妙なデータのためにエラーになっている可能性もありますか？JSONファイルの作成はログファイルを作成しますか？

[riking (Kane York)]

JSONクエリはデフォルトでCSVクエリよりも高い外部LIMITで実行されます。クエリ内でカスタムページネーションを追加して、時間内に完了するようにしてください。

[GregorSondermeier]

Data Explorer から UPDATE ステートメントを実行することは可能ですか？

特定のテーブルの一括更新を試みていますが、このエラーが発生します。

PG::FeatureNotSupported: ERROR:  WITHクエリ「query」にはRETURNING句がありません
LINE 29:   ) SELECT * FROM query

[riking (Kane York)]

いいえ、Data Explorer は読み取り専用トランザクションのみを実行します。(クエリに RETURNING 句を追加して更新した場合、読み取り専用トランザクションのエラーが発生します。)

セルフホストしている場合は、「launcher enter」ガイドのいずれかを使用してください。

Edit a user preference for everyone or a subset of users

This guide explains how to edit a user preference for everyone or a subset of users in Discourse. Required user level: System Administrator Console access is required. If you need to update the user preference for all of your users or a large subset of users, you can do so via the rails console. Summary In this guide, you’ll learn: How to access the Rails console for making bulk changes Examples of modifying user preferences How to identify se…

すでに UPDATE を設計している場合は、rails c の代わりに psql discourse を使用できます。

ホストサービスを利用している場合は、サポートに連絡して変更を実行してもらってください。

[GregorSondermeier]

返信ありがとうございます。理にかなっています。私たちはホスティングされたサービスを利用しているので、彼らのサポートに連絡します。

[Naman_Gala]

SQLクエリをモデレーターグループと共有した場合、モデレーターグループのユーザーは自分のアカウントからクエリを実行するにはどうすればよいですか？彼らはData Explorerプラグインを見ることができません。