Pesquisa parece não funcionar para tags com emoji

arnaud_sahuguet · Fevereiro 13, 2020, 1:36am

Tenho tags que contêm emojis, por exemplo, new-york-city-🇺🇸.
Ao usar a pesquisa e a pesquisa avançada, não obtenho os tópicos.

Aqui está um exemplo:
Consulta:
https://urbantech-forum.cornelltech.io/search?expanded=true&q=tags%3Anew-york-city-🇺🇸subway

E aqui está um tópico que deveria ser retornado:
https://urbantech-forum.cornelltech.io/t/subway-accessibility-info-and-elevator-escalator-status-alerts/139

codinghorror · Fevereiro 13, 2020, 2:46am

Não tenho certeza se isso é solucionável. Qual é a sua opinião, @neil?

j.jaffeux · Fevereiro 13, 2020, 9:40am

AFAIK, é apenas porque a regex que temos aqui:

github.com/discourse/discourse

lib/search.rb

main


      
          end
          
          advanced_filter(/\Ain:unseen\z/i) do |posts|
            if @guardian.user
              posts.joins(
                "LEFT JOIN post_timings ON
                  post_timings.topic_id = posts.topic_id
                  AND post_timings.post_number = posts.post_number
                  AND post_timings.user_id = #{ActiveRecord::Base.connection.quote(@guardian.user.id)}
                ",
              ).where("post_timings.user_id IS NULL")
            end
          end
          
          advanced_filter(/\Awith:images\z/i) { |posts| posts.where.not(posts: { image_upload_id: nil }) }
          
          advanced_filter(/\Acategor(?:y|ies):(.+)\z/i) do |posts, terms|
            category_ids = []
          
            matches =
              terms

não está permitindo emojis. Se isso estivesse correspondendo a emojis, funcionaria depois.

Podemos considerar usar algo como: GitHub - ticky/ruby-emoji-regex: 💎 A set of Ruby regular expressions for matching Unicode Emoji symbols. · GitHub para ter uma boa regex de emojis.

O que você acha, @sam?

sam · Fevereiro 13, 2020, 10:22am

Nossa, isso parece um monstro enorme para suportar um caso de borda importante. Já temos uma regex de validação na classe Tag?

j.jaffeux · Fevereiro 13, 2020, 10:35am

Acho que não temos, mas posso estar errado. @neil provavelmente sabe melhor.

Pelo que sei, temos apenas essa função clean_tag:

github.com/discourse/discourse

lib/discourse_tagging.rb

main


      
                model.errors.add(:base, msg)
                return false
              end
            end
            true
          end
          
          def self.validate_one_tag_from_group_per_topic(guardian, model, category, tags = [])
            tags_cant_be_used = filter_tags_violating_one_tag_from_group_per_topic(guardian, category, tags)
          
            return true if tags_cant_be_used.blank?
          
            tags_cant_be_used.each do |_, incompatible_tags|
              model.errors.add(
                :base,
                I18n.t(
                  "tags.limited_to_one_tag_from_group",
                  tags: incompatible_tags.map(&:name).sort.join(", "),
                ),
              )
            end

Que foi meio que copiada no lado do cliente aqui:

https://github.com/discourse/discourse/blob/master/app/assets/javascripts/select-kit/mixins/tags.js.es6#L80

Além disso, isso provavelmente seria útil em outros lugares, já que, por exemplo, geramos isso no lado do cliente: https://github.com/discourse/discourse/blob/master/app/assets/javascripts/pretty-text/emoji.js.es6#L24

neil · Fevereiro 13, 2020, 4:25pm

Duvido que tenhamos testes para nomes de tags de emojis. Talvez possamos investigar o suporte a isso na versão 2.5?

lucasbasquerotto · Fevereiro 13, 2020, 5:56pm

Percebi que a busca retorna apenas um tópico ao usar apenas a tag (sem a palavra-chave subway) na pesquisa (não é o tópico publicado no OP):

https://urbantech-forum.cornelltech.io/search?expanded=true&q=tags%3Anew-york-city-🇺🇸

Também funciona com outras palavras-chave (mas apenas para aquele tópico retornado anteriormente):

https://urbantech-forum.cornelltech.io/search?expanded=true&q=tags%3Anew-york-city-🇺🇸%20personal

Se eu não usar tags, a busca retorna corretamente:

https://urbantech-forum.cornelltech.io/search?expanded=true&q=new-york-city-🇺🇸

O tópico retornado anteriormente, com a tag, é o primeiro ao usar uma palavra-chave com o nome da tag, mas a postagem é outra (embora possa ser apenas por causa de (talvez) metadados ou algo assim na postagem que seja capturado pela busca, e não a tag em si, mas não posso afirmar com certeza).

Tópico		Respostas	Visualizações
How to create a tag "🎥"? Support tags	5	221	21 de Novembro de 2024
Emoji in tag names Feature emoji , tags	20	8107	13 de Outubro de 2025
Emoji shortcodes aren't displayed when they're part of the search terms UX emoji , search	0	359	7 de Julho de 2023
:crying_cat_face: Emoji's in title shown as code on initial load of a topic page Bug	3	994	21 de Dezembro de 2017
Search by tag, not English characters Bug	2	790	27 de Agosto de 2018

Pesquisa parece não funcionar para tags com emoji

Tópicos relacionados