Индексирование/поиск "сложного" JSON в elasticsearch

Ответ 1

Потребовалось некоторое время, чтобы выяснить правильное решение, которое работает для меня

Это было сочетание как предоставленных ответов @juliendangers, так и @Val и еще одна настройка.

• Я заменил Haystack более конкретным django-simple-elasticsearch

• Добавлен пользовательский метод get_type_mapping к модели

  @classmethod
  def get_type_mapping(cls):
    return {
      "properties": {
        "somekey": {
          "type": "<specific_type>",
          "format": "<specific_format>",
        },
        "more_data": {
          "type": "nested",
          "include_in_parent": True,
          "properties": {
            "even_more": {
              "type": "nested",
              "include_in_parent": True,
            }
            /* and so on for each level you care about */
         }
       }
    }
  

• Добавлен пользовательский метод get_document к модели

  @classmethod
  def get_document(cls, obj):
    return {
      'somekey': obj.somekey,
      'more_data': obj.more_data,
      /* and so on */
    }
  

• Добавить пользовательскую форму поиска

  class Searchform(ElasticsearchForm):
    q = forms.Charfield(required=False)
  
    def get_index(self):
      return 'your_index'
  
    def get_type(self):
      return 'your_model'
  
    def prepare_query(self):
      if not self.cleaned_data['q']:
        q = "*"
      else:
        q = str(self.cleaned_data['q'])
  
      return {
        "query": {
          "query_string": {
            "query": q
          }
        }
      }
  
    def search(self):
      esp = ElasticsearchProcessor(self.es)
      esp.add_search(self.prepare_query, page=1, page_size=25, index=self.get_index(), doc_type=self.get_type())
      responses = esp.search()
      return responses[0]
  

Итак, это то, что сработало для меня, и охватывает мои сервисы. Может быть, это может помочь кому-то.

Ответ 2

Единственное, что наверняка, это то, что вам сначала нужно создать пользовательское сопоставление на основе ваших конкретных данных и в соответствии с вашими запросами, мой совет заключается в том, что contains_more должен быть nested type, чтобы вы могли выдавать более точные запросы в своих полях.

Я не знаю точных имен ваших полей, но на основании того, что вы показали, одно возможное сопоставление может быть примерно таким.

{
  "your_type_name": {
    "properties": {
      "foo": {
        "type": "string"
      },
      "metadata": {
        "type": "object",
        "properties": {
          "some_key": {
            "type": "string"
          },
          "someotherkey2": {
            "type": "string"
          },
          "more_data": {
            "type": "object",
            "properties": {
              "contains_more": {
                "type": "nested",
                "properties": {
                  "foo": {
                    "type": "string"
                  },
                  "bar": {
                    "type": "string"
                  },
                  "baz": {
                    "type": "string"
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}

Затем, как уже упоминалось в комментарии в своем комментарии, auto_query не будет вырезать его, главным образом из-за множественных уровней вложенности. Насколько я знаю, Django/Haystack не поддерживает вложенные запросы из коробки, но вы можете расширить Haystack, чтобы поддержать его. Вот сообщение в блоге, в котором объясняется, как решить эту проблему: http://www.stamkracht.com/extending-haystacks-elasticsearch-backend. Не уверен, что это поможет, но вы должны дать ему попробовать и сообщить нам, если вам нужна дополнительная помощь.

Ответ 3

Индексирование:

Прежде всего, вы должны использовать динамический templates, если вы хотите определить конкретное сопоставление относительно имени ключа или если ваши документы не имеют той же структуры.

Но 30 клавиш не так высоки, и вы должны предпочесть определять собственное сопоставление, не позволяя Elasticsearch угадывать его для вас (в случае если раньше были добавлены неверные данные, отображение было бы определено в соответствии с этими данными)

Поиск:

Вы не можете выполнить поиск

foz: val5

поскольку ключ "foz" не существует.

Но ключ "metadata.more_data.even_more.foz" does = > все ваши ключи сглажены из корня вашего документа

таким образом вам придется искать

foo: val5
metadata.more_data.even_more.foz: 12*
metadata.more_data.contains_more.bar: val*
metadata.somekey1: val1

Использование query_string, например

"query_string": {
    "default_field": "metadata.more_data.even_more.foz",
    "query": "12*"
}

Или если вы хотите искать в нескольких полях

"query_string": {
    "fields" : ["metadata.more_data.contains_more.bar", "metadata.somekey1"],
    "query": "val*"
}