ED/US: Transparent searchable fields

[ridoo]

As a data editor, I want to make transparent which fields are search in a full text search, so that the UI can help end users using the search and better understand the results.

[ridoo]

See #2

[SpeckiJ]

As an End User i also want access to this information to optimize my search queries.

[ridoo]

• Nutzer Interaktion wichtig
• "Felder" nur als indikator, warum ein Datensatz im Suchergebnis auftaucht
• "Erklärung" welche Aspekte den Datensatz als relevant eingestuft haben
• Nutzer kann entsprechend die Suche weiter einschränken, indem Aspekte ignoriert werden können

[ridoo]

Suchindex enthält:

• Text (Grundlage für das Embedding)
• Attribute zum Embedding (strukturiert als JSON)

Ergebnis-Response enthält:

• Text auf welchem Embedding (z.B. Gebäudetyp) Ergebnis erfolgt ist
• Filtern auf den strukturierten Attributen (für Backend und Frontend filterbar)

[simeonwetzel]

@ridoo Weil das vorhin verwirrend war...

ein feature, das im Suchindex landet besteht aus einem Textteil ("page_content"). Dieser wird mit dem Embedding model enkodiert. Über die Embeddings kann ich semantisch passende Suchergebnisse zu meiner Suchanfrage (aus der auch in ein Embedding erstellt wird) suchen. Zusätzlich gibt es Metadaten ("metadata"). Diese können zum Filtern genutzt werden (siehe hierzu die Dokumentation der Vektordatenbank, die ich als Suchindex nutze.

Hier ein Beispiel, wie ein Feature im Suchindex landet:

# Hieraus wird ein embedding generiert
page_content="""
Feature Name: Freiwillige Feuerwehr Dresden Gompitz

Address: Altnossener Straße, 46a, Dresden, 01156, DE
amenity: fire_station
building: fire_station
name: Freiwillige Feuerwehr Dresden Gompitz
_osm_type: way
description: Abuildingthat was constructed to house fire fighting equipment ready for use, usually fire engines with fast access to the road. May also house the fire fighters themselves. May be used differently now. 
This tag is only describing the building. For a fire station (function), be sure to addamenity=fire_stationto the grounds."""

# Diese metadaten werden mitgespeichert, sodass auch darüber gefiltert werden kann
metadata = {'type': 'fire_station',
 'feature': '{\n  "type": "Polygon",\n  "coordinates": [\n    [\n      [\n        13.625671,\n        51.044119\n      ],\n      [\n        13.625741,\n        51.044385\n      ],\n      [\n        13.625928,\n        51.044365\n      ],\n      [\n        13.625924,\n        51.044352\n      ],\n      [\n        13.625908,\n        51.044291\n      ],\n      [\n        13.625858,\n        51.0441\n      ],\n      [\n        13.625671,\n        51.044119\n      ]\n    ]\n  ]\n}',
 'addr:city': 'Dresden',
 'addr:country': 'DE',
 'addr:housenumber': '46a',
 'addr:postcode': '01156',
 'addr:street': 'Altnossener Straße',
 'amenity': 'fire_station',
 'building': 'fire_station',
 'name': 'Freiwillige Feuerwehr Dresden Gompitz',
 '_osm_type': 'way',
 'description': 'Abuildingthat was constructed to house fire fighting equipment ready for use, usually fire engines with fast access to the road. May also house the fire fighters themselves. May be used differently now. \nThis tag is only describing the building. For a fire station (function), be sure to addamenity=fire_stationto the grounds.'}

[simeonwetzel]

und... die Metadaten werden natürlich auch für jedes Suchergebnissen mit zurückgegeben, da man ja am Ende kein Embedding sondern Menschen-lesbare Inhalte für die Suche möchte.

[ridoo]

Generelle Properties separieren von "beliebigen". Must Properties: id, title, und description, geometry (optional), andere dann "gesammelt" in properties (oder so). Fehlende values dann mit Fallback versehen oder leer lassen.