Page Areas:



Current Submenu:


Position Indication:

Content

3D Model Similarity Retrieval: multi shape-features integration, relevance feedback algorithm, and text feature integration

Student: Akbar Saiful
Supervisor: A.Univ.-Prof. Dr. Josef Küng
Second Reviewer: A.Univ.-Prof. DI Dr. Andreas Rauber
End: 31.08.2007

Abstract(DE)
Die rasche Zunahme von verfügbaren 3D-Modellen im Internet führt dazu, dass Benutzer lieber solche Modelle wieder verwenden als komplett neue erstellen zu müssen. Also gibt es einen dringenden Bedarf für Systeme, die eine Suche nach solchen Modellen unterstützen. Neben anderen Eigenschaften ist die Gestalt eines 3D-Modells eines der wichtigsten für eine solche Suche. Einige Forschungsarbeiten haben sich auf die Entwicklung von neuen Gestalt-Deskriptoren fokusiert. Von solchen wird erwartet, dass sie effektiv in der Beschreibung von Gestalt, in der Berechnung, beim Speichern und bei der Suche sind, aber auch robust sind und ein großes Spektrum von 3D-Modellen unterstützen.
Jedoch – wegen der möglichen Komplexität von 3D-Modellen – hat so ein „Low-Level-Deskriptor“ immer Einschränkungen, besonders in Hinblick auf eine allgemeine Einsetzbarkeit. Zudem kann eine Ähnlichkeitszuordnung über diese Deskriptoren sich von der eines menschlichen Benutzers unterscheiden.
In dieser Arbeit wurden eine große Anzahl von 3D-Shape-Deskriptoren und Shape-Registrierungs-Methoden untersucht. Im Besonderen wurden solche untersucht, die eine gute Trennschärfe aufweisen, sich gegenseitig ergänzen, eine Ausgewogenheit zwischen Repräsentation und Änhnlichkeitsmaß und eine allgemein anwendbare Verarbeitungs-Repräsentation aufweisen. In einem nächsten Schritt konzentriert sich die Arbeit auf Deskriptoren, die von unterschiedlichen Abstraktionsstufen eines 3D-Modells berechnet werden, von 2D-Bildern, Volumen und Oberfläche. Aus 2D-Bildern wurden die 2D-Kontur und die Zernike-Momente, aus dem Volumen die räumliche Verteilung (fractional occupancy), die lokale Ausdehung (local elongation) und Unförmigkeit (bumpiness), aus Oberfläche die Tiefe (depth buffer) und die 3D-Kontour verwendet. Darauf aufbauend wurden aus zahlreichen Varianten dieser Deskriptoren und unterschiedliche Integrationsmodelle (multi shape feature integration) getestet und untereinander in Hinblick auf Trennschärfe, Speicher- und Sucheffizienz verglichen. Das beste Ergebnis lieferten 2 Methoden, eine „reduced feature integration (RFI)“ und eine „distance integration (DI)“, wo die Gewichtsfaktoren aus einem Trainings-Set abgeleitet werden. Intensive Experimente zeigten, dass diese Methoden eine bessere Trennschärfe aufweisen, wie einzeln angewandte Deskriptoren.
Danach wurden diese beiden Methoden in einen Relevance-Feedback-Algorithmus eingebaut. Der Algorithmus arbeitet auf der Basis einer Multipoint-Query (mehrere Query-Objekte). Er berücksichtigt das Relevanz-Feedback des Benutzers als Multipoint-Query, während die irrelevanten Objekte vorausblickend weitere irrelevanten 3D-Modelle wegfiltern. Gleichzeitig wird während der Feedback-Iterationen die Feature-Relevanz vorausberechnet. Die Experimente zeigten eine deutliche Verbesserung der Ergebnisse in wenigen Iterationen.
Zusätzlich wird der Dateiname der 3D-Modelle als einziger Text mit in die Ähnlichkeitssuche aufgenommen. Genauer gesagt, wurde eine Text-Feature-Extraction (Term-Filtering and Term-Expansion) implementiert und diese Merkmale in die Multi-Shape-Ähnlichkeitssuche integriert. Es konnte gezeigt werden, dass eine solche Integration generell das Suchergebnis verbessert und Semantische Relationen als eine Alternative zum klassischen TFIDF-Ansatz verwendet werden können.

Abstract(EN)
The rapid growth of 3D model availability in the Internet encourages developers and users to reuse rather than create 3D models from scratch. Thus, there is an urgent need to build a system facilitating them to automatically retrieve similar models based on their content. Among other attributes, shape is the most important one and is mandatory; thereby much research has focused on proposing a new low level shape descriptor for representing 3D model. The proposed descriptor is expected to be effective in discriminating shape, efficient in extracting, storing, and searching, robust, and cover a large spectrum of 3D model classes. However, due to the complexity of 3D models in general, a low level shape descriptor always has some limitations of representing the whole shape-characteristic of a model.
Moreover, shape similarity could be differently perceived by different people. Therefore, there is always a gap between similarities deduced by descriptors and those by human judge.
In this thesis we have studied numerous 3D shape descriptors as well as shape registration methods. In particular, we have selected several descriptors among the available ones by considering their discriminating power, the potential to complement with each other, the uniformity in descriptor representation and similarity measure, and their common intermediate-representation. More specifically, we have selected the descriptors which are extracted from different abstractions of 3D models. The abstractions include 2D image (contour and region), volume, and surface. From 2D image abstraction we extract two-dimensional contour and the Zernike moments, from volume extraction we extract fractional occupancy and the local elongation and bumpiness, and from surface abstraction we extract depth buffer based descriptor and three-dimensional contour. Then, by exploiting a number of variants of individual descriptors we observe the best variants in term of their discriminating power and the efficiency in storing and searching.
Different multi shape-features integration methods were analyzed and compared. As the outcome, we proposed the use of two methods, i.e. the reduced feature integration (RFI) and the distance integration (DI), where the weighting factor during the integration was previously predicted by running all possible weighting factors over a training dataset. Intensive experiments have been done and the results have shown that both integration methods either with or without the weighting factor outperform the overall discriminating power of individual descriptors.
We have also incorporated DI and RFI into a relevance feedback (RF) algorithm. The algorithm works based on multipoint queries. In particular, the algorithm considers the relevant feedbacks given by users as multipoint queries, while the irrelevant ones are used to filter prospectively irrelevant objects. In addition, during feedback iterations, feature relevance is predicted by a combination between the variances of distances and the ranks of relevant objects. We have shown through experiments that retrieval precision increases significantly with a small number of iterations.
The use of the model file name as the only text resource has also been proposed. More specifically, we have developed a text feature extraction including term filtering and term expansion and integrated the feature with multi shape-features. We have shown that the integration generally improves retrieval effectiveness and semantic relatedness measure can be used as an alternative measure besides TFIDF in this case.