Efficient model learning for Gaussian processes with transformers, kernel-kernels and active learning.

Literaturnachweis - Detailanzeige

Autor/in	Bitzer, Matthias
Titel	Efficient model learning for Gaussian processes with transformers, kernel-kernels and active learning.
Quelle	Berlin: Technische Universität Berlin (2024), xviii, 134 S. PDF als Volltext (1); PDF als Volltext kostenfreie Datei (2); PDF als Volltext (3) Link als defekt meldenVerfügbarkeit Dissertation, Technische Universität Berlin, 2024.
Sprache	englisch
Dokumenttyp	online; Monografie
DOI	10.14279/depositonce-22345
URN	urn:nbn:de:101:1-2412250104483.534096522595
Schlagwörter	Maschinelles Lernen; Neuronales Netz; Gauss-Algorithmus; Dissertation
Abstract	Maschinelles Lernen spielt eine wichtige Rolle bei der Erstellung von Vorhersagemodellen in industriellen Anwendungen. Gauß-Prozesse sind hierbei geeignete Kandidaten, da sie transparente Modellannahmen mit präzisen Unsicherheitsangaben kombinieren. Trotz ihrer weiten Verbreitung ist die Modellierung mit Gauß-Prozessen immer noch mit hohem Rechenaufwand verbunden, was den Einsatz zeitaufwendig macht und die Nutzbarkeit erschwert. Darüber hinaus ist die Erhebung der für die Modellierung erforderlichen Daten bei industriellen Anwendungen kostspielig. Ziel dieser Arbeit ist es daher, den Modellierungs- und Lernprozess für Gauß-Prozesse effizienter zu gestalten. Konkret befassen wir uns mit der Kernelauswahl, dem Lernen von Kernelparametern und der Datenerfassung. Die vorgestellten Methoden verbessern den Entwicklungsprozess für Gauß-Prozesse in industriellen Anwendungen, wobei der Schwerpunkt auf der Verbesserung der Effizienz des Lernprozesses liegt. Hierbei liegt ein besonderes Augenmerk auf der Verwendung verschiedener Kernel-Funktionen. Zunächst fassen wir den Lernprozess für den Gauß-Prozess zusammen und konzentrieren uns dabei auf verschiedene Kernel-Funktionen, das Lernen von Kernel-Parametern und die Verwendung von aktivem Lernen zur Datenerfassung. Wir heben die Herausforderungen in jeder Phase hervor und stellen wichtige Konzepte, wie die Kernel-Grammatik, vor. Im zweiten Kapitel stellen wir eine neue Suchmethode für die Auswahl von Kernel-Funktionen vor. Diese basiert auf einer früheren Methode, die Bayes´sche Optimierung für die Kernelsuche verwendet. Wir führen einen neuen, rechnerisch effizienten Kernel über Kernel-Funktionen ein, der eine effiziente Suche über die Kernel-Grammatik ermöglicht. Im dritten Kapitel konzentrieren wir uns auf das effiziente Lernen von Kernelparametern. Wir erweitern eine Methode, die ein neuronales Amortisationsnetz zur Vorhersage der Kernelparameter in einer einzelnen Vorwärtsberechnung verwendet. Unsere Methode erweitert die Amortisation um die Möglichkeit, die Kernel-Funktion als Kontext an das Netzwerk zu übergeben und somit a-priori bekannte Annahmen über den zugrunde liegenden Funktionsraum als zusätzlichen Input zu verwenden. Dies erweitert den Einsatz der effizienten Vorhersage von Kernel-Parametern. Im vierten Kapitel spezifizieren wir eine spezielle Kernel-Funktion, die besonders gut zum aktiven Lernen passt. Der Kernel ist so aufgebaut, dass aktives Lernen bevorzugt Daten in Bereichen sammelt, in denen die Funktion komplex ist, und einfache Bereiche des Eingaberaums weniger priorisiert. Diese Kernel-Funktion ist auch die Basis für einen neuen Suchraum über Kernel-Funktionen, der eine lokale Kernelsuche ermöglicht. Dieser Suchraum wird im Integrationskapitel beschrieben, zusammen mit anderen möglichen Kombinationen unserer Methoden. Abschließend geben wir eine detaillierte Zusammenfassung der vorgestellten Methoden und einen Überblick über mögliche zukünftige Forschungsfragen. (übernommen). Machine learning models play an important role in predictive modeling in industrial environments. Transparent priors are important, and Gaussian processes provide a suitable approach by combining transparent assumptions and principled uncertainties. Despite their suitability, learning with Gaussian processes encounters computational challenges as well as data collection bottlenecks. The goal of this work is to improve the efficiency of the model learning process for Gaussian processes, particularly in kernel structure selection, kernel parameter learning, and data collection. The proposed methods improve the development process of Gaussian process models for industrial environments, focusing primarily on increasing the efficiency of the learning process and enabling the use of different kernel structures. First, we give background on Gaussian processes, focusing on various kernel structures, kernel parameter learning, and active learning. Here, we emphasize the challenges and introduce important previous work such as the kernel grammar. In the second chapter, we propose a new search method for kernel structure selection. Based on an earlier method that employed Bayesian optimization for kernel structure selection, we propose a computationally efficient kernel over kernel structures that is able to efficiently explore the kernel grammar. This improves the usability and efficiency of kernel structure selection. In the third chapter, we address efficient kernel parameter estimation. We extend a method that uses an amortized neural network to predict kernel parameters in one forward pass. Our extension consists of equipping the amortized inference method with the kernel structure as context input, so that the method can be equipped with prior knowledge about the underlying function space prior. In the fourth chapter, we propose a particular kernel structure that is useful when employed in an active learning loop. The kernel is designed to guide data collection in the part of the input space where the function is more complex, which increases the efficiency of data collection. This kernel is also the basis for a novel search space over kernel structures that includes a local kernel search. This search space is considered in the chapter on integration, along with an overview of possible further integrations. We end the paper with a detailed summary of the methods and an outlook on future research. (übernommen).
Erfasst von	Deutsche Nationalbibliothek, Frankfurt am Main
Update	2025/2