TY - THES A1 - Lechner, Theresa T1 - Proximal Methods for Nonconvex Composite Optimization Problems T1 - Proximal-Verfahren für nichtkonvexe zusammengesetzte Optimierungsprobleme N2 - Optimization problems with composite functions deal with the minimization of the sum of a smooth function and a convex nonsmooth function. In this thesis several numerical methods for solving such problems in finite-dimensional spaces are discussed, which are based on proximity operators. After some basic results from convex and nonsmooth analysis are summarized, a first-order method, the proximal gradient method, is presented and its convergence properties are discussed in detail. Known results from the literature are summarized and supplemented by additional ones. Subsequently, the main part of the thesis is the derivation of two methods which, in addition, make use of second-order information and are based on proximal Newton and proximal quasi-Newton methods, respectively. The difference between the two methods is that the first one uses a classical line search, while the second one uses a regularization parameter instead. Both techniques lead to the advantage that, in contrast to many similar methods, in the respective detailed convergence analysis global convergence to stationary points can be proved without any restricting precondition. Furthermore, comprehensive results show the local convergence properties as well as convergence rates of these algorithms, which are based on rather weak assumptions. Also a method for the solution of the arising proximal subproblems is investigated. In addition, the thesis contains an extensive collection of application examples and a detailed discussion of the related numerical results. N2 - In Optimierungsproblemen mit zusammengesetzten Funktionen wird die Summe aus einer glatten und einer konvexen, nicht glatten Funktion minimiert. Die vorliegende Arbeit behan- delt mehrere numerische Verfahren zur Lösung solcher Probleme in endlich-dimensionalen Räumen, welche auf Proximity Operatoren basieren. Nach der Zusammenfassung einiger grundlegender Resultate aus der konvexen und nicht- glatten Analysis wird ein Verfahren erster Ordnung, das Proximal-Gradienten-Verfahren, vorgestellt und dessen Konvergenzeigenschaften ausführlich behandelt. Bekannte Resultate aus der Literatur werden dabei zusammengefasst und durch weitere Ergebnisse ergänzt. Im Anschluss werden im Hauptteil der Arbeit zwei Verfahren hergeleitet, die zusätzlich Informationen zweiter Ordnung nutzen und auf Proximal-Newton- beziehungsweise Proximal-Quasi- Newton-Verfahren beruhen. Der Unterschied zwischen beiden Verfahren liegt darin, dass bei ersterem eine klassische Schrittweitensuche verwendet wird, während das zweite stattdessen einen Regularisierungsparameter nutzt. Beide Techniken führen dazu, dass im Gegensatz zu vielen verwandten Verfahren in der jeweils ausführlichen Konvergenzanalyse die globale Konvergenz zu stationären Punkten ohne weitere einschränkende Voraussetzungen bewiesen werden kann. Ferner zeigen umfassende Resultate die lokalen Konvergenzeigenschaften sowie Konvergenzraten der Algorithmen auf, welche auf lediglich schwachen Annahmen beruhen. Ein Verfahren zur Lösung auftretender Proximal-Teilprobleme ist ebenfalls Bestandteil dieser Arbeit. Die Dissertation beinhaltet zudem eine umfangreiche Sammlung von Anwendungsbeispielen und zugehörigen numerischen Ergebnissen. KW - Optimierung KW - composite optimization KW - proximal gradient method KW - proximal Newton method Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-289073 ER - TY - JOUR A1 - Kanzow, Christian A1 - Mehlitz, Patrick T1 - Convergence properties of monotone and nonmonotone proximal gradient methods revisited JF - Journal of Optimization Theory and Applications N2 - Composite optimization problems, where the sum of a smooth and a merely lower semicontinuous function has to be minimized, are often tackled numerically by means of proximal gradient methods as soon as the lower semicontinuous part of the objective function is of simple enough structure. The available convergence theory associated with these methods (mostly) requires the derivative of the smooth part of the objective function to be (globally) Lipschitz continuous, and this might be a restrictive assumption in some practically relevant scenarios. In this paper, we readdress this classical topic and provide convergence results for the classical (monotone) proximal gradient method and one of its nonmonotone extensions which are applicable in the absence of (strong) Lipschitz assumptions. This is possible since, for the price of forgoing convergence rates, we omit the use of descent-type lemmas in our analysis. KW - non-Lipschitz optimization KW - nonsmooth optimization KW - proximal gradient method Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-324351 SN - 0022-3239 VL - 195 IS - 2 ER - TY - JOUR A1 - Natemeyer, Carolin A1 - Wachsmuth, Daniel T1 - A proximal gradient method for control problems with non-smooth and non-convex control cost JF - Computational Optimization and Applications N2 - We investigate the convergence of the proximal gradient method applied to control problems with non-smooth and non-convex control cost. Here, we focus on control cost functionals that promote sparsity, which includes functionals of L\(^{p}\)-type for p\in [0,1). We prove stationarity properties of weak limit points of the method. These properties are weaker than those provided by Pontryagin’s maximum principle and weaker than L-stationarity. KW - sparse control problems KW - proximal gradient method KW - non-smooth and non-convex optimization Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-269069 SN - 1573-2894 VL - 80 IS - 2 ER -