StudierendeLehrende

Transformer Self-Attention Scaling

Die Self-Attention-Mechanik in Transformern ermöglicht es dem Modell, verschiedene Teile einer Eingabesequenz miteinander zu gewichten und zu vergleichen, um den Kontext besser zu erfassen. Bei der Berechnung der Aufmerksamkeit wird ein Skalierungsfaktor eingeführt, um die Ergebnisse der Dot-Produkt-Operation zu stabilisieren. Dieser Faktor ist normalerweise der Quadratwurzel der Dimension der Schlüssel-Vektoren, also dk\sqrt{d_k}dk​​. Ohne diese Skalierung könnten die Dot-Produkte sehr große Werte annehmen, was zu einer extremen Aktivierung der Softmax-Funktion führen würde und somit die Lernstabilität beeinträchtigen könnte. Durch die Skalierung wird sichergestellt, dass die Aufmerksamkeit gleichmäßig verteilt wird und das Modell somit effektiver lernen kann. Die Formel für den Selbstaufmerksamkeitsmechanismus kann dann wie folgt dargestellt werden:

Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)VAttention(Q,K,V)=softmax(dk​​QKT​)V

Hierbei sind QQQ, KKK und VVV die Abfragen, Schlüssel und Werte der Eingabe.

Weitere verwandte Begriffe

contact us

Zeit zu lernen

Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.

logoVerwandle jedes Dokument in ein interaktives Lernerlebnis.
Antong Yin

Antong Yin

Co-Founder & CEO

Jan Tiegges

Jan Tiegges

Co-Founder & CTO

Paul Herman

Paul Herman

Co-Founder & CPO

© 2025 acemate UG (haftungsbeschränkt)  |   Nutzungsbedingungen  |   Datenschutzerklärung  |   Jobs   |  
iconlogo
Einloggen

Mahler-Maß

Die Mahler Measure ist ein Konzept aus der algebraischen Geometrie und der Zahlentheorie, das zur Quantifizierung der Komplexität von Polynomen verwendet wird. Sie ist definiert für ein gegebenes mehrvariables Polynom P(x1,x2,…,xn)P(x_1, x_2, \ldots, x_n)P(x1​,x2​,…,xn​) und wird mathematisch als

M(P)=∏i=1nmax⁡(1,∣ai∣)M(P) = \prod_{i=1}^{n} \max(1, |a_i|) M(P)=i=1∏n​max(1,∣ai​∣)

beschrieben, wobei aia_iai​ die Koeffizienten des Polynoms sind. Die Mahler Measure misst dabei nicht nur den Betrag der Koeffizienten, sondern berücksichtigt auch die maximalen Werte, um eine Art "Volumen" im Koeffizientenraum zu erfassen. Diese Maßzahl hat bedeutende Anwendungen in der Diophantischen Geometrie, da sie hilft, die Größe und die Wurzeln von Polynomen zu charakterisieren. Zudem spielt die Mahler Measure eine Rolle in der Untersuchung von transzendentalen Zahlen und der arithmetischen Geometrie.

LZW-Kompressionsalgorithmus

Der LZW (Lempel-Ziv-Welch) Kompressionsalgorithmus ist ein verlustfreies Kompressionsverfahren, das häufig in Dateiformaten wie GIF und TIFF verwendet wird. Er funktioniert, indem er wiederholte Muster in den Daten erkennt und sie durch kürzere Codes ersetzt. Zu Beginn des Algorithmus wird eine Wörterbuch-Tabelle erstellt, die alle einzelnen Zeichen und deren zugehörige Codes enthält. Während der Kompression durchsucht der Algorithmus das Eingangsdatum nach längeren Mustern, die im Wörterbuch gespeichert sind, und fügt neue Muster hinzu, während er die bestehenden Codes verwendet. Der Prozess wird durch die Verwendung von Indizes zur Darstellung der Zeichenfolgen optimiert, was die Kompressionseffizienz steigert. Am Ende des Kompressionsvorgangs wird eine sequenzielle Liste von Codes generiert, die die komprimierte Version der ursprünglichen Daten darstellt.

Hessische Matrix

Die Hessische Matrix ist eine quadratische Matrix, die die zweiten Ableitungen einer multivariablen Funktion enthält. Sie ist besonders wichtig in der Optimierung und der Differentialgeometrie, da sie Informationen über die Krümmung der Funktion liefert. Für eine Funktion f:Rn→Rf: \mathbb{R}^n \to \mathbb{R}f:Rn→R ist die Hessische Matrix definiert als:

H(f)=[∂2f∂x12∂2f∂x1∂x2⋯∂2f∂x1∂xn∂2f∂x2∂x1∂2f∂x22⋯∂2f∂x2∂xn⋮⋮⋱⋮∂2f∂xn∂x1∂2f∂xn∂x2⋯∂2f∂xn2]H(f) = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix} H(f)=​∂x12​∂2f​∂x2​∂x1​∂2f​⋮∂xn​∂x1​∂2f​​∂x1​∂x2​∂2f​∂x22​∂2f​⋮∂xn​∂x2​∂2f​​⋯⋯⋱⋯​∂x1​∂xn​∂2f​∂x2​∂xn​∂2f​⋮∂xn2​∂2f​​​

Minkowski-Summe

Die Minkowski-Summe ist ein Konzept aus der Geometrie und der Mathematik, das sich mit der Addition von geometrischen Formen beschäftigt. Gegeben seien zwei Mengen AAA und BBB in einem Vektorraum, dann wird die Minkowski-Summe A⊕BA \oplus BA⊕B definiert als die Menge aller möglichen Summen von Punkten aus AAA und BBB. Mathematisch ausgedrückt lautet dies:

A⊕B={a+b∣a∈A,b∈B}A \oplus B = \{ a + b \mid a \in A, b \in B \}A⊕B={a+b∣a∈A,b∈B}

Die Minkowski-Summe hat zahlreiche Anwendungen, insbesondere in der Robotik, Computergrafik und in der Formanalyse. Sie ermöglicht es, komplexe Formen zu erstellen, indem man die Form eines Objekts mit der Struktur eines anderen kombiniert. Ein einfaches Beispiel wäre die Minkowski-Summe eines Punktes und eines Kreises, die einen größeren Kreis ergibt, dessen Radius der Größe des ursprünglichen Kreises plus der Distanz des Punktes ist.

Rationale Erwartungen

Der Begriff Rational Expectations (Rationale Erwartungen) bezieht sich auf eine ökonomische Theorie, die besagt, dass Individuen und Unternehmen ihre Erwartungen über zukünftige wirtschaftliche Bedingungen auf der Grundlage aller verfügbaren Informationen und ihrer eigenen Erfahrungen bilden. Diese Theorie geht davon aus, dass die Akteure im Markt nicht systematisch irren, sondern ihre Vorhersagen im Durchschnitt korrekt sind. Das bedeutet, dass sie zukünftige Ereignisse, wie Inflation oder Wirtschaftswachstum, nicht einfach zufällig oder naiv prognostizieren, sondern strategisch und informiert handeln.

Ein zentrales Element dieser Theorie ist, dass die Erwartungen der Wirtschaftssubjekte oft das tatsächliche wirtschaftliche Verhalten beeinflussen. Wenn beispielsweise die Akteure glauben, dass die Inflation steigen wird, könnten sie ihre Preise und Löhne entsprechend anpassen, was wiederum die Inflation tatsächlich beeinflussen kann. Dies führt zu einem dynamischen Zusammenspiel zwischen Erwartungen und realen wirtschaftlichen Ergebnissen, das in der Makroökonomie von großer Bedeutung ist.

Zusammengefasst lässt sich sagen, dass die Theorie der rationalen Erwartungen die Annahme beinhaltet, dass wirtschaftliche Akteure in der Lage sind, zukünftige wirtschaftliche Bedingungen realistisch zu bewerten und entsprechend zu handeln, was wichtige Implikationen für die Wirtschaftspolitik hat.

Hotellings Regel

Hotelling's Regel ist ein Konzept aus der Wirtschaftswissenschaft, das sich mit der optimalen Ernte von nicht erneuerbaren Ressourcen befasst. Es besagt, dass die Ausbeutung einer nicht erneuerbaren Ressource über die Zeit so erfolgen sollte, dass der Wert der abgebauten Menge im Zeitverlauf gleich dem Wert der nicht abgebauten Menge plus dem Zinssatz ist. Dies bedeutet, dass die Grenzpreise der Ressource mit der Zeit steigen sollten, um die Opportunitätskosten zu reflektieren. Mathematisch wird dies oft durch die Gleichung dargestellt:

dP(t)dt=r⋅P(t)\frac{dP(t)}{dt} = r \cdot P(t)dtdP(t)​=r⋅P(t)

wobei P(t)P(t)P(t) der Preis der Ressource zu einem bestimmten Zeitpunkt und rrr der Zinssatz ist. Diese Regel hilft dabei, die nachhaltige Nutzung von Ressourcen zu planen und sicherzustellen, dass zukünftige Generationen ebenfalls von diesen Ressourcen profitieren können.