Die Shannon Entropy ist ein Konzept aus der Informationstheorie, das von Claude Shannon in den 1940er Jahren entwickelt wurde. Sie misst die Unsicherheit oder Informationsdichte eines Zufallsprozesses oder eines Informationssystems. Mathematisch wird die Entropie einer diskreten Zufallsvariablen mit möglichen Ausprägungen und Wahrscheinlichkeiten durch die folgende Formel definiert:
Hierbei zeigt die Entropie, wie viel Information im Durchschnitt benötigt wird, um eine Ausprägung von zu codieren. Eine hohe Entropie bedeutet, dass es viele mögliche Ausprägungen mit ähnlicher Wahrscheinlichkeit gibt, was zu größerer Unsicherheit führt. Umgekehrt weist eine niedrige Entropie auf eine geringere Unsicherheit hin, da eine oder mehrere Ausprägungen dominieren. Die Shannon Entropy findet Anwendung in verschiedenen Bereichen, darunter Datenkompression, Kryptografie und maschinelles Lernen.
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.