Die Shannon-Entropie ist ein Maß für die Unsicherheit oder den Informationsgehalt einer Zufallsvariable. Sie wird häufig in der Informationstheorie verwendet, um die Menge an Information zu quantifizieren, die in einem bestimmten Datensatz enthalten ist. Die Formel für die Shannon-Entropie einer diskreten Zufallsvariablen mit möglichen Werten und Wahrscheinlichkeiten lautet:
Hierbei ist der Logarithmus zur Basis 2, und die Entropie wird in Bit gemessen. Eine höhere Entropie bedeutet, dass die Zufallsvariable mehr Unsicherheit oder Vielfalt aufweist, während eine Entropie von null darauf hinweist, dass es keine Unsicherheit gibt, weil ein Ergebnis sicher ist. Die Shannon-Entropie ist ein fundamentales Konzept in der Datenkompression, Kryptographie und vielen anderen Bereichen der Informatik und Statistik.
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.