Shannon Entropy, benannt nach dem Mathematiker Claude Shannon, ist ein Maß für die Unsicherheit oder den Informationsgehalt eines Zufallsprozesses. Es quantifiziert, wie viel Information in einer Nachricht oder einem Datensatz enthalten ist, indem es die Wahrscheinlichkeit der verschiedenen möglichen Ergebnisse berücksichtigt. Mathematisch wird die Shannon-Entropie einer diskreten Zufallsvariablen mit den möglichen Werten und den entsprechenden Wahrscheinlichkeiten definiert als:
Hierbei ist die Entropie in Bits. Eine hohe Entropie weist auf eine große Unsicherheit und damit auf einen höheren Informationsgehalt hin, während eine niedrige Entropie bedeutet, dass die Ergebnisse vorhersehbarer sind. Shannon Entropy findet Anwendung in verschiedenen Bereichen wie Datenkompression, Kryptographie und maschinellem Lernen, wo das Verständnis von Informationsgehalt entscheidend ist.
Start your personalized study experience with acemate today. Sign up for free and find summaries and mock exams for your university.