Entropy Encoding ist eine Methode zur Datenkompression, die auf der Wahrscheinlichkeit der Darstellung von Symbolen in einer Nachricht basiert. Im Wesentlichen wird die Idee verfolgt, dass häufig vorkommende Symbole mit kürzeren Codes und seltener vorkommende Symbole mit längeren Codes dargestellt werden. Dies geschieht, um die durchschnittliche Länge der Codes zu minimieren, was zu einer effizienteren Speicherung und Übertragung von Daten führt. Zwei der bekanntesten Algorithmen für die Entropie-Codierung sind Huffman-Codierung und arithmetische Codierung.
Die Effizienz dieser Technik beruht auf dem Shannon'schen Entropie-Konzept, das die Unsicherheit oder den Informationsgehalt einer Quelle quantifiziert. Wenn man die Entropie einer Quelle mit den Wahrscheinlichkeiten der Symbole definiert, ergibt sich:
Durch die Anwendung von Entropy Encoding kann die Menge an benötigtem Speicherplatz erheblich reduziert werden, was besonders in Anwendungen wie Bild-, Audio- und Videokompression von großer Bedeutung ist.
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.