Der Begriff Entropy Split stammt aus der Informationstheorie und wird häufig in der Entscheidungsbaum-Lernalgorithmen verwendet, um die beste Aufteilung von Daten zu bestimmen. Die Entropie ist ein Maß für die Unordnung oder Unsicherheit in einem Datensatz. Bei einer Aufteilung wird die Entropie vor und nach der Aufteilung berechnet, um zu bestimmen, wie gut die Aufteilung die Unsicherheit verringert.
Die Entropie eines Datensatzes wird durch die Formel
definiert, wobei der Anteil der Klasse im Datensatz und die Anzahl der Klassen ist. Bei einem Entropy Split wird der Informationsgewinn berechnet, um die Effektivität einer Aufteilung zu bewerten. Der Informationsgewinn wird als Differenz der Entropie vor und nach der Aufteilung berechnet:
Hierbei ist die Attribut, nach dem aufgeteilt wird, und ist die Teilmenge von $
Starte dein personalisiertes Lernelebnis mit acemate. Melde dich kostenlos an und finde Zusammenfassungen und Altklausuren für deine Universität.