Regularizers lar deg bruke straff på lagparametere eller lagaktivitet under optimalisering. Disse bøtene summeres til tapsfunksjonen som nettverket optimaliserer. Reguleringsstraff pålegges per lag.
Hva er aktivitetsregularizer?
Aktivitetsregularizeren fungerer som en funksjon av utgangen av nettet, og brukes mest til å regularisere skjulte enheter, mens weight_regularizer, som navnet sier, fungerer på vektene (f.eks. få dem til å forfalle).
Når bør jeg bruke aktivitetsregularizer?
Hvis du vil at utgangsfunksjonen skal gå gjennom (eller ha en avskjæring nærmere) origo, kan du bruke bias-regularizer. Hvis du vil at utgangen skal være mindre (eller nærmere 0), kan du bruke aktivitetsregularizeren.
Hvordan bruker jeg Keras-regularizer?
For å legge til en regularizer til et lag, må du ganske enkelt overføre den foretrukne regulariseringsteknikken til lagets søkeordargument 'kernel_regularizer'. Keras-regulariseringsimplementeringsmetodene kan gi en parameter som representerer regulariseringshyperparameterverdien.
Hva er kjerne og skjevhet?
Dense class
Dense implementerer operasjonen: output=activation(dot(input, kernel) + bias) der aktivering er den elementmessige aktiveringsfunksjonen som sendes som aktiveringsargument, kjerne er en vektmatrise laget av laget, ogbias er en bias-vektor opprettet av laget (kun aktuelt hvis use_bias er True).
