Durante o treinamento de uma rede neural artificial, técnicas de regularização baseadas nas normas L1 e L2…

A regularização L1 penaliza o quadrado dos pesos da rede, favorecendo distribuições contínuas de parâmetros com magnitudes semelhantes.

A regularização L2 penaliza o valor absoluto dos pesos, promovendo a eliminação gradual de conexões por meio da indução de esparsidade.

As regularizações L1 e L2 alteram a dinâmica do algoritmo de retropropagação, preservando inalterada a função de perda original do modelo.

A regularização L1 tende a produzir soluções esparsas, conduzindo diversos pesos a assumirem valor zero.

A regularização L2 elimina parâmetros redundantes da arquitetura, concentrando a variação dos dados nos neurônios de maior relevância.