Durante o treinamento de redes neurais profundas, a estratégia de inicialização dos pesos influencia…

A inicialização dos pesos com valores idênticos favorece a quebra de simetria entre os neurônios, permitindo que cada unidade aprenda representações distintas.

O algoritmo de backpropagation atualiza prioritariamente os parâmetros das camadas ocultas, preservando os pesos da camada de saída durante o treinamento.

O desaparecimento do gradiente resulta da propagação sucessiva de derivadas de pequena magnitude, dificultando a atualização dos parâmetros das camadas iniciais.

A inicialização de Xavier (Glorot Initialization) foi proposta para eliminar o cálculo dos gradientes, simplificando o treinamento de redes profundas.

A inicialização He (He Initialization) foi desenvolvida para funções de ativação lineares, reduzindo a necessidade de retropropagação dos erros.