Rectificador (redes neuronales)

En el contexto de las redes neuronales artificiales, el rectificador' es una función de activación definida como:

$f(x)=\max(0,x)$

Donde 'x' es la entrada de la neurona^[1]. También es conocida como función rampa y es análoga a la rectificación de media onda en electrónica.

El primer uso documentado de esta función de activación en una red dinámica fue descrito por Hahnloser et al. en un artículo del año 2000^[2] en donde se presenta su bioinspiración y el fundamento matemático.^[3] Se utiliza en redes neuronales convolucionales^[4] obteniendo resultados de menor error que los generados con función logística (la cual es inspirada por la teoría de la probabilidad) y existe evidencia que es más práctica^[5] que su contraparte, la función hiperbólica. El rectificador es una función de activación común en redes neuronales profundas.^[6]

Las unidades que emplean el rectificador son conocidas como unidad lineal rectificada (ReLU, por sus siglas en inglés).

Una aproximación "suave" del rectificador es la función analítica:

f(x)=\ln(1+e^{x}),

conocida como función softplus.^[7] La derivada de dicha función es $f'(x)=e^{x}/(e^{x}+1)=1/(1+e^{-x})$ , p.e. la función logística.

La ReLU se emplean en visión artificial^[4] y reconocmiento de voz^[8]^[9] usando redes neuronales profundas.

Vea también

Referencias

↑ «Funciones de activación ReLU».
↑ R Hahnloser, R. Sarpeshkar, M A Mahowald, R. J. Douglas, H.S. Seung (2000). «Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit». Nature 405: 947-951.
↑ R Hahnloser, H.S. Seung (2001). Permitted and Forbidden Sets in Symmetric Threshold-Linear Networks. NIPS 2001.
↑ ^a ^b Xavier Glorot, Antoine Bordes and Yoshua Bengio (2011). Deep sparse rectifier neural networks. AISTATS.
↑ Yann LeCun, Leon Bottou, Genevieve B. Orr and Klaus-Robert Müller (1998). «Efficient BackProp». En G. Orr and K. Müller, ed. Neural Networks: Tricks of the Trade. Springer.
↑ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). «Deep learning». Nature 521 (7553): 436-444. Bibcode:2015Natur.521..436L. PMID 26017442. doi:10.1038/nature14539.
↑ C. Dugas, Y. Bengio, F. Bélisle, C. Nadeau, R. Garcia, NIPS'2000, (2001),Incorporating Second-Order Functional Knowledge for Better Option Pricing.
↑ László Tóth (2013). Phone Recognition with Deep Sparse Rectifier Neural Networks. International Conference on Acoustics, Speech and Signal Processing.
↑ Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models

Datos: Q7303176

[1] «Funciones de activación ReLU».

[Hahnloser2000-2] R Hahnloser, R. Sarpeshkar, M A Mahowald, R. J. Douglas, H.S. Seung (2000). «Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit». Nature 405: 947-951.

[Hahnloser2001-3] R Hahnloser, H.S. Seung (2001). Permitted and Forbidden Sets in Symmetric Threshold-Linear Networks. NIPS 2001.

[glorot2011-4] Xavier Glorot, Antoine Bordes and Yoshua Bengio (2011). Deep sparse rectifier neural networks. AISTATS.

[5] Yann LeCun, Leon Bottou, Genevieve B. Orr and Klaus-Robert Müller (1998). «Efficient BackProp». En G. Orr and K. Müller, ed. Neural Networks: Tricks of the Trade. Springer.

[6] LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). «Deep learning». Nature 521 (7553): 436-444. Bibcode:2015Natur.521..436L. PMID 26017442. doi:10.1038/nature14539.

[7] C. Dugas, Y. Bengio, F. Bélisle, C. Nadeau, R. Garcia, NIPS'2000, (2001),Incorporating Second-Order Functional Knowledge for Better Option Pricing.

[tothl2013-8] László Tóth (2013). Phone Recognition with Deep Sparse Rectifier Neural Networks. International Conference on Acoustics, Speech and Signal Processing.

[maas2014-9] Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Rectifier Nonlinearities Improve Neural Network Acoustic Models

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]