Rectificador (redes neuronales)

Gráfica de las funciones de rectificador (azul) y softplus (verde) cerca a x = 0

En el contexto de las redes neuronales artificiales, el rectificador es una función de activación definida como:

$f(x)=\max(0,x)$

Donde 'x' es la entrada de la neurona. También es conocida como función rampa y es análoga a la rectificación de media onda en electrónica. La función de activación activa los pesos de una neurona según el resultado de dicha neurona en el mundo de la inteligencia artificial.

El primer uso documentado de esta función de activación en una red dinámica fue descrito por Hahnloser et al. en un artículo del año 2000​ en donde se presenta su bioinspiración y el fundamento matemático.​ Se utiliza en redes neuronales convolucionales​ para obtener resultados de menor error que los generados con función logística (la cual es inspirada por la teoría de la probabilidad) y existe evidencia que es más práctica​ que su contraparte, la función hiperbólica. El rectificador es una función de activación común en redes neuronales profundas.​

Las unidades que emplean el rectificador son conocidas como unidad lineal rectificada (ReLU, por sus siglas en inglés).

Una aproximación "suave" del rectificador es la función analítica:

$f(x)=\ln(1+e^{x}),$

conocida como función softplus.​ La derivada de dicha función es $f'(x)=e^{x}/(e^{x}+1)=1/(1+e^{-x})$, p.e. la función logística.

La ReLU se emplean en visión artificial​ y reconocimiento de voz​​ usando redes neuronales profundas.

Véase también

• Función SoftMax
• Función sigmoide

Referencias

• Datos: Q7303176