Aprendizaje supervisado y redes neuronales: clasificadores

Un programa que aprende recibe ejemplos del comportamiento que debe aprender. En el aprendizaje supervisado, cada ejemplo empareja una entrada con su salida correcta, llamada etiqueta. La regla aprendida también debe funcionar con entradas que no estuvieron presentes durante el entrenamiento.

Identifica la tarea y sus etiquetas

Escribe un conjunto de entrenamiento como $({𝐱}_1,y_1),\dots ,({𝐱}_N,y_N)$. La entrada describe un caso; la etiqueta proporciona la respuesta para ese caso. Una función objetivo desconocida describe la relación subyacente. Con etiquetas sin ruido, $y=f(𝐱)$. El programa elige una hipótesis $h$ para aproximar esa relación.

Para un filtro de correo no deseado, un caso es un correo. Su entrada puede describir si contiene «free», cuántos enlaces tiene y si su remitente es un contacto. Su etiqueta es correo no deseado o deseado. Un conjunto de entrenamiento podría contener 5000 correos etiquetados; el filtro terminado se evalúa con 1000 correos etiquetados diferentes.

La salida define la tarea. «¿Caerán más de 5 mm de lluvia?» pide una clase; «¿Cuántos milímetros caerán?» pide un número. Una salida entera puede seguir siendo una clase: el dígito 7 nombra una categoría, no siete veces el dígito 1.

El aprendizaje supervisado usa ejemplos etiquetados. El aprendizaje no supervisado busca estructura sin etiquetas, como grupos de clientes. El aprendizaje por refuerzo usa recompensas que siguen a las acciones de un agente. Crear etiquetas fiables puede requerir mucho trabajo humano.

Elige una familia de reglas posibles

El espacio de hipótesis es la familia en la que el programa puede buscar, como los clasificadores lineales que usan características especificadas. Los parámetros aprendidos, incluidos los pesos o las probabilidades condicionadas, seleccionan un miembro de esa familia. Un objetivo fuera de la familia no puede representarse exactamente, ni siquiera con datos ilimitados.

Un hiperparámetro controla la configuración del aprendizaje: algunos ejemplos son la tasa de aprendizaje o el número de unidades ocultas. El entrenamiento ajusta los parámetros. Las comparaciones con datos de validación ayudan a elegir los hiperparámetros. Las familias más flexibles captan más patrones, pero también tienen más formas de ajustarse al ruido.

Evalúa las predicciones en casos nuevos

El error de entrenamiento mide el ajuste a los ejemplos usados para aprender. Una regla que memoriza todos los correos de entrenamiento puede tener un error de entrenamiento de cero y aun así fallar con mensajes nuevos. Usa un conjunto de validación para elegir el modelo y reserva un conjunto de prueba separado para la evaluación final.

Para un clasificador, la tasa de error es el número de predicciones incorrectas dividido entre el número de ejemplos probados. Tres errores entre 40 correos dan

La relación con el rendimiento futuro depende de cómo se obtuvieron las muestras. Los ejemplos independientes e idénticamente distribuidos, o i.i.d., son extracciones independientes de la misma distribución. Si el futuro correo no deseado usa un vocabulario muy diferente, el conjunto de prueba anterior deja de representar ese flujo futuro. Comunica el resultado con datos reservados para la población que realmente representa.

Los modelos trabajan con una descripción numérica de cada caso. La elección y el orden de estas características determinan lo que un modelo puede detectar. Una pérdida indica después al proceso de aprendizaje el costo de sus predicciones.

Construye un vector de características

Una característica puede ser binaria, un conteo o un número medido. «Contiene free» se convierte en 0 o 1, un conteo de enlaces podría ser 4 y la superficie podría ser 85 m². Mantén el mismo orden de características para el entrenamiento y la predicción. Una imagen en escala de grises de 28 por 28 proporciona $28\times 28=784$ características de píxeles.

Para una categoría sin orden numérico, usa la codificación de un único indicador activo. Para rojo, verde y azul, los vectores son $(1,0,0)$, $(0,1,0)$ y $(0,0,1)$. Los códigos 1, 2 y 3 impondrían un orden y unas distancias artificiales a estos colores.

Combina las características en una puntuación

Un producto escalar multiplica los pesos y las características correspondientes y después los suma:

Para $𝐰=(2;-1;\mathrm{0,5})$ y $𝐱=(1,3,4)$, la puntuación es

Un peso positivo aumenta la puntuación cuando aumenta su característica; uno negativo la reduce. La magnitud del peso describe la sensibilidad por unidad de la característica, por lo que comparar magnitudes entre características con escalas diferentes requiere cuidado.

El término de sesgo desplaza la puntuación independientemente de las entradas variables. Incluye una primera característica constante $x_0=1$ y deja que $w_0$ sea su peso. Así, $𝐱=(1,x_1,\dots ,x_n)$ incluye la característica de sesgo; no es una propiedad medida adicional. El modelo puede entonces desplazar una frontera de decisión sin cambiar los demás pesos.

Mide el costo de una predicción

Una función de pérdida compara una predicción con su etiqueta. Las distintas pérdidas expresan distintos costos:

Para una temperatura real de 10 °C y una predicción de 7 °C, la pérdida cuadrática es 9 y la pérdida absoluta es 3. Un error de 6 tiene una pérdida cuadrática de 36, cuatro veces la pérdida de un error de 3. La pérdida 0/1 promedio es la tasa de error de clasificación.

La pérdida empírica es la pérdida promedio en la muestra de entrenamiento. Las predicciones $(2,4,7)$ para las etiquetas $(3,4,5)$ dan errores cuadráticos 1, 0 y 4, por lo que el error cuadrático medio es $5\mathrm{/}3\approx \mathrm{1,67}$. Suma las pérdidas antes de dividir entre el número de ejemplos.

La pérdida de generalización es la pérdida esperada en ejemplos nuevos de la misma distribución. Minimizar la pérdida empírica puede ajustar detalles accidentales de la muestra. Las características irrelevantes dan al programa más oportunidades de hacerlo; las características casi duplicadas también pueden hacer que Bayes ingenuo cuente la misma evidencia dos veces. La navaja de Ockham favorece una hipótesis más simple cuando las alternativas se ajustan aproximadamente igual de bien, porque la flexibilidad adicional necesita el respaldo de los datos.

Bayes ingenuo combina la probabilidad inicial de una clase con la evidencia que aporta una entrada. Su supuesto simplificador permite aprender un modelo de probabilidad grande a partir de muestras relativamente pequeñas.

Factoriza la evidencia por clase

El modelo supone que las características son condicionalmente independientes dada la clase. Para una variable de clase y varias características,

Una red bayesiana muestra la clase como el nodo padre de cada característica. La independencia es condicional: las características pueden estar muy relacionadas en general porque ambas dependen de la clase. Para 100 características binarias, una tabla conjunta completa de características necesita $2^{100}-1$ probabilidades libres por clase. Bayes ingenuo solo necesita 100 probabilidades por clase, una para el valor sí de cada característica.

La regla de Bayes da una puntuación de clase

Elige la clase con la puntuación más alta. El denominador de la evidencia omitido es el mismo para todas las clases. Una puntuación todavía no es una probabilidad a posteriori: para obtenerla, divide la puntuación entre la suma de todas las puntuaciones de clase.

Resuelve una predicción con características binarias

Supón que la probabilidad a priori de correo no deseado es 0,4 y la de correo deseado es 0,6. Las probabilidades de «free» son 0,5 en correo no deseado y 0,05 en correo deseado. Para «meeting», son 0,1 y 0,4. El correo nuevo contiene «free», pero no «meeting».

1. Para el correo no deseado, la ausencia de «meeting» aporta $1-\mathrm{0,1}=\mathrm{0,9}$. La puntuación es $\mathrm{0,4}(\mathrm{0,5})(\mathrm{0,9})=\mathrm{0,18}$.
2. Para el correo deseado, esa ausencia aporta $1-\mathrm{0,4}=\mathrm{0,6}$. La puntuación es $\mathrm{0,6}(\mathrm{0,05})(\mathrm{0,6})=\mathrm{0,018}$.
3. Las puntuaciones suman 0,198, por lo que la probabilidad a posteriori de correo no deseado es $\mathrm{0,18}\mathrm{/}\mathrm{0,198}\approx \mathrm{0,909}$.

Una característica binaria ausente aporta evidencia. Si aparecen ambas palabras, las puntuaciones pasan a ser 0,02 y 0,012, y la probabilidad a posteriori de correo no deseado baja a 0,625. «Meeting» desplaza el equilibrio hacia el correo deseado, aunque sigue ganando el no deseado.

Mantén claro el sentido del condicionamiento. $P(\text{free}\mid \text{no deseado})=\mathrm{0,5}$ describe los mensajes no deseados. La probabilidad inversa, $P(\text{no deseado}\mid \text{free})$, también necesita las probabilidades a priori de las clases y la verosimilitud del correo deseado; aquí es $\mathrm{0,2}\mathrm{/}(\mathrm{0,2}+\mathrm{0,03})\approx \mathrm{0,870}$.

Usa puntuaciones logarítmicas sin cambiar la clase ganadora

Los productos largos pueden producir subdesbordamiento a cero en la aritmética de la computadora. Doscientos factores de 0,01 dan ${10}^{-400}$, menor que el número positivo más pequeño de doble precisión. Compara

en su lugar. Los logaritmos conservan el orden y convierten la multiplicación en suma. Aquí $\ln \mathrm{0,18}\approx -\mathrm{1,715}$ supera a $\ln \mathrm{0,018}\approx -\mathrm{4,017}$; entre puntuaciones negativas, la menos negativa es mayor.

Bayes ingenuo es generativo: modela la probabilidad a priori y cómo surgen las características dentro de cada clase. La regresión logística es discriminativa: modela directamente la probabilidad de la clase a partir de la entrada. Bayes ingenuo con características binarias también tiene una frontera lineal en el logaritmo de la razón de probabilidades. Las características correlacionadas, como «Hong» y «Kong», pueden hacer que su probabilidad a posteriori sea demasiado extrema al contar evidencia que se solapa. Una predicción de clase puede ser correcta aunque la probabilidad asignada sea demasiado extrema.

Bayes ingenuo aprende contando. Las decisiones importantes son qué población corresponde al denominador y cuánta protección dar a un resultado que todavía no ha aparecido.

Estima probabilidades dentro del grupo correcto

La estimación de máxima verosimilitud, o MLE, hace que los datos observados sean lo más probables posible. Para una probabilidad a priori de clase, divide el conteo de la clase entre el número total de ejemplos. Para una probabilidad condicionada de una característica, limita ambos conteos a la clase:

Considera 100 correos: 40 no deseados y 60 deseados. «Free» aparece en 20 mensajes no deseados y 3 deseados; «meeting» aparece en 4 mensajes no deseados y 24 deseados. Por tanto, la probabilidad a priori de correo no deseado es 0,4. Las estimaciones para «free» son $20\mathrm{/}40=\mathrm{0,5}$ para correo no deseado y $3\mathrm{/}60=\mathrm{0,05}$ para correo deseado. Las estimaciones para «meeting» son $4\mathrm{/}40=\mathrm{0,1}$ y $24\mathrm{/}60=\mathrm{0,4}$. Dividir un conteo de característica y clase entre 100 estimaría una probabilidad conjunta, no la probabilidad condicionada solicitada.

Corrige los conteos cero

Supón que «prize» aparece en 8 mensajes no deseados y en ningún mensaje deseado. Su MLE para correo deseado es cero. Cualquier mensaje nuevo que la contenga recibe una puntuación cero para la clase de correo deseado, digan lo que digan sus demás características. La ausencia de un resultado en una muestra finita se ha convertido en una afirmación de imposibilidad.

El suavizado con suma de k da a cada valor posible de una característica un pseudoconteo de $k$:

Aquí $\mathrm{\mid }F\mathrm{\mid }$ es el número de valores de esta característica. Para una característica de sí o no es 2, no el número de palabras modeladas. Con suavizado con suma de uno,

Ambos resultados reciben un pseudoconteo. En el correo deseado, el valor ausente tiene por tanto una probabilidad de $61\mathrm{/}62$. Las dos probabilidades suman 1. Sumar solo al numerador rompería esta normalización.

Elige la intensidad del suavizado

La intensidad $k$ es un hiperparámetro. En cero da la MLE. A medida que aumenta, cada probabilidad se aproxima al valor uniforme $1\mathrm{/}\mathrm{\mid }F\mathrm{\mid }$ y la evidencia específica de cada clase se debilita. El suavizado sacrifica parte del ajuste a los conteos observados para obtener predicciones más estables en casos nuevos.

Compara valores como 0,1; 0,5; 1; 2 y 5 con datos de validación. Mantén separado el conjunto de prueba para la evaluación final. Un valor grande puede producir subajuste; uno muy pequeño puede dejar estimaciones inestables para características poco frecuentes.

El mismo pseudoconteo importa menos cuando aumentan los conteos reales. Entre 6000 correos deseados, 300 contienen «free»: la MLE es 0,05 y el valor con suma de uno es $301\mathrm{/}6002\approx \mathrm{0,0502}$. Con muchas observaciones, los datos dominan a los pseudoconteos. Las probabilidades a priori de las clases suelen dejarse sin suavizar cuando todas las clases están bien representadas. Una sola pasada por los ejemplos etiquetados puede recopilar los conteos, lo que hace rápido este método de entrenamiento.

Una bolsa de palabras convierte un texto en conteos de palabras. Proporciona a un clasificador sencillo evidencia sobre el vocabulario mientras descarta el orden en que aparecen las palabras.

Cuenta ocurrencias, no solo documentos

«El gato mira el perro» y «el perro mira el gato» tienen la misma bolsa: «el» dos veces y cada una de las demás palabras una vez. Una ocurrencia léxica es una aparición; el vocabulario es el conjunto de palabras distintas representadas por el modelo.

En el clasificador de Bayes ingenuo multinomial, cada posición de palabra es una extracción independiente de una distribución de palabras específica de la clase. Una palabra que aparece tres veces aporta tres factores:

La puntuación logarítmica correspondiente es $\log P(y)+{\sum }_w{n}_w\log P(w\mid y)$. La probabilidad a priori aparece una vez por documento. El conteo de la palabra multiplica su probabilidad logarítmica.

Estima las probabilidades de las palabras a partir de los conteos de ocurrencias dentro de una clase. Con suavizado,

donde $N_y$ cuenta todas las ocurrencias de entrenamiento en esa clase y $\mathrm{\mid }V\mathrm{\mid }$ cuenta las palabras del vocabulario. Supón que el correo no deseado contiene 200 ocurrencias, entre ellas «dinero» 9 veces, y que el vocabulario contiene 1000 palabras. La MLE da $9\mathrm{/}200=\mathrm{0,045}$. La suma de uno da $10\mathrm{/}1200\approx \mathrm{0,0083}$, mientras que $k=\mathrm{0,1}$ da $\mathrm{9,1}\mathrm{/}300\approx \mathrm{0,0303}$. Un vocabulario grande hace que incluso un pseudoconteo por palabra sea considerable.

Clasifica un documento breve

Deportes y política tienen cada uno una probabilidad a priori de 0,5. Las probabilidades de las palabras son:

Para «gol gol voto partido», la puntuación de deportes es

La puntuación de política es $\mathrm{0,5}(\mathrm{0,005}{)}^2(\mathrm{0,04})(\mathrm{0,006})=3\times {10}^{-9}$. Deportes gana por un factor de 50 y su probabilidad a posteriori normalizada es $50\mathrm{/}51\approx \mathrm{0,98}$. Omitir el segundo «gol» descartaría parte de la evidencia. En la práctica, usa las puntuaciones logarítmicas, aproximadamente −15,71 y −19,62, para evitar productos diminutos.

Distingue los modelos de texto

Un modelo de texto de Bernoulli usa una característica de sí o no por palabra e incluye el factor de cada palabra ausente. El modelo multinomial usa conteos de ocurrencias y no tiene factores separados para palabras ausentes. Sus denominadores cuentan ocurrencias, no documentos. Mezclar estas decisiones no produce correctamente ninguno de los dos modelos.

Una palabra del vocabulario no observada en una clase necesita suavizado. Una palabra fuera del vocabulario no tiene una probabilidad modelada y normalmente se omite. Como alternativa, el entrenamiento puede reservar una ocurrencia para palabras desconocidas con su propia probabilidad específica de la clase.

La bolsa ignora el contexto: «bueno» aporta la misma evidencia en «no es bueno» y en «muy bueno». Añadir bigramas, o pares de palabras, puede representar una expresión como «no es». Las palabras casi duplicadas o vecinas aún pueden producir probabilidades con exceso de confianza. El modelo sigue siendo útil como referencia rápida para temas, correo no deseado, sentimientos o identificación de idiomas.

Un clasificador lineal toma una decisión a partir de una suma ponderada. La geometría muestra qué patrones puede separar esa suma y por qué algunas tareas requieren características nuevas.

Interpreta la puntuación y la frontera

Incluye primero la característica de sesgo constante: $𝐱=(1,x_1,\dots ,x_n)$. Calcula $z=𝐰\cdot 𝐱$ y predice $+1$ para $z\ge 0$ o $-1$ para $z<0$. Según esta convención, una puntuación cero pertenece a la clase positiva.

Con al menos un peso de característica distinto de cero, la frontera de decisión es $𝐰\cdot 𝐱=0$. Para dos características variables es una recta; para tres es un plano; en general es un hiperplano. El vector de pesos sin el sesgo es perpendicular a esta frontera y apunta hacia el lado positivo.

Para $𝐰=(-3,1,1)$, la puntuación es $-3+x_1+x_2$ y la frontera es $x_1+x_2=3$. El punto $(2,2)$ obtiene 1, $(1,1)$ obtiene −1 y $(3,0)$ obtiene cero. Las predicciones son positiva, negativa y positiva.

La distancia geométrica es la magnitud de la puntuación dividida entre la longitud del vector de pesos sin el sesgo:

Para $(2,2)$ es $1\mathrm{/}\sqrt{2}\approx \mathrm{0,71}$. Multiplicar cada peso por una constante positiva cambia la puntuación, pero deja sin cambios tanto la distancia como la clase predicha. Omitir el sesgo obliga a que las fronteras pasen por el origen.

Decide si basta una recta

Los datos son linealmente separables cuando un vector de pesos clasifica correctamente todos los puntos. Para AND, usa $𝐰=(-\mathrm{1,5};1;1)$. Solo $(1,1)$ tiene una puntuación positiva; las otras tres entradas binarias tienen puntuaciones negativas.

XOR etiqueta $(1,0)$ y $(0,1)$ como positivos, pero $(0,0)$ y $(1,1)$ como negativos. Ninguna recta puede separar esos pares diagonalmente opuestos. Para ver por qué, el origen negativo requiere $w_0<0$. Los dos puntos positivos requieren $w_1+w_2\ge -2w_0$, mientras que el punto negativo $(1,1)$ requiere $w_1+w_2<-w_0$. En conjunto requieren $w_0>0$, una contradicción.

La representación de características puede cambiar la separabilidad. Añade la característica $x_1{x}_2$ y usa los pesos $(-\mathrm{0,5};1;1;-2)$. Las cuatro entradas XOR obtienen entonces −0,5; 0,5; 0,5 y −0,5 en el orden $(0,0),(1,0),(0,1),(1,1)$. La regla es lineal en el vector ampliado de características, aunque es no lineal en las entradas originales. Una capa oculta puede aprender características transformadas útiles.

Extiende las puntuaciones a varias clases

Mantén un vector por clase y elige el producto escalar más alto. Para $𝐱=(1,2)$, los vectores ${𝐰}_A=(1,1)$, ${𝐰}_B=(2,0)$ y ${𝐰}_C=(0,1)$ dan puntuaciones de 3, 2 y 2. Gana la clase A. Son puntuaciones comparativas, no probabilidades; no tienen por qué estar entre cero y uno ni sumar uno.

El perceptrón aprende una regla de decisión lineal corrigiendo los errores a medida que aparecen. Cambia los pesos directamente, sin ajustar probabilidades ni derivar una pérdida suave.

Actualiza un ejemplo a la vez

Usa etiquetas $y\in \{-1,+1\}$, incluye la característica de sesgo y empieza con pesos cero. Una puntuación cero predice $+1$. Para cada ejemplo, predice usando los pesos actuales. Déjalos sin cambios si la predicción es correcta; de lo contrario, aplica

Un ejemplo positivo suma su vector de características. Un ejemplo negativo lo resta. La puntuación de ese ejemplo cambia en $y\mathrm{\parallel }𝐱{\mathrm{\parallel }}^2$, por lo que se desplaza hacia el signo correcto. La característica de sesgo hace que el cuadrado de la longitud sea positivo. Una actualización aún puede dejar el ejemplo incorrecto y perjudicar predicciones anteriores.

Una época es una pasada completa por el conjunto de entrenamiento. Detente después de una época completa sin errores o al alcanzar un límite de pasadas elegido.

Sigue dos pasadas

Toma los ejemplos en este orden, con la coordenada de sesgo ya incluida:

1. A obtiene cero y se predice incorrectamente como positivo. Resta A para obtener $(-1,-1,-3)$.
2. B ahora obtiene $-1-3-3=-7$. Suma B para obtener $(0,2,-2)$.
3. C obtiene −2 y D obtiene 4. Ambos son correctos, por lo que no hay actualización.
4. En la siguiente pasada, A, B, C y D obtienen −4, 4, −2 y 4. Ya no hay errores, así que detente.

La frontera aprendida es $x_1=x_2$. Las predicciones deben usar los pesos posteriores a todas las actualizaciones anteriores, no los pesos del comienzo de la época.

Comprende la convergencia y sus límites

El teorema de convergencia del perceptrón garantiza un número finito de errores para datos de entrenamiento linealmente separables. Si los vectores de entrada ampliados tienen longitudes de como máximo $R$ y un separador de longitud unitaria alcanza un margen con signo positivo $\gamma$, la cota de errores es $(R\mathrm{/}\gamma {)}^2$. La garantía encuentra un separador; no selecciona el margen más amplio ni el mejor rendimiento de prueba.

Los datos no separables, incluidos XOR con sus características originales o las etiquetas contradictorias, nunca permiten una pasada sin errores. Establece un límite de entrenamiento y usa el rendimiento de validación para elegir los pesos. Un perceptrón promediado predice usando el promedio de los pesos de los pasos de entrenamiento. Una tasa de aprendizaje positiva y fija simplemente escala cada peso al empezar desde cero, por lo que deja sin cambios la secuencia de predicciones binarias; una tasa variable puede alterar ese comportamiento.

Corrige una predicción multiclase

Ante un error multiclase, suma la entrada al vector de la clase real y réstala del vector de la clase predicha. Deja los demás sin cambios. Para la entrada $(1,2)$, clase real B y clase predicha A, los vectores $(1,1)$ y $(2,0)$ pasan a ser $(0,-1)$ y $(3,2)$. Sus nuevas puntuaciones son −2 y 7. La puntuación de C sigue siendo 2, por lo que ahora gana B. Al igual que el perceptrón binario, este modelo devuelve una clase, no una probabilidad.

La regresión logística convierte una puntuación lineal en una probabilidad para una clase binaria. Su salida suave proporciona una señal de entrenamiento gradual incluso cuando una clasificación directa ya es correcta.

Convierte una puntuación en probabilidad

Para etiquetas 0 y 1, calcula $z=𝐰\cdot 𝐱$ y

La sigmoide aumenta desde valores cercanos a cero hasta valores cercanos a uno. Da $\sigma (0)=\mathrm{0,5}$, $\sigma (1)\approx \mathrm{0,731}$, $\sigma (2)\approx \mathrm{0,881}$ y $\sigma (-2)\approx \mathrm{0,119}$. Predecir la clase 1 cuando $p\ge \mathrm{0,5}$ equivale a usar $z\ge 0$, por lo que esta frontera de decisión sigue siendo lineal.

La puntuación equivale al logaritmo de la razón de probabilidades:

Con pesos $(-4;\mathrm{0,8})$ y entrada $(1,\text{horas estudiadas})$, cinco horas dan una puntuación de cero y una probabilidad de 0,5. Con 7,5 horas la puntuación es 2 y la probabilidad es aproximadamente 0,881. Cada hora adicional suma 0,8 al logaritmo de la razón de probabilidades y multiplica la razón por $e^{\mathrm{0,8}}\approx \mathrm{2,23}$. No suma 0,8 a la probabilidad. Una probabilidad predicha de 0,7 se refiere a la clase de este ejemplo; no indica una exactitud del modelo del 70 %.

Entrena con pérdida logarítmica

Para un ejemplo, la pérdida logarítmica binaria es

Solo queda el término correspondiente a la etiqueta observada. Si $y=1$, usa $-\ln p$; si $y=0$, usa $-\ln (1-p)$. Con $p=\mathrm{0,9}$, estas pérdidas son aproximadamente 0,105 y 2,303. Una predicción incorrecta hecha con confianza es mucho más costosa que una incierta; $p=\mathrm{0,5}$ da una pérdida de aproximadamente 0,693 para cualquiera de las etiquetas.

La máxima verosimilitud elige pesos que asignan una probabilidad conjunta alta a las etiquetas observadas. Tomar un logaritmo negativo convierte su producto de probabilidades en la suma de pérdidas logarítmicas. El descenso del gradiente ajusta los pesos porque no hay una solución general en forma cerrada.

La pérdida logarítmica de la regresión logística es convexa respecto de los pesos, por lo que cada mínimo local es global. La pérdida 0/1 es plana casi en todas partes y no proporciona un gradiente útil; la pérdida cuadrática después de la sigmoide pierde esta convexidad. Con datos de entrenamiento separables, la pérdida logarítmica sin regularizar puede disminuir mientras los pesos crecen sin límite, por lo que no existe una solución finita de máxima verosimilitud. Una penalización de pesos controla ese crecimiento.

Usa softmax para más clases

Asigna una puntuación a cada clase y normaliza las exponenciales:

Las puntuaciones $(2,1,0)$ producen probabilidades de aproximadamente $(\mathrm{0,665};\mathrm{0,245};\mathrm{0,090})$. Sumar una constante a cada puntuación no cambia las probabilidades ni la clase ganadora porque el factor exponencial común se cancela. Con dos clases, softmax es una sigmoide de la diferencia de puntuaciones.

La regresión logística modela directamente $P(y\mid 𝐱)$ y ajusta los pesos conjuntamente. No supone independencia de características. Bayes ingenuo estima una probabilidad a priori y distribuciones de características mediante conteos; puede ser especialmente eficaz con pocos datos, pero la evidencia correlacionada puede hacer que sus probabilidades sean demasiado extremas.

Entrenar suele significar encontrar pesos que hagan pequeña una pérdida. El descenso del gradiente usa la pendiente local de esa pérdida para elegir los siguientes pesos y repite el proceso hasta que se cumple una regla de parada.

Encuentra la dirección descendente

Una derivada parcial mide cómo cambia la pérdida cuando varía un parámetro y los demás permanecen fijos. El gradiente reúne todas estas derivadas. Para

En $(2,1)$ el gradiente es $(4,6)$. Apunta en la dirección de máximo aumento local según la distancia euclídea; su negativo apunta hacia abajo. Un mínimo suave tiene gradiente cero, pero un gradiente cero también puede aparecer en un punto de silla o un máximo.

Con una tasa de aprendizaje positiva $\alpha$, actualiza

Calcula el gradiente completo antes de cambiar cualquier peso. Desde $(2,1)$ con $\alpha =\mathrm{0,1}$, el siguiente punto es $(\mathrm{1,6};\mathrm{0,4})$ y después $(\mathrm{1,28};\mathrm{0,16})$. La pérdida baja de 7 a 3,04 y después a aproximadamente 1,72. La segunda coordenada cambia más rápido porque su curvatura es mayor.

Observa cómo el tamaño del paso controla la convergencia

Para $L(w)=(w-3{)}^2$, la derivada es $2(w-3)$. Desde cero con tasa 0,1:

1. El primer gradiente es −6, por lo que el siguiente peso es 0,6.
2. En 0,6 el gradiente es −4,8, por lo que el siguiente peso es 1,08.
3. Los valores siguientes son 1,464; 1,7712 y aproximadamente 2,017.

Cada paso multiplica la distancia a 3 por $1-2\alpha =\mathrm{0,8}$. Para esta pérdida, la convergencia desde un punto inicial no óptimo requiere $0<\alpha <1$. La tasa 1 rebota entre 0 y 6; la tasa 1,1 produce 6,6; −1,32 y 8,184, alejándose cada vez más. Una tasa menor puede ser estable, pero lenta. La misma tasa no es adecuada para todas las pérdidas ni todas las escalas de características.

Deriva una pérdida de predicción

Para un predictor lineal $h=w_0+w_{1}x$ y un ejemplo con pérdida cuadrática $(y-h{)}^2$,

Usa $x=2$, $y=5$ y los pesos $(0,1)$. La predicción es 2, por lo que el gradiente es $(-6,-12)$. Una tasa de 0,05 da los nuevos pesos $(\mathrm{0,3};\mathrm{1,6})$. La siguiente predicción es 3,5 y la pérdida baja de 9 a 2,25. La derivada del sesgo tiene un factor de entrada 1, mientras que la derivada de la pendiente incluye la entrada medida.

Interpreta la superficie de pérdida

Una pérdida convexa no tiene mínimos locales inferiores al óptimo: cada mínimo local es global. La pérdida cuadrática lineal y la pérdida logarítmica logística son convexas. Las pérdidas de redes neuronales son generalmente no convexas y tienen puntos de silla y regiones planas, además de mínimos. La inicialización puede afectar al resultado final.

Las escalas de las características también afectan a la optimización. Una superficie de hasta 200 m² y un número de habitaciones de hasta 6 pueden estirar la superficie de pérdida hasta formar un valle estrecho. La estandarización resta la media de entrenamiento de cada característica y divide por su desviación estándar de entrenamiento. Las coordenadas mejor escaladas reducen el zigzag. Detente al alcanzar un número de pasos elegido, gradientes pequeños o falta de mejora.

Calcular un gradiente sobre todos los ejemplos puede ser costoso. Las actualizaciones estocásticas y por minilotes intercambian una dirección perfectamente promediada por pasos más frecuentes y menos costosos.

Elige cuántos datos intervienen en una actualización

Una época recorre todo el conjunto de entrenamiento una vez. Con 10 000 ejemplos y lotes de 100, una época tiene 100 pasos de actualización. Mezcla los ejemplos entre épocas para que los mismos grupos no se repitan en el mismo orden.

El gradiente de un ejemplo elegido uniformemente tiene una esperanza igual al gradiente completo de entrenamiento. Sin embargo, los pasos individuales pueden aumentar la pérdida total. Representar la pérdida a lo largo de las épocas muestra una tendencia más clara que evaluar una sola actualización. El ruido puede ayudar a avanzar alrededor de puntos de silla y mínimos poco profundos, pero una tasa de aprendizaje fija y grande también mantiene los pesos oscilando cerca de una solución. Un programa de la tasa de aprendizaje decreciente ayuda a estabilizarlos.

Deriva la actualización logística

Sea $p=\sigma (z)$, $z=𝐰\cdot 𝐱$, y usa la pérdida logarítmica binaria. Su derivada respecto de la probabilidad es

Multiplicar por la derivada de la sigmoide $p(1-p)$ deja $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }z=p-y$. Como $\mathrm{\partial }z\mathrm{/}\mathrm{\partial }{w}_i=x_i$, el gradiente completo es

Restarlo da la actualización equivalente $𝐰\leftarrow 𝐰+\alpha (y-p)𝐱$. Para un lote, promedia estos vectores usando los mismos pesos actuales antes de realizar una actualización. Sumar en lugar de promediar multiplica la tasa de aprendizaje efectiva por el tamaño del lote.

Resuelve un paso estocástico

Empieza en $𝐰=(0,0,0)$ con entrada $𝐱=(1,2,1)$, objetivo 1 y tasa 0,5. La puntuación es cero, por lo que $p=\mathrm{0,5}$. Entonces

La nueva puntuación es $\mathrm{0,25}+\mathrm{0,5}(2)+\mathrm{0,25}=\mathrm{1,5}$ y la nueva probabilidad es aproximadamente 0,818. La pérdida logarítmica de este ejemplo baja de aproximadamente 0,693 a 0,201. Esa mejora se refiere a este ejemplo; un paso estocástico no tiene por qué mejorar todos los casos de entrenamiento.

El perceptrón también usa una corrección relacionada con la etiqueta multiplicada por la entrada, pero usa objetivos ±1 y cambia los pesos solo cuando comete errores. La regresión logística usa objetivos 0/1 y un error de probabilidad suave. Con pesos finitos, puede seguir actualizando después de que la clase predicha sea correcta.

Reconoce variantes habituales de optimizadores

El momento mantiene un promedio móvil de las direcciones del gradiente, lo que ayuda a avanzar en direcciones constantes y reduce la oscilación. Adam combina esto con tamaños de paso adaptativos para cada parámetro. Ambos siguen necesitando una tasa de aprendizaje adecuada. Compara los valores con resultados de validación y registra la pérdida de validación junto con la de entrenamiento para decidir cuándo deja de ayudar continuar entrenando.

Una red neuronal conecta muchas unidades simples. Las capas ocultas transforman las entradas en características aprendidas; las activaciones no lineales permiten que esas características representen patrones que un solo clasificador lineal no capta.

Calcula unidades y cuenta parámetros

Una unidad calcula $z={\sum }_i{w}_i{a}_i+b$ y después devuelve $a=g(z)$. Aquí las activaciones entrantes son sus entradas y el sesgo se muestra por separado. Esto equivale a incluir una característica de sesgo constante.

Una red neuronal de propagación hacia delante no tiene ciclos dirigidos: la información avanza desde la entrada, a través de las capas ocultas, hasta la salida. En una capa totalmente conectada, cada unidad recibe todas las salidas de la capa anterior. Una capa con $m$ entradas y $n$ unidades tiene $mn$ pesos y $n$ sesgos. Por tanto, tres entradas, cuatro unidades ocultas y dos unidades de salida dan

parámetros entrenables. Cuenta un sesgo por unidad receptora, no uno por conexión. Las redes con muchas capas ocultas se llaman profundas.

Sigue una red que calcula XOR

Usa dos unidades ReLU ocultas y una salida lineal:

Para $(0,0)$, los valores ocultos son $(0,0)$, por lo que la salida es 0. Tanto para $(0,1)$ como para $(1,0)$, son $(1,0)$, lo que da 1. Para $(1,1)$, son $(2,1)$, lo que da $2-2=0$. La representación oculta permite que la salida distinga las clases XOR.

Sin activaciones no lineales, apilar capas seguiría dando una sola transformación afín. Si ignoramos los sesgos para mayor claridad, $W_2(W_1𝐱)=(W_2{W}_1)𝐱$. La profundidad por sí sola no añadiría capacidad expresiva no lineal. Los cambios de pendiente introducidos por las activaciones modifican lo que la red puede representar.

Adapta las salidas a los objetivos

Para un objetivo numérico de regresión, una salida lineal y una pérdida cuadrática son una elección habitual. Para etiquetas binarias, usa una salida sigmoide y pérdida logarítmica binaria. Para una de varias clases, usa salidas softmax y entropía cruzada $-\ln p_{\text{correcta}}$. Las probabilidades $(\mathrm{0,665};\mathrm{0,245};\mathrm{0,090})$, con la segunda clase como correcta, dan una pérdida de aproximadamente 1,41. La pérdida usa la probabilidad asignada a la clase real, incluso cuando gana otra clase.

El teorema de aproximación universal afirma que una capa oculta suficientemente ancha con una activación no lineal adecuada puede aproximar cualquier función continua en una región de entrada cerrada y acotada con una precisión arbitraria. Es un resultado de existencia, no una garantía de que el entrenamiento encuentre los pesos o de que una red pequeña baste. La profundidad puede representar algunas funciones con mucha más eficiencia.

Las representaciones ocultas pueden avanzar desde bordes y texturas de imágenes hasta partes de objetos. Las arquitecturas también incorporan estructuras útiles: las redes convolucionales comparten pequeños conjuntos de pesos entre posiciones de una imagen, mientras que las redes recurrentes comparten pesos entre pasos de una secuencia.

La retropropagación del error calcula cómo afecta cada parámetro a la pérdida. Una pasada hacia delante almacena los valores necesarios para la regla de la cadena; una pasada hacia atrás los reutiliza para evitar repetir los mismos cálculos de derivadas.

Recorre un grafo de cálculo

Un grafo de cálculo separa sumas, productos y activaciones en operaciones. A lo largo de un camino que pasa por un valor intermedio,

Cuando un parámetro afecta a la pérdida por varios caminos, suma sus contribuciones. Para la unidad $j$, escribe ${\delta }_j=\mathrm{\partial }L\mathrm{/}\mathrm{\partial }{z}_j$. Su señal hacia atrás es

La suma incluye las unidades que reciben su salida. Un peso que va de la activación $a_i$ a la unidad $j$ tiene gradiente $a_i{\delta }_j$. El gradiente del sesgo es simplemente ${\delta }_j$ porque su entrada es 1.

Resuelve una pasada hacia delante y hacia atrás

Sean $x=2$, $h=\mathrm{ReLU}(w_{1}x)$, $\widehat{y}=w_{2}h$ y $L=(\widehat{y}-y{)}^2$. Empieza con $w_1=\mathrm{0,5}$, $w_2=3$ y objetivo $y=1$.

1. Hacia delante: la suma oculta es 1, la salida oculta es 1, la predicción es 3 y la pérdida es 4.
2. En la salida, $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }\widehat{y}=2(3-1)=4$. Por tanto, $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }{w}_2=4h=4$.
3. Al retroceder por el peso de salida se obtiene $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }h=4(3)=12$. La suma oculta es positiva, por lo que la derivada de ReLU es 1.
4. El gradiente del primer peso es por tanto $12(1)(2)=24$.

Con tasa 0,01, actualiza ambos pesos a partir de estos gradientes almacenados:

Una nueva pasada hacia delante da una salida oculta de 0,52, una predicción de 1,5392 y una pérdida de aproximadamente 0,291. Usar 2,96 durante la pasada hacia atrás anterior mezclaría dos estados de parámetros y produciría un gradiente incorrecto.

Comprueba derivadas y reconoce señales débiles

Una comprobación numérica aproxima una derivada mediante

Con $\epsilon =\mathrm{0,001}$, la derivada del primer peso anterior es 24. Esto necesita dos pasadas hacia delante por peso, por lo que es útil para comprobar, no para entrenar a gran escala. La retropropagación calcula todos los gradientes con un costo del mismo orden que una pasada hacia delante. Las bibliotecas lo implementan como diferenciación automática en modo inverso.

La sigmoide tiene derivada $\sigma (z)(1-\sigma (z))\le \mathrm{0,25}$; tanh tiene derivada $1-{\tanh }^{2}z$. La derivada de ReLU es 1 por encima de cero y 0 por debajo; en cero suele asignarse la derivada 0. Una unidad ReLU cuya preactivación es negativa para todas las entradas está muerta y no recibe ningún gradiente útil a través de su activación. La entropía cruzada con softmax tiene gradiente de puntuación $𝐩-𝐲$ para objetivos codificados con un único indicador activo.

Los factores derivados pequeños repetidos causan desvanecimiento de los gradientes. Una cadena de 10 unidades sigmoides con pesos de conexión 1 tiene una derivada de como máximo ${\mathrm{0,25}}^{10}\approx \mathrm{9,5}\times {10}^{-7}$. Los grafos más anchos también dependen de los pesos y de los caminos sumados. ReLU, una inicialización adecuada y las conexiones residuales reducen este problema. En cambio, las señales grandes hacia atrás pueden explotar; el recorte del gradiente limita su magnitud.

Entrenar una red requiere algo más que una derivada correcta. Los pesos iniciales, las escalas de entrada, los ajustes de actualización y los resultados con datos reservados afectan a si se aprenden características útiles.

Rompe la simetría y escala las señales

Inicializa los pesos aleatoriamente para que las unidades ocultas comiencen de forma distinta. Si las unidades de una capa tienen pesos idénticos y las mismas conexiones de salida, calculan los mismos valores, reciben las mismas actualizaciones y siguen siendo copias. Inicializar todos los pesos de la red en cero crea esta simetría. Los sesgos pueden comenzar en cero porque los pesos aleatorios de las conexiones ya distinguen las unidades.

La escala aleatoria importa. La inicialización de Glorot, o Xavier, es adecuada para unidades tanh y sigmoides; la inicialización de He tiene en cuenta las activaciones ReLU. Estos esquemas buscan evitar que las magnitudes de las señales disminuyan o aumenten demasiado de una capa a otra.

Normaliza también las entradas. Dividir los valores de píxeles entre 255 los sitúa entre cero y uno. La estandarización resta la media de entrenamiento de una característica y divide por su desviación estándar de entrenamiento. Aplica la misma transformación ajustada a las entradas posteriores. Las sumas iniciales moderadas ayudan a las unidades sigmoides y tanh a evitar regiones saturadas con derivadas muy pequeñas; las escalas comparables de las características también mejoran la optimización.

Ejecuta el bucle de entrenamiento

1. Inicializa los pesos y elige el optimizador y sus ajustes.
2. Al comenzar cada época, mezcla los ejemplos de entrenamiento.
3. Para cada minilote, ejecuta una pasada hacia delante y calcula la pérdida promedio.
4. Aplica la retropropagación y después actualiza todos los parámetros usando los gradientes de ese lote.
5. Al final de la época, registra los resultados de entrenamiento y validación.

Para 784 entradas de píxeles, 128 unidades ReLU ocultas y 10 salidas softmax, el número de parámetros es

Con 60 000 imágenes y un tamaño de lote de 64, hay 937 lotes completos y un último lote de 32 imágenes: 938 actualizaciones por época. El último lote corto sigue usando su propio gradiente promedio.

Interpreta las curvas de entrenamiento

Estos patrones orientan el diagnóstico; varias causas pueden compartir un síntoma. Para una red sigmoide que aprende lentamente, examina la escala de entrada y la saturación de la activación junto con la tasa de aprendizaje. Una exactitud de entrenamiento alta solo muestra el ajuste a los ejemplos de entrenamiento. Una red grande puede incluso memorizar etiquetas aleatorias.

Los principales hiperparámetros incluyen la tasa de aprendizaje, el tamaño del lote, el número de épocas, la anchura, la profundidad, la activación y el optimizador. Compáralos con datos de validación. Reserva el conjunto de prueba para evaluar la configuración elegida. Aumentar la anchura cambia el número de parámetros y la capacidad; aumentar las épocas da a los mismos parámetros más pasos de actualización.

La pérdida de una red es no convexa. Distintos comienzos aleatorios pueden alcanzar diferentes pesos y exactitudes. En redes grandes, los puntos de silla y las regiones planas suelen frenar el avance más que los mínimos locales deficientes. El momento y Adam ayudan a optimizar estas superficies, pero el rendimiento con datos reservados sigue determinando si el patrón ajustado es útil.

Un modelo puede ajustarse bien a su muestra de entrenamiento sin aprender un patrón fiable. Compara los resultados de entrenamiento y con datos reservados para entender si el modelo es demasiado restrictivo, demasiado flexible o se enfrenta a datos diferentes.

Compara dos tipos de error

La generalización es el rendimiento con ejemplos nuevos de la misma distribución. El subajuste ocurre cuando el modelo es demasiado restrictivo para captar el patrón. El sobreajuste ocurre cuando se ajusta tanto al ruido específico de la muestra que perjudica las predicciones nuevas.

Elige C a partir de estos resultados de validación. La mayor puntuación de entrenamiento de A no es una ventaja en los casos reservados. La pequeña diferencia de B no basta para que sea bueno: ambas puntuaciones son bajas en relación con lo que permite la tarea. La dificultad, el ruido y el rendimiento alcanzable importan al interpretar una pequeña diferencia.

Relaciona la capacidad con el ruido

La capacidad describe la flexibilidad de la familia de hipótesis. Diez puntos con ruido pueden situarse cerca de una tendencia recta. Una recta usa dos coeficientes y se desvía ligeramente de los puntos. Un polinomio de grado 9 usa diez coeficientes y puede interpolar los diez puntos de entrada distintos, alcanzando un error de entrenamiento cero. Entre ellos y más allá, ese polinomio puede oscilar bruscamente y predecir mal.

A medida que aumenta la capacidad, el error de entrenamiento generalmente baja. El error con datos reservados suele bajar al principio, cuando la estructura real pasa a ser representable, y después sube cuando se ajusta el ruido. Compara capacidades candidatas usando resultados con datos reservados. Este patrón conocido es una guía para elegir el modelo, no una garantía de que todas las curvas posibles de tamaño de red tengan exactamente esa forma.

Un sesgo alto significa un error sistemático debido a una familia restrictiva. Una varianza alta significa que la regla aprendida cambia considerablemente entre muestras de entrenamiento del mismo tamaño. El subajuste suele implicar un sesgo alto; el sobreajuste suele implicar una varianza alta.

Distingue más datos de datos diferentes

Para una capacidad fija, más ejemplos representativos suelen reducir el sobreajuste. Un polinomio de grado 9 generalmente no puede interpolar exactamente 1000 puntos con ruido, por lo que su ajuste debe llegar a un compromiso. Las redes grandes aún pueden memorizar muestras grandes, incluidas etiquetas aleatorias. Más datos reducen el riesgo sin eliminar la necesidad de comprobaciones con datos reservados. Las etiquetas incorrectas o con ruido añaden patrones accidentales a los que el programa podría ajustarse.

El cambio de distribución es un problema diferente. Un clasificador entrenado y probado con fotografías diurnas puede fallar con fotografías nocturnas aunque su generalización diurna sea buena. Esas nuevas entradas proceden de una distribución diferente. Aumentar la regularización por sí solo no aporta las condiciones nocturnas ausentes.

Conserva el significado de la prueba final

Entrena los candidatos con el conjunto de entrenamiento y compara sus ajustes o capacidades con datos de validación. Una vez elegido un candidato, mídelo con el conjunto de prueba intacto. Usar las puntuaciones de prueba para cambiar la arquitectura o elegir una época convierte ese conjunto en otra fuente de selección del modelo y hace que el rendimiento comunicado sea optimista. El sobreajuste puede afectar a polinomios, Bayes ingenuo, perceptrones y redes; es una relación entre el aprendizaje y los datos, no una propiedad exclusiva de un algoritmo.

La regularización modifica el aprendizaje para mejorar las predicciones con datos nuevos. Puede restringir los pesos, limitar la duración del entrenamiento, impedir la dependencia de unidades concretas o proporcionar más ejemplos válidos.

Penaliza los pesos grandes

Una función objetivo regularizada combina la pérdida de los datos y una penalización por complejidad:

Para L2, usa $C={\sum }_i{w}_i^2$, normalmente excluyendo el sesgo. Los pesos $(3,-4)$ y $\lambda =\mathrm{0,1}$ dan la penalización $\mathrm{0,1}(9+16)=\mathrm{2,5}$. La derivada añadida es $2\lambda w_i$. Con descenso del gradiente ordinario,

Con tasa 0,1 e intensidad 0,1, el factor de reducción es 0,98; un peso de 5 aporta 4,9 antes del paso correspondiente a la pérdida de los datos. Esta es la interpretación como decaimiento de pesos para este optimizador. Con optimizadores adaptativos como Adam, una penalización L2 y un decaimiento de pesos aplicado por separado son operaciones diferentes.

L1 usa $C={\sum }_i\mathrm{\mid }{w}_i\mathrm{\mid }$. Favorece soluciones dispersas con muchos pesos exactamente iguales a cero, seleccionando características. L2 suele reducir los pesos sin hacerlos exactamente cero. Ninguna de las dos penalizaciones es una regla para poner todos los pesos a cero.

La intensidad es un hiperparámetro. Cero elimina la penalización; una intensidad excesiva hace que el modelo presente subajuste. Compara valores de distintos órdenes de magnitud con datos de validación. Una penalización L2 positiva también controla los pesos divergentes de la regresión logística separable.

Conserva el mejor punto de parada

La parada temprana supervisa la pérdida de validación, guarda los mejores pesos y se detiene después de un intervalo de paciencia sin mejoras. Para las pérdidas 0,62; 0,48; 0,41; 0,39; 0,40; 0,43 y 0,47 en las épocas 1–7, la mejor época es la 4. Una paciencia de 3 permite las épocas 5–7 y después detiene el entrenamiento y restaura los pesos de la época 4. La última época entrenada no es necesariamente el modelo guardado.

Entrena con desactivación aleatoria de unidades

En cada paso de entrenamiento, la desactivación aleatoria de unidades fija independientemente las salidas de las unidades ocultas en cero con probabilidad $p$. Las unidades deben aprender sin depender de que una unidad concreta esté siempre presente. En la predicción, la desactivación aleatoria se deshabilita y participan todas las unidades.

En la desactivación aleatoria invertida, divide las activaciones que permanecen activas entre $1-p$ durante el entrenamiento. Si $p=\mathrm{0,5}$, las salidas activas se duplican, por lo que su valor esperado coincide con la activación sin desactivación. Este escalado no se aplica de nuevo en la predicción.

Añade variación válida

Recopilar más datos representativos y usar un modelo más simple puede reducir el sobreajuste. El aumento de datos añade ejemplos de entrenamiento transformados cuyas etiquetas siguen siendo correctas, como desplazamientos, recortes o cambios de brillo adecuados. Una transformación debe ser apropiada para la tarea: girar un 6 manuscrito 180° puede convertirlo en un 9, por lo que mantener la etiqueta 6 enseñaría una relación incorrecta.

El suavizado de Laplace es otro regularizador: los pseudoconteos hacen que Bayes ingenuo dependa menos de conteos escasos. Usa datos de validación para elegir el suavizado, las penalizaciones, las tasas de desactivación o los momentos de parada. Observa tanto el error de entrenamiento como el de validación para que la protección contra el sobreajuste no se convierta en una restricción excesiva.