Verificación y validación de los modelos de simulación por ordenador

La verificación y la validación de modelos de simulacro por ordenador se lleva a cabo durante el desarrollo de un modelo de simulación con el objetivo final de producir un modelo preciso y creíble.​​ "Los modelos de simulación se utilizan cada vez más para resolver problemas y ayudar en la toma de decisiones. Los desarrolladores y usuarios de estos modelos, los tomadores de decisiones que utilizan la información obtenida de los resultados de estos modelos y los individuos afectados por las decisiones basadas en dichos modelos son: todos con razón preocupados por si un modelo y sus resultados son "correctos".​ Esta preocupación se aborda a través de la verificación y validación del modelo de simulación.

Los modelos de simulación son imitaciones aproximadas de los sistemas del mundo real y nunca imitan exactamente el sistema del mundo real. Debido a eso, un modelo debe verificarse y validarse hasta el grado necesario para el propósito o la aplicación previstos de los modelos.

La verificación y validación del modelo de simulación se inicia después de que se hayan documentado las especificaciones funcionales y se haya completado el desarrollo inicial del modelo.​ La verificación y validación es un proceso iterativo que tiene lugar a lo largo del desarrollo de un modelo.

Verificación

En el contexto de la simulación por computadora, la verificación de un modelo es el proceso de confirmar que se implementa correctamente con respecto al modelo conceptual (coincide con las especificaciones y los supuestos que se consideran aceptables para el propósito de la aplicación). Durante la verificación, el modelo se prueba para encontrar y corregir errores en la implementación del modelo.Se utilizan diversos procesos y técnicas para asegurar que el modelo coincida con las especificaciones y los supuestos con respecto al concepto del modelo. El objetivo de la verificación del modelo es garantizar que la implementación del modelo sea correcta.

Hay muchas técnicas que pueden utilizarse para verificar un modelo. Incluyendo, entre otros, hacer que un experto verifique el modelo, realice diagramas de flujo lógicos que incluyan cada acción posible desde el punto de vista lógico, examine la salida del modelo para determinar si es razonable en una variedad de configuraciones de los parámetros de entrada y utilice un depurador interactivo. Muchas técnicas de ingeniería de software utilizadas para la verificación de software son aplicables a la verificación del modelo de simulación.

Validación

La validación verifica la precisión de la representación del modelo del sistema real. La validación del modelo se define como "justificación de que un modelo computarizado dentro de su dominio de aplicabilidad posee un rango de precisión satisfactorio consistente con la aplicación prevista del modelo". Un modelo debe construirse para un propósito específico o un conjunto de objetivos y su validez debe determinarse para ese propósito.

Hay muchos enfoques que se pueden utilizar para validar un modelo de computadora. Los enfoques van desde revisiones subjetivas hasta pruebas estadísticas objetivas. Un enfoque que se usa comúnmente es hacer que los constructores del modelo determinen la validez del modelo a través de una serie de pruebas.

Naylor y Finger [1967] formularon un enfoque de tres pasos para la validación de modelos que se ha seguido ampliamente:

Paso 1. Construye un modelo que tenga una alta validez facial.

Paso 2. Valida suposiciones del modelo.

Paso 3. Compare las transformaciones de entrada-salida del modelo con las transformaciones de entrada-salida correspondientes para el sistema real.​

Validez de cara

Un modelo que tiene validez aparente parece ser una imitación razonable de un sistema del mundo real para las personas que conocen el sistema del mundo real. La validez facial se prueba al hacer que los usuarios y las personas con conocimientos sobre el sistema examinen la salida del modelo para determinar si es razonable y, en el proceso, identificar deficiencias. Una ventaja adicional de tener a los usuarios involucrados en la validación es que aumenta la credibilidad del modelo para los usuarios y la confianza del usuario en el modelo. La sensibilidad a las entradas del modelo también se puede utilizar para juzgar la validez aparente. Por ejemplo, si una simulación de un recorrido en un restaurante de comida rápida se ejecutó dos veces con tasas de llegada de clientes de 20 por hora y 40 por hora, se espera que los resultados del modelo, como el tiempo de espera promedio o el número máximo de clientes que esperan aumente con la llegada tarifa.

Validación de supuestos del modelo.

Las suposiciones sobre un modelo generalmente se dividen en dos categorías: suposiciones estructurales sobre cómo funciona el sistema y suposiciones de datos.

Suposiciones estructurales

Las suposiciones sobre cómo funciona el sistema y cómo se organiza físicamente son suposiciones estructurales. Por ejemplo, la cantidad de servidores en una unidad de comida rápida a través del carril y si hay más de uno, ¿cómo se utilizan? ¿Los servidores funcionan en paralelo cuando un cliente completa una transacción visitando un solo servidor o un servidor toma pedidos y maneja el pago mientras el otro prepara y sirve el pedido? Muchos problemas estructurales en el modelo provienen de supuestos pobres o incorrectos.Si es posible, se debe observar atentamente el funcionamiento del sistema real para comprender cómo funciona. La estructura y el funcionamiento de los sistemas también deben verificarse con los usuarios del sistema real.

Supuestos de datos

Debe haber una cantidad suficiente de datos apropiados disponibles para construir un modelo conceptual y validar un modelo. La falta de datos apropiados es a menudo la razón por la que los intentos de validar un modelo fallan. Los datos deben ser verificados para provenir de una fuente confiable. Un error típico es asumir una distribución estadística inadecuada para los datos. El modelo estadístico supuesto tendría que ser probado utilizando bondad de pruebas aptas y otras técnicas. Ejemplos de pruebas de bondad de ajuste son el  test Kolmogorov@–Smirnov test y el test chi-cuadrado. Cualquier valor atípico en los datos debe ser verificado.todos.

Validando entrada-transformaciones de producción

El modelo se ve como una transformación de entrada-salida para estas pruebas. La prueba de validación consiste en comparar las salidas del sistema en consideración con las salidas modelo para el mismo conjunto de condiciones de entrada. Los datos registrados mientras se observa el sistema deben estar disponibles para realizar esta prueba. La salida del modelo que es de interés primario se debe utilizar como medida del rendimiento. Por ejemplo, si el sistema que se está considerando es una unidad de comida rápida a través de donde la entrada al modelo es el tiempo de llegada del cliente y la medida de salida del rendimiento es el tiempo promedio del cliente en línea, entonces el tiempo real de llegada y el tiempo invertido en la línea para los clientes en la unidad sería grabado. El modelo se ejecutaría con los tiempos de llegada reales y el tiempo promedio del modelo en línea se compararía con el tiempo promedio real empleado en la línea utilizando una o más pruebas.

Test de hipótesis

Test de hipótesis estadística que utiliza el  t-test se puede utilizar como base para aceptar el modelo como válido o rechazarlo como no válido.

La hipótesis a probar es

H₀ el modelo mide el rendimiento. = El sistema de medida del rendimiento.

contra

H1 la medida de modelo de rendimiento ≠ la medida de sistema de rendimiento.

La prueba se realiza para un tamaño de muestra y un nivel de significación determinados o α. Para realizar la prueba, se realizan un número n de ejecuciones estadísticamente independientes del modelo y se produce un valor promedio o esperado, E (Y), para la variable de interés. Entonces la estadística de prueba, t₀ se calcula para el α, n, E (Y) y el valor observado para el sistema μ⁰

$t_{0}={(E(Y)-u_{0})}/{(S/{\sqrt {n}})}$y el valor crítico para α y n-1 los grados de libertad

$t_{a/2,n-1}$es calculado.

Si

$\left\vert t_{0}\right\vert >t_{a/2,n-1}$

rehúsa H₀, el modelo necesita ajuste.

Hay dos tipos de errores que pueden ocurrir al usar pruebas de hipótesis, rechazar un modelo válido llamado error de tipo I o "riesgo de constructores de modelos" y aceptar un modelo no válido llamado error de Tipo II, β, o "riesgo del usuario del modelo". El nivel de significancia o α es igual a la probabilidad de error de tipo I. Si α es pequeño, entonces rechazar la hipótesis nula es una conclusión sólida. Por ejemplo, si α = 0.05 y la hipótesis nula se rechaza, solo hay una probabilidad de 0.05 de rechazar un modelo que sea válido. Disminuir la probabilidad de un error de tipo II es muy importante. La probabilidad de detectar correctamente un modelo no válido es 1 - β. La probabilidad de un error de tipo II depende del tamaño de la muestra y la diferencia real entre el valor de la muestra y el valor observado. Aumentar el tamaño de la muestra disminuye el riesgo de un error de tipo II.

La precisión del modelo como un rango.

Una técnica estadística en la que la cantidad de precisión del modelo se especifica como un rango se ha desarrollado recientemente. La técnica utiliza la prueba de hipótesis para aceptar un modelo si la diferencia entre la variable de interés de un modelo y la variable de interés de un sistema se encuentra dentro de un rango de precisión específico.​ Un requisito es que tanto los datos del sistema como los datos del modelo sean aproximadamente Normalmente Independientes y Distribuidos Idénticamente (NIID). Las t-test La estadística se utiliza en esta técnica. Si la media del modelo es μ^m y el medio del sistema es μ^s entonces la diferencia entre el modelo y el sistema es D = μ^m - μ^s. La hipótesis a probar es si D está dentro del rango aceptable de precisión. Sea L = el límite inferior de precisión y U = límite superior de precisión. Entonces

H₀ L ≤ D ≤ U

contra

H₁ D < L or D > U

es para ser probado.

La curva de característica operativa (OC) es la probabilidad de que la hipótesis nula sea aceptada cuando es verdadera. La curva OC caracteriza las probabilidades de los errores de tipo I y II. Las curvas de riesgo para el generador de modelos y el usuario modelo pueden desarrollarse a partir de las curvas OC. En las curvas de riesgo se puede ver fácilmente la comparación de curvas con compensaciones de tamaño de muestra fija entre el riesgo del creador del modelo y el riesgo del usuario del modelo. Si se especifican el riesgo del creador del modelo, el riesgo del usuario del modelo y los límites superior e inferior para el rango de precisión, se puede calcular el tamaño de muestra necesario.

Intervalos de confianza

Los intervalos de confianza se pueden usar para evaluar si un modelo está "lo suficientemente cerca" a un sistema para alguna variable de interés. La diferencia entre el valor del modelo conocido, μ0, y el valor del sistema, μ, se verifica para ver si es menor que un valor lo suficientemente pequeño como para que el modelo sea válido con respecto a esa variable de interés. El valor es denotado por el símbolo ε. Para realizar la prueba se realizan un número, n, ejecuciones estadísticamente independientes del modelo y se produce una media o valor esperado, E (Y) o μ para la variable de salida de simulación de interés Y, con una desviación estándar S. Se selecciona un nivel de confianza, 100 (1-α). Un intervalo, [a, b], se construye por

$a=E(Y)-t_{a/2,n-1}S/{\sqrt {n}}\qquad and\qquad b=E(Y)+t_{a/2,n-1}S/{\sqrt {n}}$,

Dónde

$t_{a/2,n-1}$

Es el valor crítico del t-distribución para el nivel dado de importancia y n-1 grados de libertad.

Si |a-μ₀| > ε y |b-μ₀| > ε entonces el modelo necesita ser calibrado ya que en ambos casos la diferencia es mayor que la aceptable.

Si |a-μ₀| < ε y |b-μ₀| < ε entonces el modelo es aceptable ya que en ambos casos el error es lo suficientemente cercano.

Si |a-μ₀| < ε y |b-μ₀| > ε o viceversa luego se necesitan ejecuciones adicionales del modelo para reducir el intervalo.

Comparaciones gráficas

Si los supuestos estadísticos no se pueden cumplir o no hay datos suficientes para el sistema, se pueden utilizar comparaciones gráficas de los resultados del modelo con los resultados del sistema para tomar decisiones subjetivas, sin embargo, son preferibles otras pruebas objetivas.

ASME V&V Estándar

Los documentos y estándares que involucran la verificación y validación de simulación y modelado computacional son desarrollados por la Sociedad americana de Ingenieros Mecánicos (ASME) Comité de Verificación y Validación (V&V). ASME V&V 10 proporciona una guía para evaluar y aumentar la credibilidad de los modelos de mecánica sólida computacional a través de los procesos de verificación, validación y cuantificación de incertidumbre.​ ASME V&V 10.1 proporciona un ejemplo detallado para ilustrar los conceptos describieron en ASME V&V 10.​ ASME V&V 20 proporciona una metodología detallada para validar simulacros computacionales cuando aplicados a calor y dinámica fluidos transferencia.​ Próximamente, que se publicará en 2018, ASME V&V 40 proporciona un marco para establecer los requisitos de credibilidad del modelo para el modelado computacional y presenta ejemplos específicos de la industria de dispositivos médicos.​

Referencias

• Datos: Q7921324