Las pruebas ciegas ¿Método mejorable? la verdad está en el..
-
- Mensajes: 24
- Registrado: Sab 26 Feb 2005 , 18:14
Las pruebas ciegas ¿Método mejorable? la verdad está en el..
...Gazpacho!!!
Lo que voy a decir a continuación puede sonar como tontería. Ruego que el lanzamiento de tomates se produzca con la mayor de las discreciones. Adelanto, para que todos os vayais preparando, que lo que comentaré a continuación, no dejaría de dar cierta razón a la ex-mascota del foro cuando propuso su propio protocolo para una prueba de fuentes.
Me dejo de intrigas y voy al grano. Ayer, para cenar tenía gazpachos. Sí, por un lado el que hace mi madre, uno casero que sabe que te cagas, y que ha conseguido estandarizar gracias a la termomix (ya siempre le sale igual). Por otro lado teníamos un par de bricks de "Alvalle", que siempre me ha sorprendido por lo bueno que está teniendo en cuenta que es "de bote".
Así pues, me vendé los ojos y le pedí a mi mujer que me llenara un par de tazas y me fuera dando uno y otro.
La gracia fué que de primeras me dió "el de mamá". Y yo dije "Alvalle!". A continuación me da del 2º y dije "No. El Alvalle es este. Dame otra vez del primero para probar", todavía tenía los ojos tapados. Probé, y no tuve duda de cual era cual, PORQUE YA TENÍA UNA REFERENCIA. Completé la prueba bebiendo por 2ª vez del 2º para asegurar.
Acerté, los sabores son bastante diferentes. De hecho me terminé el de bote, me serví otro tazón del casero, y entonces ya me sabían completamente diferentes.
A lo que voy después de tanta cháchara, es a que si las diferencias no son abrumadoras, creo que los videntes podemos tener problemas para discernir diferencias en ausencia de la vista, en el momento en que no tengamos una referencia clara. O sea que si el gazpacho de mi madre lo comparo con el de mi abuela (más parecidos) en método Matrix, es decir, no teniendo una referencia clara durante la realización de la prueba, veo más que posible equivocarme, confundirme. Si hago prueba ciega sabiendo cuando tomo A y cuando tomo B, me veo completamente capaz de asegurar, con suficientes pruebas, un 100% de aciertos.
De hecho en las catas de vino, si bien el catador no sabe qué vino está bebiendo, si sabe cuando bebe del A, cuando del B, cuando del C....
Creo que sería más justo realizar las pruebas ciegas de esta manera. A un señor se le pone el equipo A. Cuando lo pide el B. Luego es el "probador" quien pide que se vaya poniendo el A o el B. El tiempo que quiera, las veces que necesite. Cuando crea estar seguro dice quién es el A y quién es el B.
Se tira una moneda al aire para ver si se mantiene la correlación o se cambia y se comienza otra vez.
Se repite hasta 10 veces.
Me parece que sería un método más justo.
¿Qué os parece?
salu2
Lo que voy a decir a continuación puede sonar como tontería. Ruego que el lanzamiento de tomates se produzca con la mayor de las discreciones. Adelanto, para que todos os vayais preparando, que lo que comentaré a continuación, no dejaría de dar cierta razón a la ex-mascota del foro cuando propuso su propio protocolo para una prueba de fuentes.
Me dejo de intrigas y voy al grano. Ayer, para cenar tenía gazpachos. Sí, por un lado el que hace mi madre, uno casero que sabe que te cagas, y que ha conseguido estandarizar gracias a la termomix (ya siempre le sale igual). Por otro lado teníamos un par de bricks de "Alvalle", que siempre me ha sorprendido por lo bueno que está teniendo en cuenta que es "de bote".
Así pues, me vendé los ojos y le pedí a mi mujer que me llenara un par de tazas y me fuera dando uno y otro.
La gracia fué que de primeras me dió "el de mamá". Y yo dije "Alvalle!". A continuación me da del 2º y dije "No. El Alvalle es este. Dame otra vez del primero para probar", todavía tenía los ojos tapados. Probé, y no tuve duda de cual era cual, PORQUE YA TENÍA UNA REFERENCIA. Completé la prueba bebiendo por 2ª vez del 2º para asegurar.
Acerté, los sabores son bastante diferentes. De hecho me terminé el de bote, me serví otro tazón del casero, y entonces ya me sabían completamente diferentes.
A lo que voy después de tanta cháchara, es a que si las diferencias no son abrumadoras, creo que los videntes podemos tener problemas para discernir diferencias en ausencia de la vista, en el momento en que no tengamos una referencia clara. O sea que si el gazpacho de mi madre lo comparo con el de mi abuela (más parecidos) en método Matrix, es decir, no teniendo una referencia clara durante la realización de la prueba, veo más que posible equivocarme, confundirme. Si hago prueba ciega sabiendo cuando tomo A y cuando tomo B, me veo completamente capaz de asegurar, con suficientes pruebas, un 100% de aciertos.
De hecho en las catas de vino, si bien el catador no sabe qué vino está bebiendo, si sabe cuando bebe del A, cuando del B, cuando del C....
Creo que sería más justo realizar las pruebas ciegas de esta manera. A un señor se le pone el equipo A. Cuando lo pide el B. Luego es el "probador" quien pide que se vaya poniendo el A o el B. El tiempo que quiera, las veces que necesite. Cuando crea estar seguro dice quién es el A y quién es el B.
Se tira una moneda al aire para ver si se mantiene la correlación o se cambia y se comienza otra vez.
Se repite hasta 10 veces.
Me parece que sería un método más justo.
¿Qué os parece?
salu2
Gracias por la sugerencia, Venezolano, pero es que todo eso ya lo hacemos . O sea, que al hacer una prueba ciega, primero empezamos por la Prueba piloto (PP).
En la PP, el probador intenta identificar matices diferenciales entre los gazpachos: Este es mas salado, o mas consistente, o tiene mas pan o mas tomate. Una vez identificados, si es que hay diferencias, pues se pasa a la PC propiamente dicha, en la que el probador se apoya en las diferencias previas.
El probador pide cuantos cambios quiera entre gazpachos hasta estar seguro de su afirmación.
Es mas, si acaso el probador perdiera la referencia, se destapan los gazpachos y se vuelve a la PP.
Todas las ventajas para el probador.
Saludos
Alf
Pd.- Pásate al salmorejo o a la porra antequerana.
En la PP, el probador intenta identificar matices diferenciales entre los gazpachos: Este es mas salado, o mas consistente, o tiene mas pan o mas tomate. Una vez identificados, si es que hay diferencias, pues se pasa a la PC propiamente dicha, en la que el probador se apoya en las diferencias previas.
El probador pide cuantos cambios quiera entre gazpachos hasta estar seguro de su afirmación.
Es mas, si acaso el probador perdiera la referencia, se destapan los gazpachos y se vuelve a la PP.
Todas las ventajas para el probador.
Saludos
Alf
Pd.- Pásate al salmorejo o a la porra antequerana.
-
- Mensajes: 24
- Registrado: Sab 26 Feb 2005 , 18:14
Vaya!!! pues después de todo este tiempo será que no me había enterado bien . Pensaba que se lanzaba una moneda al aire varias veces y que sus resultados determinaban la sucesión de los equipos, con lo que uno nunca podía tener la seguridad de que el equipo que se está escuchando no es el de antes. ¿Entonces el probador sabe en todo momento si suena el equipo A o el B?
salu2
salu2
-
- Mensajes: 24
- Registrado: Sab 26 Feb 2005 , 18:14
No, no, el probador no sabe qué equipo suena. Si se trata precisamente de eso, no?, o sea de saber cual suena sólo oyéndolo. El oyente pide cambios, y el oyente está el tiempo que quiera cambiado cuanto guste, pero si tiene que acertar entre A o B, como vamos a decirle cual es.venezolano escribió:Vaya!!! pues después de todo este tiempo será que no me había enterado bien . Pensaba que se lanzaba una moneda al aire varias veces y que sus resultados determinaban la sucesión de los equipos, con lo que uno nunca podía tener la seguridad de que el equipo que se está escuchando no es el de antes. ¿Entonces el probador sabe en todo momento si suena el equipo A o el B?
salu2
Saludos
Alf
-
- Mensajes: 24
- Registrado: Sab 26 Feb 2005 , 18:14
Creo que no me termino de explicar bien.
Por supuesto que el probador no sabe cual es el A y cual es el B. Solo faltaría. A lo que m e refiero es a que el probador sabe que ahora suena el A o el B, sin saber cual es cual.
Lo que yo decía es que pensaba que en las pruebas ciegas, la sucesión venía prefijada en función de los resultados de una moneda, con lo cual podía resultar algo como: A-A-A-B-A-B-B-A-B-A; o como A-B-A-B-B-A-B-B-A-A; o..... ¿mesentiende?
En este último supuesto, el probador no tiene ni idea si el equipo que oye ahora es el mismo que el de antes u otro. Le falta una referencia. Pero bueno, veo que no es así por lo que me comentas...
salu2
P.D. ¿Y qué tal el ajoblanco?
Por supuesto que el probador no sabe cual es el A y cual es el B. Solo faltaría. A lo que m e refiero es a que el probador sabe que ahora suena el A o el B, sin saber cual es cual.
Lo que yo decía es que pensaba que en las pruebas ciegas, la sucesión venía prefijada en función de los resultados de una moneda, con lo cual podía resultar algo como: A-A-A-B-A-B-B-A-B-A; o como A-B-A-B-B-A-B-B-A-A; o..... ¿mesentiende?
En este último supuesto, el probador no tiene ni idea si el equipo que oye ahora es el mismo que el de antes u otro. Le falta una referencia. Pero bueno, veo que no es así por lo que me comentas...
salu2
P.D. ¿Y qué tal el ajoblanco?
Pues el caso es que lo hemos hecho de las dos maneras, es decir, prefijando una serie aleatoria que era la que comenzaba la serie de intentos.
Luego hemos pasado a hacerlo de forma que el oyente no sabe cual es la que inicia el intento.
De cualquier manera, siempre que el oyente pierda la referencia, se destapa y se vuelve a empezar.
Saludos
Alf
Pd.- Si, el ajoblanco mola tela. No es sopa fría, pero ¿y la salsa romesco catalana?.
Luego hemos pasado a hacerlo de forma que el oyente no sabe cual es la que inicia el intento.
De cualquier manera, siempre que el oyente pierda la referencia, se destapa y se vuelve a empezar.
Saludos
Alf
Pd.- Si, el ajoblanco mola tela. No es sopa fría, pero ¿y la salsa romesco catalana?.
-
- Mensajes: 24
- Registrado: Sab 26 Feb 2005 , 18:14
-
- Mensajes: 24
- Registrado: Sab 26 Feb 2005 , 18:14
Buenas, como recien llegado a este foro y algo de experiencia en tests de tipo ciego en audio, he de decir que da igual el metodo usado, siempre que sea ciego (idealmente que sea doble-ciego), y que el oyente no sepa que equipo esta escuchando antes de decidir si es A o B.
Para maxima sensibilidad de la prueba, el oyente deberia poder oir A y B (identificados), y tambien X (no identificado) e incluso Y (el contrario de X, no identificado), el nº de veces que quiera, antes de decidir que equipo es X (o Y). Depende de lo que prefiera el que hace la prueba.
En cuanto a la estadistica, una vez hechos un nº de intentos de identificacion, hay que ver cuantos ha acertado y cuantos no, y compararlos con la tabla de probabilidades de la distribucion binomial, que indica la probabilidad de obtener un nº de aciertos por azar. En estadistica, se suele considerar que cuando la probabilidad de obtener los resultados por azar está por debajo del 5%, entonces es que el resultado no es azar, o sea, que el oyente realmente ha sido capaz de pasar la prueba, es decir, oye una diferencia. Por tanto para 10 intentos es necesario acertar 9, que corresponde a una probabilidad de aproximadamente el 1.1% de obtener esos resultados por azar ( http://www.pcavtech.com/abx/abx_bino.htm ). 8/10 esta ya por encima del 5% por lo cual no debe considerar valido.
Ahora bien, este 5% solo es valido cuando:
a) El nº de de intentos se ha prefijado al inicio de la prueba y se respeta. En este caso no importa que el oyente sepa despues de cada intento si ha acertado o no.
b) El oyente no sepa que intentos ha acertado hasta el final de la prueba. En este caso se pueden hacer tantos intentos como se deseen, siendo un minimo 5 y una maximo ilimitado. Cuantos mas intentos se hagan, mas fuerza tiene el test, o sea, mayor capacidad de detectar diferencias pequeñas tiene.
Si se desea hacer un test con un nº de intentos no definido y sabiendo el resultado despues de cada intento, entonces la estadistica queda distorsionada. En este caso, y hasta un maximo de 100 intentos, es necesario obtener una probabilidad (segun la tabla indicada antes) de menos del 1% de obtener los resultados por azar, para compensar esta distorsion.
Para maxima sensibilidad de la prueba, el oyente deberia poder oir A y B (identificados), y tambien X (no identificado) e incluso Y (el contrario de X, no identificado), el nº de veces que quiera, antes de decidir que equipo es X (o Y). Depende de lo que prefiera el que hace la prueba.
En cuanto a la estadistica, una vez hechos un nº de intentos de identificacion, hay que ver cuantos ha acertado y cuantos no, y compararlos con la tabla de probabilidades de la distribucion binomial, que indica la probabilidad de obtener un nº de aciertos por azar. En estadistica, se suele considerar que cuando la probabilidad de obtener los resultados por azar está por debajo del 5%, entonces es que el resultado no es azar, o sea, que el oyente realmente ha sido capaz de pasar la prueba, es decir, oye una diferencia. Por tanto para 10 intentos es necesario acertar 9, que corresponde a una probabilidad de aproximadamente el 1.1% de obtener esos resultados por azar ( http://www.pcavtech.com/abx/abx_bino.htm ). 8/10 esta ya por encima del 5% por lo cual no debe considerar valido.
Ahora bien, este 5% solo es valido cuando:
a) El nº de de intentos se ha prefijado al inicio de la prueba y se respeta. En este caso no importa que el oyente sepa despues de cada intento si ha acertado o no.
b) El oyente no sepa que intentos ha acertado hasta el final de la prueba. En este caso se pueden hacer tantos intentos como se deseen, siendo un minimo 5 y una maximo ilimitado. Cuantos mas intentos se hagan, mas fuerza tiene el test, o sea, mayor capacidad de detectar diferencias pequeñas tiene.
Si se desea hacer un test con un nº de intentos no definido y sabiendo el resultado despues de cada intento, entonces la estadistica queda distorsionada. En este caso, y hasta un maximo de 100 intentos, es necesario obtener una probabilidad (segun la tabla indicada antes) de menos del 1% de obtener los resultados por azar, para compensar esta distorsion.
- Kir
- Site Admin
- Mensajes: 4709
- Registrado: Sab 25 Oct 2003 , 20:40
- Ubicación: Tuerto del tercer ojo
- Contactar:
Efectivamente, Kike, esto lo puedes ver muy resumidamente en el apartado metodologico de la web:
http://www.matrixhifi.com/contenedor_metodologia1.htm
Pero para darle aun mas facilidades a aquellos que dicen notar diferencias, nosotros concedemos una tolerancia metodológica extra puesto que si se acierta 8 de 10 no concluimos directamente que no hay diferencias, sino que lo que se hace es repetir la prueba, es decir, realizar otros 10 ensayos.
De todos modos, y siempre lo decimos, no es suficiente con hacer la prueba a ciegas, sino que ademas hay que incluir 2 factores mas, tan importantes como la invisibilidad del test, esto es:
2) Igualacion de condiciones de volumen, si es que hubiera distintos niveles de salida.
3) Control exhaustivo de variables extrañas y defectos metodologicos(poner cambiadas las fases, cuidar que no se produzcan ruidos que delaten un equipo de otro, no permitir fraudes, etc)
Con estos 3 factores controlados, tenemos una prueba muy solvente.
http://www.matrixhifi.com/contenedor_metodologia1.htm
Pero para darle aun mas facilidades a aquellos que dicen notar diferencias, nosotros concedemos una tolerancia metodológica extra puesto que si se acierta 8 de 10 no concluimos directamente que no hay diferencias, sino que lo que se hace es repetir la prueba, es decir, realizar otros 10 ensayos.
De todos modos, y siempre lo decimos, no es suficiente con hacer la prueba a ciegas, sino que ademas hay que incluir 2 factores mas, tan importantes como la invisibilidad del test, esto es:
2) Igualacion de condiciones de volumen, si es que hubiera distintos niveles de salida.
3) Control exhaustivo de variables extrañas y defectos metodologicos(poner cambiadas las fases, cuidar que no se produzcan ruidos que delaten un equipo de otro, no permitir fraudes, etc)
Con estos 3 factores controlados, tenemos una prueba muy solvente.
Kir
Tuerto del tercer ojo.
Tuerto del tercer ojo.