Las pruebas ciegas ¿Método mejorable? la verdad está en el..

Lo que no cabe en ningún sitio
Responder
venezolano
Mensajes: 24
Registrado: Sab 26 Feb 2005 , 18:14

Las pruebas ciegas ¿Método mejorable? la verdad está en el..

Mensaje por venezolano »

...Gazpacho!!!

Lo que voy a decir a continuación puede sonar como tontería. Ruego que el lanzamiento de tomates se produzca con la mayor de las discreciones. Adelanto, para que todos os vayais preparando, que lo que comentaré a continuación, no dejaría de dar cierta razón a la ex-mascota del foro cuando propuso su propio protocolo para una prueba de fuentes.

Me dejo de intrigas y voy al grano. Ayer, para cenar tenía gazpachos. Sí, por un lado el que hace mi madre, uno casero que sabe que te cagas, y que ha conseguido estandarizar gracias a la termomix (ya siempre le sale igual). Por otro lado teníamos un par de bricks de "Alvalle", que siempre me ha sorprendido por lo bueno que está teniendo en cuenta que es "de bote".

Así pues, me vendé los ojos y le pedí a mi mujer que me llenara un par de tazas y me fuera dando uno y otro.

La gracia fué que de primeras me dió "el de mamá". Y yo dije "Alvalle!". A continuación me da del 2º y dije "No. El Alvalle es este. Dame otra vez del primero para probar", todavía tenía los ojos tapados. Probé, y no tuve duda de cual era cual, PORQUE YA TENÍA UNA REFERENCIA. Completé la prueba bebiendo por 2ª vez del 2º para asegurar.

Acerté, los sabores son bastante diferentes. De hecho me terminé el de bote, me serví otro tazón del casero, y entonces ya me sabían completamente diferentes.

A lo que voy después de tanta cháchara, es a que si las diferencias no son abrumadoras, creo que los videntes podemos tener problemas para discernir diferencias en ausencia de la vista, en el momento en que no tengamos una referencia clara. O sea que si el gazpacho de mi madre lo comparo con el de mi abuela (más parecidos) en método Matrix, es decir, no teniendo una referencia clara durante la realización de la prueba, veo más que posible equivocarme, confundirme. Si hago prueba ciega sabiendo cuando tomo A y cuando tomo B, me veo completamente capaz de asegurar, con suficientes pruebas, un 100% de aciertos.

De hecho en las catas de vino, si bien el catador no sabe qué vino está bebiendo, si sabe cuando bebe del A, cuando del B, cuando del C....

Creo que sería más justo realizar las pruebas ciegas de esta manera. A un señor se le pone el equipo A. Cuando lo pide el B. Luego es el "probador" quien pide que se vaya poniendo el A o el B. El tiempo que quiera, las veces que necesite. Cuando crea estar seguro dice quién es el A y quién es el B.

Se tira una moneda al aire para ver si se mantiene la correlación o se cambia y se comienza otra vez.

Se repite hasta 10 veces.

Me parece que sería un método más justo.

¿Qué os parece?

salu2
Avatar de Usuario
Alf
Site Admin
Site Admin
Mensajes: 5730
Registrado: Jue 23 Oct 2003 , 12:08
Contactar:

Mensaje por Alf »

Gracias por la sugerencia, Venezolano, pero es que todo eso ya lo hacemos :roll: . O sea, que al hacer una prueba ciega, primero empezamos por la Prueba piloto (PP).

En la PP, el probador intenta identificar matices diferenciales entre los gazpachos: Este es mas salado, o mas consistente, o tiene mas pan o mas tomate. Una vez identificados, si es que hay diferencias, pues se pasa a la PC propiamente dicha, en la que el probador se apoya en las diferencias previas.

El probador pide cuantos cambios quiera entre gazpachos hasta estar seguro de su afirmación.

Es mas, si acaso el probador perdiera la referencia, se destapan los gazpachos y se vuelve a la PP.

Todas las ventajas para el probador.

Saludos

Alf

Pd.- Pásate al salmorejo o a la porra antequerana.
venezolano
Mensajes: 24
Registrado: Sab 26 Feb 2005 , 18:14

Mensaje por venezolano »

Vaya!!! pues después de todo este tiempo será que no me había enterado bien :? . Pensaba que se lanzaba una moneda al aire varias veces y que sus resultados determinaban la sucesión de los equipos, con lo que uno nunca podía tener la seguridad de que el equipo que se está escuchando no es el de antes. ¿Entonces el probador sabe en todo momento si suena el equipo A o el B?

salu2
venezolano
Mensajes: 24
Registrado: Sab 26 Feb 2005 , 18:14

Mensaje por venezolano »

Alf escribió: Pd.- Pásate al salmorejo o a la porra antequerana.
Salmorejo, salmorejo... ;)

salu2
Avatar de Usuario
Alf
Site Admin
Site Admin
Mensajes: 5730
Registrado: Jue 23 Oct 2003 , 12:08
Contactar:

Mensaje por Alf »

venezolano escribió:Vaya!!! pues después de todo este tiempo será que no me había enterado bien :? . Pensaba que se lanzaba una moneda al aire varias veces y que sus resultados determinaban la sucesión de los equipos, con lo que uno nunca podía tener la seguridad de que el equipo que se está escuchando no es el de antes. ¿Entonces el probador sabe en todo momento si suena el equipo A o el B?

salu2
No, no, el probador no sabe qué equipo suena. Si se trata precisamente de eso, no?, o sea de saber cual suena sólo oyéndolo. El oyente pide cambios, y el oyente está el tiempo que quiera cambiado cuanto guste, pero si tiene que acertar entre A o B, como vamos a decirle cual es.

Saludos

Alf
venezolano
Mensajes: 24
Registrado: Sab 26 Feb 2005 , 18:14

Mensaje por venezolano »

Creo que no me termino de explicar bien.

Por supuesto que el probador no sabe cual es el A y cual es el B. Solo faltaría. A lo que m e refiero es a que el probador sabe que ahora suena el A o el B, sin saber cual es cual.

Lo que yo decía es que pensaba que en las pruebas ciegas, la sucesión venía prefijada en función de los resultados de una moneda, con lo cual podía resultar algo como: A-A-A-B-A-B-B-A-B-A; o como A-B-A-B-B-A-B-B-A-A; o..... ¿mesentiende?

En este último supuesto, el probador no tiene ni idea si el equipo que oye ahora es el mismo que el de antes u otro. Le falta una referencia. Pero bueno, veo que no es así por lo que me comentas...

salu2

P.D. ¿Y qué tal el ajoblanco?
Avatar de Usuario
Alf
Site Admin
Site Admin
Mensajes: 5730
Registrado: Jue 23 Oct 2003 , 12:08
Contactar:

Mensaje por Alf »

Pues el caso es que lo hemos hecho de las dos maneras, es decir, prefijando una serie aleatoria que era la que comenzaba la serie de intentos.

Luego hemos pasado a hacerlo de forma que el oyente no sabe cual es la que inicia el intento.

De cualquier manera, siempre que el oyente pierda la referencia, se destapa y se vuelve a empezar.

Saludos

Alf

Pd.- Si, el ajoblanco mola tela. No es sopa fría, pero ¿y la salsa romesco catalana?.
venezolano
Mensajes: 24
Registrado: Sab 26 Feb 2005 , 18:14

Mensaje por venezolano »

Vale, pues veo entonces que el único interés del post pasa a tratar acerca de sopas y salsas ibéricas, por lo que te respondo que me encanta un buen romescu con calçots. Mmmmm, aunque habrá que esperar unos meses a volver a comerlos :( .

salu2
WRC
Mensajes: 83
Registrado: Mar 10 May 2005 , 0:45
Ubicación: Asturias

Mensaje por WRC »

Ya que se habla de cocina............... :twisted:

http://www.mundodvd.com/foro/viewtopic. ... 696#571696

- Protege tu propiedad privada, se como el pájaro que vuela al revés para que no le entre arena en los ojos...

venezolano
Mensajes: 24
Registrado: Sab 26 Feb 2005 , 18:14

Mensaje por venezolano »

Pues si haces la prueba ciega según Matrix igual te sabe todo a lo mismo :twisted: :twisted: :wink:

salu2
Avatar de Usuario
Kir
Site Admin
Site Admin
Mensajes: 4708
Registrado: Sab 25 Oct 2003 , 20:40
Ubicación: Tuerto del tercer ojo
Contactar:

Mensaje por Kir »

Hemos probado todas las variantes de pruebas habidas y por haber, querido amigo.

Todas.

Y los resultados son siempre los mismos. Mala suerte, pero la realidad es terriblemente tozuda.

A ver si va a ser porque no hay diferencias? :wink:
Kir

Tuerto del tercer ojo.
WRC
Mensajes: 83
Registrado: Mar 10 May 2005 , 0:45
Ubicación: Asturias

Mensaje por WRC »

venezolano escribió:Pues si haces la prueba ciega según Matrix igual te sabe todo a lo mismo :twisted: :twisted: :wink:
Esto es como el vídeo, no es tan fácil de engañar como el oído :wink:

- Protege tu propiedad privada, se como el pájaro que vuela al revés para que no le entre arena en los ojos...

KikeG
Mensajes: 9
Registrado: Vie 09 Sep 2005 , 14:38
Ubicación: Madrid
Contactar:

Mensaje por KikeG »

Buenas, como recien llegado a este foro y algo de experiencia en tests de tipo ciego en audio, he de decir que da igual el metodo usado, siempre que sea ciego (idealmente que sea doble-ciego), y que el oyente no sepa que equipo esta escuchando antes de decidir si es A o B.

Para maxima sensibilidad de la prueba, el oyente deberia poder oir A y B (identificados), y tambien X (no identificado) e incluso Y (el contrario de X, no identificado), el nº de veces que quiera, antes de decidir que equipo es X (o Y). Depende de lo que prefiera el que hace la prueba.

En cuanto a la estadistica, una vez hechos un nº de intentos de identificacion, hay que ver cuantos ha acertado y cuantos no, y compararlos con la tabla de probabilidades de la distribucion binomial, que indica la probabilidad de obtener un nº de aciertos por azar. En estadistica, se suele considerar que cuando la probabilidad de obtener los resultados por azar está por debajo del 5%, entonces es que el resultado no es azar, o sea, que el oyente realmente ha sido capaz de pasar la prueba, es decir, oye una diferencia. Por tanto para 10 intentos es necesario acertar 9, que corresponde a una probabilidad de aproximadamente el 1.1% de obtener esos resultados por azar ( http://www.pcavtech.com/abx/abx_bino.htm ). 8/10 esta ya por encima del 5% por lo cual no debe considerar valido.

Ahora bien, este 5% solo es valido cuando:

a) El nº de de intentos se ha prefijado al inicio de la prueba y se respeta. En este caso no importa que el oyente sepa despues de cada intento si ha acertado o no.

b) El oyente no sepa que intentos ha acertado hasta el final de la prueba. En este caso se pueden hacer tantos intentos como se deseen, siendo un minimo 5 y una maximo ilimitado. Cuantos mas intentos se hagan, mas fuerza tiene el test, o sea, mayor capacidad de detectar diferencias pequeñas tiene.

Si se desea hacer un test con un nº de intentos no definido y sabiendo el resultado despues de cada intento, entonces la estadistica queda distorsionada. En este caso, y hasta un maximo de 100 intentos, es necesario obtener una probabilidad (segun la tabla indicada antes) de menos del 1% de obtener los resultados por azar, para compensar esta distorsion.
Avatar de Usuario
Kir
Site Admin
Site Admin
Mensajes: 4708
Registrado: Sab 25 Oct 2003 , 20:40
Ubicación: Tuerto del tercer ojo
Contactar:

Mensaje por Kir »

Efectivamente, Kike, esto lo puedes ver muy resumidamente en el apartado metodologico de la web:

http://www.matrixhifi.com/contenedor_metodologia1.htm

Pero para darle aun mas facilidades a aquellos que dicen notar diferencias, nosotros concedemos una tolerancia metodológica extra puesto que si se acierta 8 de 10 no concluimos directamente que no hay diferencias, sino que lo que se hace es repetir la prueba, es decir, realizar otros 10 ensayos.

De todos modos, y siempre lo decimos, no es suficiente con hacer la prueba a ciegas, sino que ademas hay que incluir 2 factores mas, tan importantes como la invisibilidad del test, esto es:

2) Igualacion de condiciones de volumen, si es que hubiera distintos niveles de salida.

3) Control exhaustivo de variables extrañas y defectos metodologicos(poner cambiadas las fases, cuidar que no se produzcan ruidos que delaten un equipo de otro, no permitir fraudes, etc)

Con estos 3 factores controlados, tenemos una prueba muy solvente.
Kir

Tuerto del tercer ojo.
Responder