L'algoritmo di stereo di Cox e al. si presta a trovare gli
accoppiamenti migliori sia di pixel, sia di strutture più
complesse (edge, segmenti, ecc.) descrivibili mediante vettori. In
questa sezione deriveremo la funzione di costo per accoppiare due
generiche misure, intese come vettori, e poi la funzione globale da
minimizzare. In
la funzione verrà
specializzazata al più semplice caso in cui le misure sono
l'intesità luminosa dei pixel.
Denotiamo le due telecamere con 
e con 
l'insieme delle misure lungo le due linee epipolari: 
dove 
è il numero di misure
dalla telecamera s e 
è una misura ``fantoccio'', utilizzata per indicare l'occlusione della
misura accoppiata con essa. Ognuna delle misure 
si
suppone essere affetta da rumore addittivo gaussiano.
La condizione che la misura 
dalla telecamera 1 e
dalla telecamera 2 siano immagini dello stesso punto
fisico 
, cioè che le due misure corrispondono, viene indicata con
. Il caso in cui la misura 
dalla
telecamera 1 non abbia corrispondenti nella telecamera 2 è denotato
con 
. Il caso in cui la misura 
dalla
telecamera 1 non abbia corrispondenti nella telecamera 1 è denotato
con 
.
Per calcolare il costo locale di associare due misure 
e 
, esprimiamo la probabilità che la coppia di
misure 
siano originate dallo stesso punto fisico 
con
dove 
se una misura non viene accoppiata,
altrimenti. Il termine 
è la funzione di
densità della distribuzione che rappresenta la probabilità che
la misura z sia originata da un punto 
nella scena. Il
parametro 
è la probabilità di rivelare una misura originata dal punto 
mediante il sensore s. Questo parametro è funzione del numero di
occlusioni, rumore, ecc. Quindi 
è la probabilità
che un punto sia occluso. Assumendo che le misure di intensità
siano normalmente distribuite attorno al loro valore
reale z, allora
dove d è la dimensione dei vettori 
e 
è la
matrice di covarianza associata all'errore 
. Siccome il
valore vero, 
, è sconosciuto, lo approssimiamo mediante la stima
di massima verosimiglianza 
ottenuta dalla coppia di
misure 
, data da
dove 
è la covarianza associata alla misura
.
Dal costo del singolo accoppiamento 
, è
necessario determinare il costo totale di tutti gli
accoppiamenti. Denotiamo con 
un accoppiamento fattibile, e
con 
l'insieme di tutte le soluzioni fattibili, cioè
. Se 
denota il caso in cui tutte le
misure sono disaccoppiate, cioè che non ci sono punti in comune
tra le due immagini, allora vogliamo trovare gli accoppiamenti o la
partizione che massimizza 
, dove la
probabilità 
di una partizione è definita come
è l'angolo visivo della telecamera s e 
il
numero delle misure della telecamera s disaccoppiate nella
partizione 
. La probabilità di nessun accoppiamento,
è dato dunque da
, dove N e M sono il numero
totale delle misure, rispettivamente nella prima e seconda immagine.
La massimizzazione di 
è equivalente alla
minimizzazione di
da cui deriva
I primi due termini della sommatoria dell'equazione
sono il costo di accoppiare due misure, mentre gli ultimi due termini
sono i costi delle occlusioni nell'immagine sinistra o nell'immagine
destra, rispettivamente. Chiaramente, come la probabilità di
occlusione 
diventa piccola, il costo di non accoppiare
delle misure cresce.
