Матриця камери

У комп'ютерному зорі матриця камери або матриця проєкції (камери) є матрицею ${\displaystyle 3\times 4}$, яка описує відображення стенопа від 3D-точок в світі, до 2D-точок зображення. Нехай ${\displaystyle \mathbf {x} }$ — представлення тривимірної точки в однорідних координатах (чотиривимірний вектор), і нехай ${\displaystyle \mathbf {y} }$ буде представленням зображення цієї точки в стенопі (3-вимірний вектор). Тоді має місце наступне співвідношення

${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$

де ${\displaystyle \mathbf {C} }$ — це матриця камери, а ${\displaystyle \,\sim }$ знак, що означає, що ліва і права частини рівності рівні ненульовому скалярному множенню.

Так як матриця камери ${\displaystyle \mathbf {C} }$ бере участь у відображенні між елементами двох проєктивних просторів, її теж можна розглядати як проєктивний елемент. Це означає, що у неї є тільки 11 ступенів свободи, так як будь-яке множення на ненульовий скаляр призводить до еквівалентної матриці камери.

Відображення координат тривимірної точки P на координати двовимірного зображення проєкції точки на площину зображення, відповідно до моделі стенопа, дається формулою

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {f}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}$

де ${\displaystyle (x_{1},x_{2},x_{3})}$ є тривимірними координатами P щодо централізованої системи координат камери, ${\displaystyle (y_{1},y_{2})}$ — отримані координати зображення, f — фокусна відстань камери, для якої передбачається, що f > 0. Крім того, ми також припускаємо, що x₃ > 0.

Для отримання матриці камери цей вираз переписується в термінах однорідних координат. Замість двовимірного вектора ${\displaystyle (y_{1},y_{2})}$ розглянемо проєктивний елемент (3D-вектор) ${\displaystyle \mathbf {y} =(y_{1},y_{2},1)}$ та замість рівності розглядаємо рівність з точністю до масштабування на ненульове число, що позначається ${\displaystyle \sim }$. Спочатку ми записуємо координати однорідного зображення у вигляді виразів в звичайних тривимірних координатах.

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {f}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\{\frac {x_{3}}{f}}\end{pmatrix}}\sim {\begin{pmatrix}x_{1}\\x_{2}\\{\frac {x_{3}}{f}}\end{pmatrix}}}$

Нарешті, також тривимірні координати виражаються в однорідному представленні ${\displaystyle \mathbf {x} }$, і ось як виглядає матриця камери:

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}\sim {\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\,{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\\1\end{pmatrix}}}$   чи   ${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$

де ${\displaystyle \mathbf {C} }$ матриця камери, яка дається формулою

${\displaystyle \mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}}$,

і відповідна матриця камери тепер стає

${\displaystyle \mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\sim {\begin{pmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{pmatrix}}}$

Останній крок є наслідком того, що ${\displaystyle \mathbf {C} }$ сам по собі є проєктивним елементом.

Виведена тут матриця камери може здатися тривіальною в тому сенсі, що вона містить дуже мало ненульових елементів. Це в значній мірі залежить від конкретних систем координат, які були обрані для 3D і 2D точок. На практиці, однак, інші форми матриць камер є загальними, що буде показано нижче.

Матриця камери ${\displaystyle \mathbf {C} }$, отримана в попередньому розділі, має нульовий простір, натягнуте на вектор

${\displaystyle \mathbf {n} ={\begin{pmatrix}0\\0\\0\\1\end{pmatrix}}}$

Це також однорідне уявлення тривимірної точки, яка має координати (0,0,0), тобто «центр камери» (так зване вхідне вічко; положення отвору стенопа), що знаходиться в O.

Для будь-якої іншої 3D-точки з ${\displaystyle x_{3}=0}$, результат ${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$ коректно визначений і має вигляд ${\displaystyle \mathbf {y} =(y_{1}\,y_{2}\,0)^{\top }}$. Це відповідає нескінченно віддаленій точці на площині проєктованого зображення (навіть якщо площина зображення вибрана як евклідова площина, то не існує відповідної точки перетину).

Матриця камери, отримана вище, може бути спрощена ще більше, якщо ми припустимо, що f = 1:

${\displaystyle \mathbf {C} _{0}={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\end{pmatrix}}=\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)}$

де ${\displaystyle \mathbf {I} }$ тут позначає одиничну матрицю ${\displaystyle 3\times 3}$. Зверніть увагу, що ${\displaystyle 3\times 4}$ matrix ${\displaystyle \mathbf {C} }$ тут розділена на конкатенацію матриці ${\displaystyle 3\times 3}$ і тривимірного вектору. Матриця камери ${\displaystyle \mathbf {C} _{0}}$ іноді називається канонічної формою.

До сіх пір всі точки в тривимірному світі були представлені в системі координат відцентрованої камери, тобто в системі координат, яка має початок в центрі камери (місце розташування точкового отвору стенопа). На практиці, однак, 3D-точки можуть бути представлені в термінах координат відносно довільної системи координат (X1',X2',X3'). Припускаючи, що координатні осі камери (X1,X2,X3) і осі (X1',X2',X3') мають Евклідів тип (ортогональний і ізотропний), існує єдине Евклідове тривимірне перетворення (поворот і зрушення) між двома системами координат. Іншими словами, камера не обов'язково знаходиться на початку координат і дивиться уздовж осі z.

Дві операції обертання і зсуву тривимірних координат можуть бути представлені у вигляді двох матриць ${\displaystyle 4\times 4}$

${\displaystyle \left({\begin{array}{c|c}\mathbf {R} &\mathbf {0} \\\hline \mathbf {0} &1\end{array}}\right)}$ and ${\displaystyle \left({\begin{array}{c|c}\mathbf {I} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)}$

де ${\displaystyle \mathbf {R} }$ є матрицею повороту ${\displaystyle 3\times 3}$, а ${\displaystyle \mathbf {t} }$ є тривимірним вектором паралельного перенесення. Коли перша матриця множиться на однорідне уявлення 3D-точки, результатом є однорідне уявлення поверненої точки, а друга матриця виконує замість цього паралельне перенесення. Виконання двох операцій послідовно, тобто спочатку поворот, а потім паралельне перенесення (з вектором паралельного перенесення, заданим у вже поверненій системі координат), дає комбіновану матрицю повороту і паралельного перенесення

${\displaystyle \left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)}$

Припускаючи, що ${\displaystyle \mathbf {R} }$ і ${\displaystyle \mathbf {t} }$ — це точно обертання та перенесення, які пов'язані з двома системами координат (X1,X2,X3) і (X1',X2',X3') вище, це означає, що

${\displaystyle \mathbf {x} =\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '}$

де ${\displaystyle \mathbf {x} '}$ — однорідне уявлення точки P в системі координат (X1',X2',X3').

Припускаючи також, що матриця камери задана ${\displaystyle \mathbf {C} _{0}}$, відображення з координат в (X1',X2',X3') до однорідних координатам зображення стає

${\displaystyle \mathbf {y} \sim \mathbf {C} _{0}\,\mathbf {x} =\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)\,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)\,\mathbf {x} '}$

Отже, матриця камери, яка пов'язує точки в системі координат (X1',X2',X3') з координатами зображення, є

${\displaystyle \mathbf {C} _{N}=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)}$

конкатенація матриці 3D обертання і тривимірного вектора перенесення.

Цей тип матриці камери називають нормованою матрицею камери, вона приймає фокусну відстань = 1 і координати зображення вимірюються в системі координат, де початок координат знаходиться на перетині між віссю X3 і площиною зображення, і має ті ж одиниці як тривимірна система координат. Отримані координати зображення називаються координатами нормованого зображення.

Знову ж, описаний вище нульове простір нормованої матриці камери, описана вище ${\displaystyle \mathbf {C} _{N}}$, натягнуто на 4-мірний вектор

${\displaystyle \mathbf {n} ={\begin{pmatrix}-\mathbf {R} ^{-1}\,\mathbf {t} \\1\end{pmatrix}}={\begin{pmatrix}{\tilde {\mathbf {n} }}\\1\end{pmatrix}}}$

Це, знову ж, координати центру камери, тепер відносно системи (X1',X2',X3'). Це можна побачити, застосувавши спочатку поворот, а потім паралельний перенос до тривимірного вектору ${\displaystyle {\tilde {\mathbf {n} }}}$ і результат є однорідним представленням тривимірних координат (0,0,0).

Це означає, що центр камери (в її однорідному поданні) знаходиться в нульовому просторі матриці камери, за умови, що він представлений у вигляді тривимірних координат відносно тієї ж системи координат, до якої відноситься матриця камери.

Нормовану матрицю камери ${\displaystyle \mathbf {C} _{N}}$ можна тепер записати у вигляді

${\displaystyle \mathbf {C} _{N}=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &\mathbf {R} ^{-1}\,\mathbf {t} \end{array}}\right)=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &-{\tilde {\mathbf {n} }}\end{array}}\right)}$

де ${\displaystyle {\tilde {\mathbf {n} }}}$ — це тривимірні координати камери відносно системи (X1',X2',X3').

З огляду на відображення, створене нормованою матрицею камери, отримані координати нормованого зображення можуть бути перетворені за допомогою довільної двовимірної гомографіі. Це включає двовимірний перенос та обертання, а також масштабування (изотропне і анізотропне), але, також, і загальні двовимірні перспективні перетворення. Таке перетворення може бути представлено як матриця ${\displaystyle 3\times 3}$ matrix ${\displaystyle \mathbf {H} }$, яка відображає координати нормованого зображення ${\displaystyle \mathbf {y} }$ до координат перетвореного однорідного зображення ${\displaystyle \mathbf {y} '}$:

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {y} }$

Вставка вищенаведеного виразу для координат нормованого зображення у вигляді тривимірних координат дає

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {C} _{N}\,\mathbf {x} '}$

Це дає найбільш загальну форму матриці камери

${\displaystyle \mathbf {C} =\mathbf {H} \,\mathbf {C} _{N}=\mathbf {H} \,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)}$

• 3D-проєкція
• Фундаментальна матриця
• Об'ємна відбудова

• Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision. Cambridge University Press. ISBN 0-521-54051-8.