Software segmentace ruky v termálním spektru

Hand segmentation in thermal spectrum

Software

Tento programový balík může být využit k segmentaci ruky v termálním spektru. Byly navrženy 2 přístupy segmentace ruky v termografickém spektru (TH). Obě metody jsou závislé na přítomnosti obrazu stejného objektu, který byl zachycen rovněž ve viditelném (VIS) spektru. Co více, metoda M1 uvažuje empiricky nalezené hodnoty použité k segmentaci. Dále jsou metody detailněji popsány. Metoda založena na empiricky nalezených hodnotách (M1) Jak již bylo řečeno, tuto metodu lze použít pouze v případě, kdy je ruka zaznamenána rovněž ve viditelném spektru. Databáze, která byla v našem případě použita, byla zaznamenána kamerou TESTO 882, která scénu simultánně snímá v TH i VIS spektru, tudíž je možné nalézt vztah mezi oběma druhy obrazů, tzn. nalézt vzájemnou rotaci, posunutí a změnu měřítka. Na základě analýzy velkého množství obrazů byly empiricky tyto vztahy nalezeny a následně byla pomocí nich ruka segmentována v těchto krocích: 1. Nejdříve byl obraz ve viditelném spektru převeden do binárního s využitím empiricky nalezeného prahu (EF), pomocí Otsuho metody (OM) nebo pomocí algoritmu K-means (KM), který využíval 2 centroidy, přičemž kódová kniha byla v tomto případě natrénována na barevných modelech CMYK a LAB. V případě algoritmu K-means a Otsuho metody byly binární obrazy následně filtrovány mediánovým filtrem o velikosti 3x3. 2. V druhém kroku byla VIS binární maska transformována na TH binární masku pomocí parametrů popisující vzájemnou rotaci, posunutí a změnu měřítka. Tyto parametry byly nalezeny empiricky. 3. S použitím TH binární masky byla ruka již jednoduše segmentována. Nevýhodou této metody je závislost na přítomnosti obrazu ve VIS spektru a také použití empiricky nalezených parametrů. Na druhou stranu je možné pomocí této metody segmentovat i ruku s nedostatečně prokrvenými prsty. Metoda založena na registraci obrazu (M2) Tato metoda je univerzálnější, než metoda M1, jelikož nepoužívá empiricky nalezené parametry. Na druhou stranu není tak přesná. Metoda založena na registraci obrazu stále uvažuje přítomnost obrazu ve VIS spektru. Proces segmentace probíhá v následujících krocích: 1. Tento krok je stejný jako 1. krok u metody M1 (nejdříve je vytvořená VIS binární maska jednou ze 3 zmíněných metod). 2. V druhém kroku je VIS binární maska registrována s rukou v TH spektru. K nalezení parametrů popisujících vzájemnou rotaci, posunutí a změnu měřítka byla využita optimalizační metoda implementována v prostředí MATLAB. Bylo použito několik druhů měření, která udávají míru podobnosti mezi dvěma obrazy: normalizovaná 2D vzájemná korelace (N2D), společná entropie (JE), euklidovská vzdálenost (ED), standardizovaná euklidovská vzdálenost (SED), metrika city block (CBM), Minkowského vzdálenost (MD), Čebyševova vzdálenost (CD), Mahalanobisova vzdálenost (MAD), kosinová vzdálenost (COD), vzájemná korelace (CRD), Spearmanův koeficient pořadové korelace (SRC), Hammingova vzdálenost (HD), Jaccardův koeficient (JD). 3. Jakmile byly všechny parametry nalezeny, byla vytvořena TH binární maska, pomocí které byla následně segmentována ruka. Pomocí této metody je možné segmentovat i ruku s nedostatečně prokrvenými prsty, ale stále je nutná přítomnost ruky ve VIS spektru. Další nevýhoda je ta, že se vlivem optimalizačního algoritmu prodlužuje doba potřebná k segmentaci. Všechny funkce jsou napsány v prostředí MATLAB. Ke správnému použití vyžijte nápovědu příkazem "help nazev_funkce". Programový balík obsahuje rovněž skript, který demonstruje použití jednotlivých funkcí.

This toolbox contains functions that can be used for the hand segmentation in thermal spectrum. There were proposed two basic methods of hand segmentation in TH spectrum. Both are dependent on the presence of the image in VIS spectrum. Moreover M1 takes into account also the empirically found settings of segmentation function. Methods are sufficiently described below. Method based on the empirically found settings (M1) As was already said, this method can be used only when the hand in VIS spectrum is also used. In our case all hands were acquired by the same camera which simultaneously stores both, VIS and TH images. Therefore it is possible to empirically find the relation between these two images, i.e. to find the mutual translation, rotation and scale. According to an analysis of big amount of images these three parameters were found and consequently the hands in TH spectrum were segmented in these steps: 1. Firstly the VIS image was binarized using empirically found threshold (EF), using Otsu's method or using the K-means with two clusters (KM), while the codebook was created according to CMYK and LAB color models. In case of K-means and Otsu's method (OM), the images were consequently filtered by median filter using the 3-by-3 neighborhood. 2. In the second step the VIS binary mask was transformed to the TH binary mask using rotation, translation and scaling. The input parameters of these transformations were found empirically. 3. Using the TH binary mask, the hand was easily segmented. The disadvantage of this method is a dependence on the presence of VIS image and also the use of empirically found parameters. Method based on the image registration (M2) This method is more universal than M1, because it does not need any empirically found parameters. On the other hand it is not so accurate. Method based on an image registration still considers the presence of VIS image. The procedure of segmentation can be described in these steps: 1. This step is same as the first step in M1 (i.e. the VIS binary mask is created). 2. In the second step, the VIS binary mask is registered with hand in TH spectrum. To find the best settings of rotation, translation and scaling the optimization function based on the simplex search method was used. There were used several kinds of measurements that provided the degree of similarity between the registered images: normalized 2D cross-correlation (N2D), joint entropy (JE), Euclidean distance (ED), standardized Euclidean distance (SED), city block metric (CBM), Minkowski distance (MD), Chebychev distance (CD), Mahalanobis distance (MAD), cosine of the included angle between points (COD), correlation (sample correlation between points of image transformed to the vector; CRD), sample Spearman's rank correlation (SRC), Hamming distance (HD), Jaccard coefficient (JD). 3. As soon as the parameters of transformation were found, the TH binary mask was created and consequently the hand was segmented. Using this method it is possible to segment also the hand with cold areas, but the disadvantage of this method is again a dependence on the presence of VIS image and also the speed of segmentation which is increased by the optimization algorithm. All functions in this toolbox are written in MATLAB. To see how to use them please type "help function_name". Toolbox contains also an example script demonstrating the use of functions.

Hand segmentation, thermal spectrum, image registration

Hand segmentation, thermal spectrum, image registration

http://splab.cz/ke-stazeni/software/software-segmentace-ruky-v-termalnim-spektru

only the provider uses the result

In order to use the result by another entity, it is always necessary to acquire a license

http://splab.cz/ke-stazeni/software/software-segmentace-ruky-v-termalnim-spektru