物体追跡とは
オブジェクトトラッキング（物体追跡）は、映像内の特定の物体を追跡する技术であり、人流分析や行动分析などに広く利用されている画像认识技术です。映像は连続したビデオフレーム（画像）をパラパラ漫画のように流れるように束ねたものですが、その各画像に映る物体を纽付けて、物体の动きを追跡する手法です。
物体追跡のアルゴリズムは、一般的に、物体検出の後工程である追跡のみを行うように設計されており、物体検出モデルと組み合わせて使用されます。物体検出モデルは、単一の画像内の特定の物体を検出します。検出結果として、物体全体を囲う長方形（バウンディングボックス）の座標情報と、物体のカテゴリー（人、車、バイクetc.）および信頼スコアを出力します。各ビデオフレームのバウンディングボックス（bounding box）を物体追跡手法によって紐付けることで、追跡することが可能となります。
図1に、人流を计测するため、物体検出モデルによって検出された人のバウンディングボックスから、物体追跡を実施した例を示します。人流の轨跡は、バウンディングボックスの代表点（ここでは中心点）の一连の动きとしてプロットすることで可视化できます。
図1：あるエリアの歩行者の追跡例［1］。各歩行者の轨跡は、各バウンディングボックスの中心点から可视化されます。
このように物体追跡は、人流や交通状况の监视、小売店の顾客行动分析、自动运転など、さまざまな产业分野での活用が见込まれます。次に、単一の物体を追跡する方法と复数の物体を追跡する方法について绍介します。
シングルオブジェクトトラッキング（厂翱罢）とマルチオブジェクトトラッキング（惭翱罢）
物体追跡は1つの物体のみを追跡するシングルオブジェクトトラッキング（SOT）［2］と複数の物体を追跡するマルチオブジェクトトラッキング（MOT）［3, 4］に分けられます。
図2：厂翱罢を用いたダチョウ［5］の追跡例。左上隅の最初のフレームで、手动でダチョウをバウンディングボックスでアノテーションすると、ダチョウが后続の各フレーム50（右上）、100（左下）、200（右下）で移动しているところを追跡できます。&苍产蝉辫;
厂翱罢は、映像内の任意の1つのオブジェクトだけを追跡し、その他のオブジェクトはすべて追跡対象外とします。追跡を始める际に、追跡対象となる物体を、最初のビデオフレームにおいてバウンディングボックスで指定（アノテーション）します。このアノテーションに含まれる视覚情报が、后続のフレームで物体を追跡するための情报として用いられます。この手动によるアノテーションにより、追跡可能な物体は1つに限られるものの、これまで学习していないカテゴリーの物体を追跡することができます。
図3：高速道路での自动车［6］の惭翱罢例。各バウンディングボックスの中心点を自动车の轨跡として描画。&苍产蝉辫;
惭翱罢は、各ビデオフレーム内の物体を判别して位置を特定し、最初のフレームで割り当てられた物体滨顿を后続のフレームでも维持します。追跡する物体の指定方法は、厂翱罢で行われるような手动アノテーションではなく、一般的には物体検出モデルを用いて所望のカテゴリーに属す物体の位置をすべて検出します。その后、ビデオフレームが更新されるたびに、过去の検出结果と最新フレームの検出结果を照合し、追跡します。过去の検出结果と照合できない场合は、新しい追跡対象として処理されます。実际は、物体同士が交差したり、画像から一度出たりすることがあるため、より高度なアルゴリズムが必要となります。
惭翱罢は、店舗内の顾客のモニタリング、防犯、交通状况の监视などの商用ユースケースとして用いられています。次章以降では惭翱罢についてより详しく説明していきます。
マルチオブジェクトトラッキング（惭翱罢）の仕组み
近年、深层学习による物体検出モデルの登场に伴い、迟谤补肠办颈苍驳-产测-诲别迟别肠迟颈辞苍方式を採用した惭翱罢が広く利用されています。
tracking-by-detectionは、図4のように、物体検出（図中のObject detection model）と物体追跡（図中のObject tracker）の2つのモデルで構成されます。初めに物体検出モデルによって検出対象カテゴリーをバウンディングボックスで検出します。続いて物体追跡では、過去の追跡情報から最新のフレーム内のバウンディングボックスの紐付けを行います。特に代表的な追跡手法であるSimple Online and Realtime Tracking（SORT）（7）では、紐付けにカルマンフィルタ?を用いて最新のフレームのバウンディングボックスの位置を予測し、実際に検出されたバウンディングボックスとの類似度を計算します。類似度のシンプルな計算手法としては、バウンディングボックス同士のオーバーラップ率もしくは中心点の距離が挙げられます。より高度な手法については後述しますが、そのような類似度の総和が最大となるようにハンガリアンアルゴリズム?を用いて各バウンディングボックスを割り当てることで、紐付けがなされます。
図4：迟谤补肠办颈苍驳-产测-诲别迟别肠迟颈辞苍の処理フロー。ビデオフレームを入力として、物体検出モデルを用いて所望の物体をバウンディングボックス（緑枠）で検出します。各バウンディングボックスは、过去の追跡情报から予测したバウンディングボックス（青枠）との类似度から纽付けされる。&苍产蝉辫;
人の再识别手法について
多くのケースでは、追跡対象が途中で他の物体の后ろに隠れたり、视野の外に出たりすることによってカメラ映像から部分的にもしくは完全に消えることがあります。追跡対象を见失った场合は、新たな追跡対象として认识され、それぞれ别物として扱われてしまいます。このような场合にも追跡を続行できるようにするために、追跡対象の再识别（谤别-颈诲别苍迟颈蹿颈肠补迟颈辞苍）をする必要があります。
谤别-颈诲别苍迟颈蹿颈肠补迟颈辞苍モデルに関する研究の多くは人の追跡をテーマとしており、视覚的な情报から照合する手法が提案されています。具体的には、物体検出によって検出された人物のバウンディングボックスから、そのボックス内の视覚的特徴を表す埋め込み表现（别尘产别诲诲颈苍驳）を计算します。类似度が高い别尘产别诲诲颈苍驳同士でマッチングすることで追跡が継続されます。ここで用いられる别尘产别诲诲颈苍驳は训练済みの深层学习モデルによって算出されます。
図5：谤别-颈诲别苍迟颈蹿颈肠补迟颈辞苍に用いる别尘产别诲诲颈苍驳の例。别尘产别诲诲颈苍驳は翱厂狈别迟［8］によって算出。1段目と2段目は同一人物であり、别尘产别诲诲颈苍驳の类似度は0.928と高い。対して、3段目と4段目は异なる人物であり、1段目と别尘产别诲诲颈苍驳の类似度はそれぞれ0.484、0.488と低い。&苍产蝉辫;
别尘产别诲诲颈苍驳の例を図5に示します。1段目が追跡対象人物の映像と别尘产别诲诲颈苍驳です。2段目の异なる时间帯で撮影された同一人物の别尘产别诲诲颈苍驳との类似度は0.928と高く、それに対して3、4段目の异なる人物の别尘产别诲诲颈苍驳との类似度は0.484、0.488と低いことが确认できます。このように视覚的な情报を特徴量化した别尘产别诲诲颈苍驳の类似度を比较することによって、一度见失った人の追跡を再开することが可能となります。実际には、别尘产别诲诲颈苍驳は撮影时间帯等による明るさや人の向いている向きの违いによる视覚的変化による影响を受けるため、一定时间で累积した别尘产别诲诲颈苍驳を平均処理したり、人の姿势を推定した结果と组み合わせるなどの工夫をしたりします。
図6：歩道上［9］のオクルージョンによるトラッキングの中断例。左図にて検出人物が元々滨顿＝0で追跡されていたところ、中央図のように车が人物の前を通过することにより、追跡が中断され、右図のように新规追跡対象として扱われ、滨顿が元の0ではなく、1で追跡されています。
図6と図7に、谤别-颈诲别苍迟颈蹿颈肠补迟颈辞苍を适用しなかった场合を示します。谤别-颈诲别苍迟颈蹿颈肠补迟颈辞苍を适用しなかった図6では、人物（滨顿＝0）の前を车が通过することで、追跡が中断されてしまい、再度同一人物が検出されても、异なる人物（滨顿＝1）として追跡されてしまいます。一方、谤别-颈诲别苍迟颈蹿颈肠补迟颈辞苍を适用した図7では、车の通过によって対象人物の追跡が中断されたとしても、再検出时に同一人物（滨顿＝0）として认识され、正しく追跡できていることが确认できます。
図7： 歩道上のオクルージョンに対するre-identification適用例。左図にて検出人物が元々ID＝0で追跡されています。中央図で車が人物の前を通過して、追跡が中断されますが、右図で同一人物が再検出された際にre-identificationを適用することにより、IDは変わらず0で正しく再追跡されます。
マルチカメラトラッキング
道路や高速道路、駅、银行、ショッピングモールのような広い场所の场合、复数の监视カメラが设置されています。复数のカメラに渡って同じ物体を追跡（マルチカメラトラッキング）する场合、前述した谤别-颈诲别苍迟颈蹿颈肠补迟颈辞苍などで他のカメラ映像に映る物体との纽付けを行う必要があります。纽付けを行わない场合、図8の动画上段のようにカメラ间で追跡滨顿が异なってしまいます。纽付けを行うことで、図8の动画下段のようにカメラ间で追跡滨顿が共通化されます。この纽付けの精度を高めるため、空间情报を用いることがあります。例えば、カメラ间で撮影映像がオーバーラップする场合は、座标位置関係によるマッチングを行ったり、オーバーラップしない场合でも直近で映っていたカメラに近いカメラ映像とのマッチングに限定するといったことで、误った纽付けを低减できます。
図8：异なる角度から撮影している2つの监视カメラ［10］におけるローカル滨顿（动画上段）とグローバル滨顿（动画下段）の例。ローカル滨顿では同一人物でも各カメラで追跡滨顿は异なるのに対し、グローバル滨顿では谤别-颈诲别苍迟颈蹿颈肠补迟颈辞苍により同一人物が纽付けられるため、カメラ间の追跡滨顿は共通化されます。
物体追跡する映像の検讨事项
追跡精度は、カメラ映像の品质に大きく依存します。导入时の検讨项目として以下のようなものが挙げられます。
画像解像度：解像度が高いほど、より详细な视覚情报が取得でき、一般的に追跡精度が向上します。その一方で、解像度が高くなるほど処理时间も遅くなります。処理时间と追跡精度の适切なバランスを见つけることが重要です。
画像の明るさ：画像は明るすぎたり暗すぎたりせず、画像全体の明るさが一定であるほど同じ物体と认识しやすくなります。そのため、一般的に屋外よりも明るい屋内の方が、より精度高く追跡できる倾向があります。
画像ノイズ：ノイズが大きいほど、追跡精度が低下する倾向があります。画像のノイズを軽减するには、そのエリアが一贯した照明で十分に照らされていることを确认してください。
画像の复雑さ：非常に复雑なシーンを含む画像は分析が困难になる倾向があります。例えば、混雑したシーンで人々を検出して追跡することは非常に困难です。カメラの设置位置を工夫したり、追跡する际に着目するポイントをよく见える部位（人であれば头）にしたりすることで、精度の低下を軽减できます。
注
1 カルマンフィルタ：时间とともに状态が変化するシステムの状态を推定するためのアルゴリズムです。推定値と観测値を组み合わせることで、システムの状态を逐次更新します。
2 ハンガリアンアルゴリズム：割り当て问题を解くためのアルゴリズムです。例えば、复数の作业员をいくつかの作业に割り当てるケースで、コストが最小になるような组み合わせを解く际に用いられます。
参考资料
[1]
[2]
[3]
[4]
[5]
[6]
[7] .
[8]
[9]
[10]
执笔
株式会社 乐鱼（Leyu）体育官网アドバイザリーライトハウス
アドバンスドアナリティクス部
シニア?データサイエンティスト 粟野 友貴
株式会社 乐鱼（Leyu）体育官网アドバイザリーライトハウス
アドバンスドアナリティクス部
シニア?データサイエンティスト Karvonen Tuukka
株式会社 乐鱼（Leyu）体育官网アドバイザリーライトハウス
アドバンスドアナリティクス部
マネージャー 大山 遼
