研究事例紹介
「○○な時に着るべき服装」を、画像認識AIと画像生成AIに推薦してもらおう！
この研究では、「子供の運動会の付き添い」や「キャンパス生活」、「高級旅館に泊まるとき」などの特定のシチュエーションを入力すると、そこに適した服装を提案する検索・推薦システムについて提案しています。 このようなシステムを実現するために、多くの画像について「この画像は、何をしている場面？」と、画像認識AIに聞いて、画像とシチュエーション名のペアを作りました。 そして、画像生成AIをそのデータでトレーニングして、「こういうシチュエーションで、着られがちな服装」の画像を生成できるようにしました。
人々は、毎日、家を出る際には、必ず服を選んでいます。 とくに、何かイベントに参加する際には、服選びも大変です。 たとえば、「姪っ子のお誕生日会に参加する」といった際には、どんな服装が最適でしょうか？ ほかにも、「動物園に行く」、「高級レストランに行く」、「芋ほりに行く」など、どんな服を着ていけばいいのか迷ってしまうようなシチュエーションは、たくさんあります。
そこで、この研究では、画像認識AIと、画像生成AIをうまく組み合わせることで、シチュエーション名をキーワードとして与えると、そこに適した衣類を着用した画像を生成するシステムを開発しました。
このようなシステムを開発するうえで、ベースになったのは「AIの得意なことと、不得意なことの、非対称性」です。
具体的には、
- 生成AIの得意なタスク： AIに人の写った画像を見せて「この画像は何をしている場面？」と聞くと、かなり高精度で正しい回答をする
- 生成AIの苦手なタスク： AIに「○○している場面の画像を生成して」というと、画像全体としては自然だけれど、服装の組み合わせがおかしい画像が生成される
という状況を利用して、得意なタスクでたくさんの教師用データを作り、苦手なタスクに対応できるようにAIを再学習しました。
実際に、いくつかのシチュエーションを用意して、そのシチュエーションにあった画像を、様々な生成AIで出力して、被験者に比較してもらいました。
実験結果から、提案手法では、「確かにそのシチュエーションにあう、無難なコーディネート」が生成されることがわかりました。
文献情報
- タイトル：
- Asymmetric Pipeline for Dataset Construction and Situation-Aware Generative Outfit Retrieval Leveraging Differences in Task Difficulty
- 著者：
- Yuma Oe, Katsumi Tanaka, Yoshiyuki Shoji
- 書誌情報：
- Proc. of the 16th ACM International Conference on Multimedia Retrieval (ICMR 2026), to apperar, 2026
