研究事例紹介
画像生成AIに、「この服に似合うコーディネート」を考えてもらおう！
この研究では、生成AIの「画像の欠落部分を想像して埋める」性質を利用して、ファッションアイテムの画像を入力すると、それと似合う別のアイテムを推薦するシステムを提案しています。例えばTシャツの画像を入力したら、そのTシャツに似合うボトムスやジャケット、帽子などを着用した画像が複数、ランキングとして表示されます。
ほとんどの人は1日に1回、必ず「今日はどの服を着るか」を決断する必要があります（制服の人や、家から出ない人を除く）。 こうした日常的な着用する衣類の決定について、既存の情報検索技術は、じつはまともにサポートできていませんでした。 例えば、自分がある抽象的な柄のTシャツを持っていたとします。 Webでその服に似合ったコーディネートを調べようとしても、抽象的な柄はキーワードにしづらくて、検索することができません。 この場合、ファッション投稿サイトなどを人手で全部読み進めて、何となく自分のTシャツと似たアイテムを着た画像を探す必要があります。
そこで本研究では、「着用したいと考えているファッションアイテムの写った画像」を入力として与えると、「おしゃれである確率が高い順に並んだ、そのアイテムの着用画像のランキング」が出力される検索アルゴリズムを提案しています。 こうすることで、キーワードで説明しづらいアイテムや、自作の服でも、それに合ったコーディネートが検索できます。
このような検索を可能にするために、この研究では、画像生成AIの「画像の欠落部分を、想像して埋める」という性質を利用しています。 このアルゴリズムは、まず入力されたファッションアイテムの背景を除去して、物体認識してアイテムの種類を特定し、空白画像のそのアイテムが写りそうな位置（例えば、ジャケットだったら、画像の上から1/3の位置など）に配置します。 その状態で、空白部分を生成AIに埋めさせれば、着用画像が完成します。
一方で、普通の画像生成AIは「ありえそうな、自然な画像」を作るのは得意ですが、「おしゃれな画像」を作るのは得意ではありません。 そこでこの研究では、
- ファインチューニングによる2種類のAIの併用
- アイテムの出現頻度に基づく画像のランキング
を行うことで、実際におしゃれなコーディネート画像を提示できるようにしています。
画像生成AIのファインチューニングとして、ファッション投稿SNSから高評価を受けている画像だけを取り出してきて、AIがおしゃれな画像を生成するように、追加学習しました。 こうして作られたおしゃれなAIと、普通のAIにたくさんの着用画像を出力させると、おしゃれなコーディネートとそうでないコーディネートの違いがわかります。 そこで、画像のランキングとして、「おしゃれなAIの生成画像にはよく現れるが、普通のAIの生成画像にはあまり現れない」アイテムが多く写っている順に、生成画像を並び替えます。 こうすることでおしゃれである可能性が高い順に、コーディネート画像を表示できます。
この研究では、このシステムで作られたコーディネート画像と、普通のAIに作らせたコーディネート画像を、プロのアパレル店員に比較してもらうことでアルゴリズムの性能評価を行いました。 実験結果から、提案アルゴリズムは、
- 確かにおしゃれなコーディネート画像をランキング上位で提示可能で、
- さらに入力したアイテムをしっかり反映した画像が多く提示できた
ことがわかりました。
「おしゃれなAI」と「普通のAI」でコーディネート画像を複数作って、おしゃれそうな順にランキングして出力。
文献情報
- タイトル：
- Can Stable Diffusion Recommend Outfits?: Outfit Recommendation from Fashion Item Images via Generative AI
- 著者：
- Yuma Oe, Yoshiyuki Shoji
- 書誌情報：
- Proc. of The 27th International Conference on Information Integration and Web Intelligence (iiWAS2025), pp. 443 - 457, 2025
- 掲載サイト
