サステナビリティ SUSTAINABILITY

「家族アルバム みてね」の技術

  • 08-logo
  • 09-logo

 「家族アルバム みてね」は、子どもの写真・動画を家族と簡単に共有できるサービスです。日々たくさんの写真や動画がアップロードされる「みてね」では、プライバシーを保ちながら、ご家族がより便利に思い出を振り返ったり、形に残すことができるよう、人工知能(AI)のデータ分析技術のひとつである機械学習を用いたサービス提供を行っています。 

 特に、お子さまのより良い写真を選定する技術の開発に力を入れており、「みてね」の人気機能である「1秒動画」の生成のほか、「みてね」関連製品である写真プリント、フォトブック、みてね年賀状、フォトギフト、DVD等の自動提案でも使用しています ※1

※1 一部サービスは日本のみで提供

家族アルバム みてね

「1秒動画」の生成技術

 「1秒動画」は、「みてね」にアップロードされた写真や動画を1秒ずつ繋ぎ合わせた成長のダイジェスト動画を自動作成し、季節毎 ※2にお送りする機能のことです。子育てで忙しい日々を過ごしているママ・パパのもとにふと届く、お子さまの成長がギュッと詰まった動画は「子どもがさらに愛おしくなる」「子どもの成長に感動して毎回泣いてしまう」とご好評いただいています。
 「1秒動画」で使用する写真・動画の選定は、すべて機械学習に基づく独自のロジックで、以下の三段階で行っています。

①ディープラーニングを活用して、写真・動画の人物検出・顔検出を行う
まずは機械学習の手法の一つである深層学習(ディープラーニング)を活用し、お子さまに特化した人物検出や顔検出を行います。
②各素材に対して、評価を行う
次に、各写真・動画に対し、人物検出や顔検出の結果と、公開範囲やお気に入り・コメントなどを加味して評価をつけます。
③全体のバランスを考慮して素材を選定し、1秒動画を構成する。
最後に、撮影日時のばらけ具合や動画・写真の比率など、個別の素材にとどまらない1秒動画全体としてのバランスや見栄えを考慮しつつ、評価の高い写真・動画を中心に選定し「1秒動画」を作成します。

※2 通常は三ヶ月、「プレミアム/プレミアムProプラン」の場合は追加で一ヶ月ごと、また一年ごとの間隔で届きます

写真・動画の自然言語検索技術

 「みてね」では、アップロードされた写真や動画の中から、ユーザーが入力した言葉の意味に近いものを探し出す自然言語検索技術を「自由に検索」機能として実装しています。「森の中で男の子が散歩している」「雨の日」のように、キーワードだけでなく自然な文章でも検索でき、思い出をより柔軟に見つけることができます ※3

 この検索には、AIを活用した類似度検索を使用しています。入力された検索クエリと写真・動画の内容を照合し、意味的にどれだけ近いかをスコアリングすることで、関連度の高い写真や動画を抽出しています。この処理は、以下のような手順で行っています。

①ユーザーが探したい内容を、自然な言葉で検索クエリとして入力
②AIを用いて、検索クエリと写真・動画の内容との意味的な近さを算出
③写真・動画ごとにスコアを付け、一定のしきい値を超えた候補を抽出
④抽出された写真・動画を日付ごとに整理し、関連度の高い検索結果として表示

 日々蓄積される子どもや家族の写真・動画の中から、イメージを頼りに検索できる本技術は、大切な思い出と再び出会う体験を支えています。

※3 「プレミアムPro」の機能

ステッカーにおける顔抽出技術

 お子さまの写真を活用し、ワンクリックでリアクションできるステッカー機能では、アップロードされた写真の中からAIでお子さまのベストショットを検出し、ステッカーに適した顔を選定するためのフィルタリングおよびスコアリングを行っています。この選定は、以下のような手順で行っています。

①アップロードされた写真から、類似した写真をフィルタリングして除外
②写真の顔を検出し、姿勢や年齢を推定して、横顔・俯き顔や見切れた顔、大人の顔をフィルタリングして除外
③残った顔に対し、ベストショット検出をはじめとしたさまざまな要素を加味してスコアリング
④スコアリングの結果、スコア上位の顔をステッカーに採用

 なお、このような写真・顔の選定技術と類似の処理は、写真プリントやフォトブックなど他の商品における自動提案機能にも盛り込まれています。

「人物ごとのアルバム」機能

「人物ごとのアルバム」は、「みてね」にアップロードされた写真や動画をプログラムで判別し、お子さまごとに自動分類して表示する機能です ※4。個人だけでなく、「子どもたち(きょうだいや姉妹)」や「家族みんな」といったまとまりで表示することもできます。
 この「人物ごとのアルバム」機能にも、人工知能(AI)が使われています。「みてね」にアップロードされた写真・動画から顔ごとの特徴ベクトルを取り出し(画像【1】)、これらを機械学習の手法の一つであるクラスタリングを用いてグループ分け(画像【2】)することで、さまざまなまとまりでの自動分類を実現しています。

※4 「みてねプレミアム/プレミアムPro」の機能

「人物ごとのアルバム」機能

 なお、現状では顔のよく似たお子さま同士や双子の場合、全てを正しく見分けることが難しい場面もあり、引き続き精度向上に努めます。
 「みてね」では、今後もテクノロジーを活用しながら、お子さま・家族の大切な動画・写真を手軽に共有できるサービスを提供してまいります。

家族アルバム みてね(公式サイト)