株式会社MIXI

SUSTAINABILITY

「家族アルバム みてね」の技術

 「家族アルバム みてね」は、子どもの写真・動画を家族と簡単に共有できるサービスです。日々たくさんの写真や動画がアップロードされる「みてね」では、プライバシーを保ちながら、ご家族がより便利に思い出を振り返ったり、形に残すことができるよう、人工知能(AI)のデータ分析技術のひとつである機械学習を用いたサービス提供を行っています。 

家族アルバム みてね

「1秒動画」の生成技術

 「1秒動画」は、「みてね」にアップロードされた写真や動画を1秒ずつ繋ぎ合わせた成長のダイジェスト動画を自動作成し、季節毎※1にお送りする機能のことです。子育てで忙しい日々を過ごしているママ・パパのもとにふと届く、お子さまの成長がギュッと詰まった動画は「子どもがさらに愛おしくなる」「子どもの成長に感動して毎回泣いてしまう」とご好評いただいています。
 「1秒動画」で使用する写真・動画の選定は、すべて機械学習に基づく独自のロジックで行なっています。選定は、以下のような三段階で行っています。

①ディープラーニングを活用して、写真・動画の人物検出・顔検出を行う
まずは機械学習の手法の一つである深層学習(ディープラーニング)を活用し、お子さまに特化した人物検出や顔検出を行います。
②各素材に対して、評価を行う
次に、各写真・動画に対し、人物検出や顔検出の結果と、公開範囲やお気に入り・コメントなどを加味して評価をつけます。
③全体のバランスを考慮して素材を選定し、1秒動画を構成する。
最後に、撮影日時のばらけ具合や動画・写真の比率など、個別の素材にとどまらない1秒動画全体としてのバランスや見栄えを考慮しつつ、評価の高い写真・動画を中心に選定し「1秒動画」を作成します。

これに類似した選定技術は、「みてね」関連製品である写真プリント、フォトブック、アニバーサリーブック、DVD、みてね年賀状の自動提案でも使用しています。

「人物ごとのアルバム」機能

 「人物ごとのアルバム」は、「みてね」にアップロードされた写真や動画をプログラムで判別し、お子さまごとに自動分類して表示する機能です※2。個人だけでなく、「子どもたち(きょうだいや姉妹)」や「家族みんな」といったまとまりで表示することもできます。
 この「人物ごとのアルバム」機能にも、人工知能(AI)が使われています。「みてね」にアップロードされた写真・動画から顔ごとの特徴ベクトルを取り出し(画像【1】)、これらを機械学習の手法の一つであるクラスタリングを用いてグループ分け(画像【2】)することで、さまざまなまとまりでの自動分類を実現しています。

「人物ごとのアルバム」機能

 なお、現状では顔のよく似たお子さま同士や双子の場合、全てを正しく見分けることが難しい場面もあり、引き続き精度向上に努めます。
 「みてね」では、今後もテクノロジーを活用しながら、お子さま・家族の大切な動画・写真を手軽に共有できるサービスを提供してまいります。

※1 通常は三ヶ月、「みてねプレミアム」の場合は追加で一ヶ月、一年の間隔で届きます
※2 「みてねプレミアム」の機能

ABOUT MIXI