株式会社MIXI

SUSTAINABILITY

「家族アルバム みてね」の技術

 「家族アルバム みてね」は、子どもの写真・動画を家族と簡単に共有できるサービスです。日々たくさんの写真や動画がアップロードされる「みてね」では、プライバシーを保ちながら、ご家族がより便利に思い出を振り返ったり、形に残すことができるよう、人工知能(AI)のデータ分析技術のひとつである機械学習を用いたサービス提供を行っています。 

 特に、お子さまのより良い写真を選定する技術の開発に力を入れており、「みてね」の人気機能である「1秒動画」の生成のほか、「みてね」関連製品である写真プリント、フォトブック、みてね年賀状、フォトギフト、DVD等の自動提案でも使用しています。

※一部サービスは日本のみで提供

家族アルバム みてね

「1秒動画」の生成技術

 「1秒動画」は、「みてね」にアップロードされた写真や動画を1秒ずつ繋ぎ合わせた成長のダイジェスト動画を自動作成し、季節毎※1にお送りする機能のことです。子育てで忙しい日々を過ごしているママ・パパのもとにふと届く、お子さまの成長がギュッと詰まった動画は「子どもがさらに愛おしくなる」「子どもの成長に感動して毎回泣いてしまう」とご好評いただいています。
 「1秒動画」で使用する写真・動画の選定は、すべて機械学習に基づく独自のロジックで、以下の三段階で行っています。

①ディープラーニングを活用して、写真・動画の人物検出・顔検出を行う
まずは機械学習の手法の一つである深層学習(ディープラーニング)を活用し、お子さまに特化した人物検出や顔検出を行います。
②各素材に対して、評価を行う
次に、各写真・動画に対し、人物検出や顔検出の結果と、公開範囲やお気に入り・コメントなどを加味して評価をつけます。
③全体のバランスを考慮して素材を選定し、1秒動画を構成する。
最後に、撮影日時のばらけ具合や動画・写真の比率など、個別の素材にとどまらない1秒動画全体としてのバランスや見栄えを考慮しつつ、評価の高い写真・動画を中心に選定し「1秒動画」を作成します。
※1 通常は三ヶ月、「プレミアム/プレミアムProプラン」の場合は追加で一ヶ月ごと、また一年ごとの間隔で届きます

ステッカーにおける顔抽出技術

 お子さまの写真を活用し、ワンクリックでリアクションできるステッカー機能では、アップロードされた写真の中からAIでお子さまのベストショットを検出し、ステッカーに適した顔を選定するためのフィルタリングおよびスコアリングを行っています。この選定は、以下のような手順で行っています。

①アップロードされた写真から、類似した写真をフィルタリングして除外
②写真の顔を検出し、姿勢や年齢を推定して、横顔・俯き顔や見切れた顔、大人の顔をフィルタリングして除外
③残った顔に対し、ベストショット検出をはじめとしたさまざまな要素を加味してスコアリング
④スコアリングの結果、スコア上位の顔をステッカーに採用

 なお、このような写真・顔の選定技術と類似の処理は、写真プリントやフォトブックなど他の商品における自動提案機能にも盛り込まれています。

「人物ごとのアルバム」機能

 「人物ごとのアルバム」は、「みてね」にアップロードされた写真や動画をプログラムで判別し、お子さまごとに自動分類して表示する機能です※2。個人だけでなく、「子どもたち(きょうだいや姉妹)」や「家族みんな」といったまとまりで表示することもできます。
 この「人物ごとのアルバム」機能にも、人工知能(AI)が使われています。「みてね」にアップロードされた写真・動画から顔ごとの特徴ベクトルを取り出し(画像【1】)、これらを機械学習の手法の一つであるクラスタリングを用いてグループ分け(画像【2】)することで、さまざまなまとまりでの自動分類を実現しています。
※2 「みてねプレミアム/プレミアムPro」の機能

「人物ごとのアルバム」機能

 なお、現状では顔のよく似たお子さま同士や双子の場合、全てを正しく見分けることが難しい場面もあり、引き続き精度向上に努めます。
 「みてね」では、今後もテクノロジーを活用しながら、お子さま・家族の大切な動画・写真を手軽に共有できるサービスを提供してまいります。

ABOUT MIXI