【インタビュー】FastLabelの単なるBPOではないコンサル型アノテーションの実施 レジレスカフェにおけるAI認識精度が20%向上！

―クラスメソッド清野様

クラスメソッドは、クラウドなどの新しい技術やサービスを日本企業に紹介したり、導入をサポートする事業をしています。また、自ら実験台として新しい技術を用いて様々な研究開発を行っております。今回アノテーションのご相談をしたのも研究開発として取り組んでいるコンピュータビジョンによる店舗内の行動推定を行うために大量のラベル付けが必要になったからです。

―クラスメソッド清野様

カフェや小売店では物を買ってそれをレジに持っていってレジで清算するという形が主流ですが、リソースの削減、店舗を自由に運営する上でも、無人の店舗またはレジがないバックヤードだけの店舗が期待されています。このような無人の店舗を運営するために、骨格推定を行って人物の検出をし、誰がどの商品をいつ取ったのかをカメラ上で検出し、自動でクラウド上で課金してその人はレジを待たずにそのまま商品をもって出て、自動的にスマホに課金されるというレジレスの店舗（ウォークスルーまたはタッチ＆ゴー）といったソリューションの開発を進めています。

―クラスメソッド清野様

機械学習を業務としてフローに取り入れることは難しく、現実に起きている課題（コンピュータビジョンで言うと人が認識されないや人の誤追跡といった課題）に対し、通常のプログラムのようにここを直せば直るということが言えません。AI開発をするために重要なこととして、モデルの精度を定量的に測ることが挙げられます。定量的なモデルの精度と現場での定性的な評価をなるべくすり合わせて、こういう画像をこれだけ追加して再学習すれば認識の不具合が改善するといった道筋を業務フローとしてどれだけ組み込めるかがAI開発全体の課題でした。実験店舗を運営するために重要なこととして、いかに早いサイクルでトライ＆エラーを繰り返すことができるかが挙げられます。早いサイクルを回す上で最もネックになるのが、質が良いデータを大量に迅速にどうやって用意するかという部分でした。我々は今まで内製でデータセットを作成していましたがどうしてもリソースに限りがあり、モデルの精度改善をする上で1万枚単位のデータをアノテーションするのに多くの時間がかかっていました。これがデータまわりの課題点となっております。

―クラスメソッド清野様

価格競争にはあまり興味がありませんでした。骨格を推定することを業務に組み込むという例が日本にないため、業務内容に合わせモデルをどういう風に改善したらいいのかを一緒にディスカッションしながら創りあげていくことができるベンダーなのか、という点が重要でした。細かいスパンで進捗や問題点を共有することで、話し合いながら一緒に進んでいくという御社の姿勢が魅力的でした。

―クラスメソッド清野様

骨格検知を行うためのpose estimationという姿勢推定モデルの課題として、服装によって人物の検出精度に差があるという課題がありました。人物が検出できないような服装のデータセットを大量に作り精度を改善するために、今回は1万枚の画像、1枚に対して約3人いるので約3万アノテーションを依頼しました。

―クラスメソッド清野様

大前提として予定していた枚数を納期通りクリアしていただきました。その他に追加で要望していた条件も全てクリアしていただき、大変満足しています。弊社のアノテーションの判定基準を満たすという条件や1週間ごとにできた物を分納してほしいという条件です。コミュニケーションに関しては定例でミーティングを開いていただいてフレンドリーな対応で安心感が増しました。

―クラスメソッド清野様

御社からアノテーションの際に物を掴む、離すといった「グラブ」というラベルを追加したらどうかというご提案をいただきました。それに加え、初期のサンプルの数百枚をご納品していただいた際になんで精度が上がらないかを一緒に考えてくださり、実際にアルゴリズムを共有し、コードを見ながら改善点のご提案をいただきました。

業務中は情報を外に公開することが難しくAIに精通している方とディスカッションする機会がなかなかありません。その中で御社はAIに精通しているスタッフが沢山おり、ディスカッションしながら課題を解決していくのが大変有意義で迅速な対応改善に寄与しました。結果として納期にきちんと間に合いました。

―クラスメソッド清野様

定量的なところで言うと当社比で約20％は改善しました。当初問題にしていたこういう服装の人物が検出しにくいという問題も現場でテストを重ねた結果、普通の服装と検出しづらい服装の両方が同じような精度で検出できるというところまで改善しました。結局業務で使う機械学習の精度は、いかに良いデータを多く用意できるかにつきると思っています。研究開発のフェーズではないので、いかに早くそういったデータを用意できるかが重要ですね。

―クラスメソッド清野様

御社との関係はアノテーション作業を発注する受注するという関係ではなく、業務課題をともに共有してそれを機械学習の観点からアプローチしてモデルの改善に必要なデータセットの作成とは何かをディスカッションの中から見つけられるような関係を期待しています。

―クラスメソッド清野様

今まで通り、人物の検出、姿勢推定、追跡の精度を高められるように改善を続けていきたいです。それに加えて、果物や野菜といった不揃いな形のものに対する物体認識、かごに物を出し入れするという高速なアクションをカメラで検知するということを実現したいです。実際のスーパー、コンビニで機械による判定ができたら社会が大きく変わるような場面にコンピュータビジョンや様々なサービス組み合わせたソリューションを一括で提供できるように実験と改善を続けていきたいと考えています。