ViSenze’s visual search tech on Rakuten Taiwan has promise, but can’t handle OOTD images
Text input search is passe. These days, it’s all about voice and image recognition, as seen in Apple and Google battle against one another.
While the two tech giants are duking it out in open warfare, a Singapore startup called ViSenze — a spin-off from an NUS research project — has entered the search arena via a backdoor. It has partnered with e-commerce players Rakuten and Clozette to deploy its technology enabling shoppers to upload an image and receive search results consisting of fashion items with matching clothing types, style, colour, and patterns.
Rakuten台湾でのViSenzeによるビジュアル検索は有望だが、OOTD画像は扱えないimages
文字入力の検索は過去のものだ。今や音声や画像認識の時代だ。これはApple、Googleその他の競争で目にするところである。
この大手テクノロジー二社が激しく競争している中、きぎょうViSenzeというシンガポールのスタートアップ(NUS 研究プロジェクトのスピンオフ)は、裏口から検索領域に侵入してきた。電子商取引事業者のRakuten およびClozette と提携して、その人によく合った服のタイプ、スタイル、色、模様のファッションアイテム付きの画像のアップロード、検索結果の確認ができるテクノロジーを採用する。
The Fashion Finder can be used on two sites: www.oshare.com.tw, a joint venture between Rakuten and Singapore fashion community Clozette, and www.rakuten.com.tw/event/funsearch.
According to ViSenze, the technology has many other applications. Cars and consumer electronics websites could find it useful, while advertisers can use it to match a search result page with a visually-resonant ad. For example, a user searching for shades could see an ad showing sunglasses of a similar make, model, and color.
ファッションファインダーは、２つのサイトにおいて使用されます。これは、http://www.oshare.com.tw/及び楽天とシンガポールのファッションコミュニティーであるクロゼットとの合弁会社であるhttp://www.rakuten.com.tw/event/funsearchです。
ViSenzeによると、テクノロジーには、この他にも多数のアプリケーションがあるそうです。車や消費者の電気製品のウェブサイトは、その便利性を察知するでしょうが、広告会社は、サイトの使用により、検索結果のページと視覚的に音を出す広告をマッチします。例えば、影を探知中のユーザーは、類似のメークアップ、モデル及び色彩のサングラスを表示した広告を閲覧できます。
I find the technology reminiscent of Google’s very own image search feature. Another startup that is knee-deep in the image recognition space is Graymatics, which is applying the technology to advertising and filtering.
Relevancy is the name of the game. Whether or not ViSenze will succeed depends on its ability to serve up useful search results.
Measuring user intent is a tricky business however, since some shoppers may know exactly what they want while others adopt a search-and-see-what-happens approach (I suspect women may tend towards the latter).
In any case, I decided to put the technology to the test.
そのテクノロジーがグーグル独特のイメージ検索の特徴を思い出させることが分かりました。イメージ認識のスペースにおいて深遠なもう１つの新たな製品は、グレイマチックスであり、これは、テクノロジーを広告及びフィルタリングに適用します。
その関連性は、ゲームの名称です。ViSenze の成功は、利便性の高い検索結果をもたらす機能に依拠します。
しかし、ユーザーの意図を測定することは、巧妙なビジネスです。その理由は、買い手の中には、欲しいものをはっきり分かっている人もいますが、中には、やって見ましょうと称する方法を採用する人がいるです（女性が後者を採用すると思います）。
いずれにせよ、テストにおいてテクノロジーを試してみることにしました。
The first thing I noticed is the lack of drag-and-drop functionality similar to what Google employs in image search and Gmail. At the moment, Fashion Finder only enables URL search and image upload, but these methods are cumbersome.
I then tested the search engine by using images from the Internet. Here are the results (search input has a red border):
最初に私が気づいたのは、Googleの画像検索やGmaiで採用されているのと同じドラッグアンドドロップ機能がないことである。現在、ファッションファインダーはURL検索と画像のアップロードのみ可能だが、 その方法はややこしい。
それからインターネットからの画像をもとに検索エンジンを試してみた。これはその結果である (検索入力に赤の縁取り):
Search #1: It’s an admittedly complicated photo, with the background and foreground in focus. But how else to test the prowess of ViSenze’s technology? Besides, users may want to upload Outfit of the Day (OOTD)-type photos, so the tech should ideally be competent enough to decode such pictures. Looking at the results, the algorithms were able to detect a bag in the photo, but the search results were rather inconsistent.
Search #2: To make things easier, I used an image with a blurred background that puts the subject into focus. But for some strange reason, the search engine gave me stripes and more stripes. Maybe it has something to do with the bands of shadows in the image I used?
検索#1：確かに背景から前景まで全体が写った複雑な写真だが、ViSenzeの技術を試すにはこれ以上のものがあるだろうか？そのうえ、今日のコーデ(OOTD)のような写真をアップロードしたいユーザーもいるだろうから、そのような写真を適切に認識できるだけの技術が必要になってくる。検索結果をみると、写真のバッグを認識しているので、アルゴリズムは正常に機能しているが、、検索結果はどちらかといえば、元の画像とは違っていた。
検索2：ハードルを下げる意味で、対象物がはっきりする、背景がぼけた写真を使ってみた。しかし、何故か検索エンジンの検索結果は、ストライプの縞模様の格好ばかりだった。使用した写真に写っている影の帯に原因があるのかもしれない。
Search #3: Since the background could be a distraction, I trield a close up. The search engine recognized the two-layer ensemble of vest and T-shirt, although the search results was a mish-mash of different styles. It didn’t even recommend a similar vest.
Search #4: Let’s pare down to something simpler. This time, the search engine is able to detect the color of the image and make some interesting recommendations. But what’s with the female clothing?
Search #5: I stripped out the fluff. Plain white background with a simple blouse. This time, Fashion Finder is less confused, nailing the colors but still presenting divergent styles.
検索#3：背景が雑然としていたので、寄った画像で試してみた。検索エンジンは、Tシャツにベストを重ね着した格好を認識することができたが、検索結果は違うスタイルの組合せになってしまった。検索結果には、似たようなベストさえもなかった。
検索#4：もっとシンプルな格好を試してみた。今回は画像の色合いを認識し、面白い検索結果が出た。ただ、なぜ女性の服が含まれていたのだろう？
検索#5：複雑なものは外し、白の背景にシンプルなブラウスで試してみた。今回Fashion Finderの混乱も少なく、色合いはちゃんと認識できていたが、検索結果にはまだ違ったスタイルのものが含まれていた。
Search #6: Hot pink handbag throws up more recommendations for hot pink handbags. This is a no-brainer.
Search #7: It did a good job of recognizing strips and the type of shirt. The female blouse in the top right was the only exception.
The limitations of the tech became apparent after a dozen searches. Complex OOTD photos featuring an ensemble faze the search engine. Instead, uncomplicated, high-contrast images focusing on single item types seem to work best.
検索#6：ショッキングピンクのハンドバッグの写真んで検索すると、ショッキングピンクのハンドバッグが沢山見つかった。これは、非常に簡単だった。
検索#7：このタイプの縞のシャツはうまく認識できていた。検索結果の右上の女性用のシャツ以外は一致していた。
多くの検索を行った結果、同社の技術的な弱点は理解できた。同検索エンジンは、OOTD画像のように一体感のある組合せの複雑なものは苦手としているが、その代り、シンプルでコントラストが強く一点に的を絞った画像には、向いているようだ。
For now, the search engine is unable to account for a range of user behavior. Perhaps having toggles that allow for ‘discovery’ searches versus ‘specific’ searches might help. Having the ability to prioritize or filter results by color, texture, make, and even gender might be useful too.
Anyway, with further user feedback in the coming days, we should see the technology improve. For all we know, users might not really care about relevancy at all.
But in the meantime, Rakuten or VizSense might want to consider creating a guide to teach shoppers how to circumvent the tech’s limitations.
今のところこの検索エンジンはユーザー行動に関しては把握することができていな。
おそらく「発見するための」検索と「具体的な」検索を切り替える機能をつけるといいのかもしれな。また、色、テクスチャー、メーカー、さらには性別などで優先順位をつけたりフィルターをかけたりする機能も役に立つだろう。
とにかく、ユーザーから寄せられるフィードバックにより技術は改善されることになるだろう。ことによるとユーザーは関連性などはまったく気にしないかもしれないが。
しかし当面の対策として、Rakuten あるいVizSenseは、この技術の限界を回避するためのユーザーガイドを作ることを考えた方がいいだろう。
