Fab.com Uses A/B Test to Improve
Customer Shopping Experience
TEST LED TO 49% MORE CUSTOMERS ADDING PRODUCTS TO THEIR CARTS
Fab is an online hub for design enthusiasts to both sell and buy apparel, home
goods, accessories, collectibles, and more. The e-commerce site has a seriously
fun mission: to deliver smiles worldwide. To ensure that customers are completely
happy with their experience — from the moment they arrive to Fab to the moment
their purchase is delivered — Fab puts great focus on top-notch design.
CHALLENGE: Increase Shopping Cart Conversion
Fab.comは顧客の買い物動向を良くするためにA/Bテストを利用する。
テストはカートの中に商品を追加する49％以上の顧客を対象にする。
Fabはデザインに熱中している人にとって、衣料品、日用品、アクセサリー、収集品などを売買する為のオンラインハブだ。
その電子商取引は重要なファンミッションだ。それは世界に笑顔を届ける。
顧客がこの経験で非常に喜ぶのは確実だ。この経験というのは、Fabにたどり着いた瞬間から購入した物が手元に届く瞬間のことだ。Fabは一流のデザインに非常に注目している。
課題：ショッピングカートの改造を進めること。
Shane Lapsys, a senior product managerat Fab, knows making customers smile
extends beyond great products and a slickwebsite: “As an online retailer, optimizing
our customers’ experience on our site is absolutely key to executing our business
objectives. Our goal is to operate a data driven product and UX strategy where
customer usage and conversion statistics form a cornerstone of our development
process.” Shane and his team strive to offer site visitors a hassle-free shopping experience at every step along the customer funnel. Using Optimizely, Shane decided to
perform a test to gain insight on improving the usability and efficiency of Fab’s online
catalog.
Fabの上級製品開発管理者であるShane Lapsysは顧客を笑顔にすることが卓越した製品で洗練されたウェブサイトをさらに拡張することを知っています。
「オンライン販売店と同様に、顧客が我々のサイトで経験の最適化を行う事が我々のビジネスの目的達成への絶対的な鍵となるのです。我々の目的はデータ駆動型の製品かつ、顧客の習慣と開発過程の基礎の統計フォームの様式を変更するUX戦略を操作することです。」Shaneと彼のチームは全ての購入手続きで、サイト来訪者の手を煩わすことのないショッピング経験を提供しようと努力しています。
Optimizelyを使って、ShaneはユーザビリティとFabのオンラインカタログの効率を改善するための見識を深めるためにテストを実行することを決めました。
The big question: Do customers better understand a simple and straightforward
“Add to Cart” call-to-action or a stylized cart icon?
HYPOTHESIS: Many customers add products to their cart straight from the catalog
pages, which feature a grid of products by category. To match its slick, no-clutter
catalog page design, customers saw a small, stylized +cart icon when they rolled
over a product on the catalog. They could click it to add something to their cart.
Shane hypothesized that a larger button with a more direct “Add to Cart” call-toaction
would be more straightforward and lead to more conversions.
大きな問題：顧客は、簡単で直接的な「カートに追加」実施ボタンや定型化されたカートアイコンをより良くわかるか。
仮説：多くの顧客が、カテゴリー別の商品格子のカタログページから直接カートに商品を追加する。乱雑なカタログページのデザインではなく高級雑誌に合うように、顧客はカタログの製品を巡る時小さな定型的なカートアイコンを見た。彼らのカートに何かを追加する為に、彼らはそれをクリックすることが出来た。
シェーンは、より大きくより直接的な「カートに追加」実施ボタンがよりストレートで、より多くの転換に導いたと仮定した。
THE TEST: Using Optimizely’s targeting feature, Shane built a test targeting specific
urls that corresponded with Fab’s product list pages. The test appeared only to site
visitors on pages with two url structures: HTTP://FAB.COM/BROWSE/ and HTTP://FAB.
COM/DESIGNER.
“We knew that something like 15-20 percent of our “Add to Cart” events were coming
from these pages, so we wanted to look at optimizing the button performance there,”
explains Shane.
As an online retailer, optimizing our customers’ experience on our site is absolutely key to executing our business objectives.
試験：オプティマイザリーのターゲット特性を使用して、シェーンはFabの製品ページに繋がる特定のURLを試験ターゲットとした。
その試験は二つのURL、HTTP://FAB.COM/BROWSE/ 及び HTTP://FAB.COM/DESIGNERのページのサイト訪問者にのみ出現した。
「我々は、「カートに追加」のイベントの１５～２０％程度がこれらのページから来るのを知っていて、その為そこでのボタン性能を適正化を見たかった」とシェーンは説明した。
オンラインの一小売業者として、我々のサイトの顧客の経験を適切化することは、我々のビジネス目標を遂行するのに要のキーと
なる。
Visitors to these pages were bucketed into one of three variations. One-third saw the
original call-to-action button, one-third saw a variation with a larger button and clear
call-to-action text, and one-third saw a third variation that combined aspects of both.
“Running an A/B test to divert a portion of our traffic through each of these variations
at the same time allowed us to find the best solution in an unbiased way,” explains Shane.
As well as tracking customer engagement, Shane set up a custom goal using
Optimizely that would track clicks on the “Add to Cart” button itself, which was the
key metric for this test.
これらのページへの訪問者は3つのいずれかの変化に流されました。3分の1はオリジナルのアクション呼び出しボタンを見て、もう3分の1は大きいボタンと透明なアクション呼び出しテキストを見て、さらに3分の1は両方を組み合わせた3つ目の変化を見ました。
3ついずれの変化
「A/Bテストは通行中にある3つの変化の一部分を変え、同時に公平で最良の解決法を見つけさせるために行います」とShaneの説明をします。
顧客の契約を追跡するのと同様に、Shaneは「カートに追加」ボタンのクリックを追跡するOptimizelyを使ってカスタムしたゴールを設定します。これが計測の鍵となります。
RESULTS: The test had a major impact on “Add to Cart” clicks on Fab. Variation 2
increased conversions by 15% compared to the original and Variation 1, the larger
button with the clear call-to-action text, increased “Add to Cart” clicks by a staggering 49%. To reap the benefits from this insight immediately, Shane used Optimizely’s traffic allocation feature to push 100% of site traffic to the winning variation while Fab’s development team built the change directly into the site’s code. Shane is now closely monitoring changes in “Add to Cart” actions and conversions to develop follow-up tests
that will continue to improve the customer experience.
結果：この試験は、Fab.の「カートへ追加」クリックに大きなインパクトを与えた。バリエーション２は、オリジナル版に比べて転換が１５％増加し、大きなボタンでクリアーな実行文字を加えたバァリエーション１は「カートへ追加」のクリックを圧倒的となる４９％増加させた。この実態から直ちに利益を得る為、シェーンはオプテマイゼリーの通信配分特性を用いてサイトの通信を１００％押し上げ勝利のバリエーションとなり、一方でFabの開発チームはサイトのコードへの直接的な変化を構築した。
シェーンは今、顧客の経験を改善する事を継続することになるであろうフォローアップテストを開発する為「カートへ追加」の実行や転換の変化を綿密にモニターしている。
TEST: A/B test of “Add to Cart” call-to-action button, including
one that was icon-focused and
two that were text-focused.
RESULTS: 49% increase in performance
The original displayed a call-to-action
button with sleek cart icon and no text.
For variation 1, Shane increased the size of the
button and made the call-to-action messaging
more clear.
For variation 2, Shane experimented with a
button that combined aspects of the original
and variation 1.
試験：「カートに追加」実施ボタンのA／B試験、①アイコン用②テキスト用を含む
結果：性能で４９％の向上
光沢アイコンで文字のないオリジナルの実施ボタン
バリエーション１、シェーンは実施ボタンのサイズを大きくして実施ボタンのメッセージをより明確にした。
バリエーション２、シェーンはオリジナルとバリエーション１の特徴を合わせたボタンで実験した。
STRIKE A BALANCE BETWEEN DESIGN AND USABILITY. The +cart icon was clean and
fit nicely into the design of the page. But it did not match the “Add to Cart” buttons
elsewhere on the site, plus it was so small, it could have easily been missed. “It’s likely
many customers were not even aware they could add an item to their cart from the
catalog,” says Shane. Testing proved that a button overlaid with “Add to Cart” text was
more direct and enticed more customers to click.
デザインと利便性のバランスを突く。
その＋カートアイコンはページのデザインにきれいにそしてほどよく合った。しかし、他のサイトの「カートに追加」ボタンにはマッチしなかった。その上、それは小さく容易に見逃されがちだった。シェーンは言う、「それは多くの顧客がカタログからカートに商品を追加できることに気づくこともなかった可能性がある」。その試験は、「カートに追加」の文字と合わせたボタンはより直接的で、より多くの顧客がクリックするように導いたことを証明した。
l DATA DRIVEN DEVELOPMENT CAN LEAD TO IMPRESSIVE PERFORMANCE LIFTS. Shane
had hypothesized that the larger button with a more direct call-to-action would
provide a lift in performance, but had no data to back up his theory. A/B testing his
hypothesis allowed Shane to gather real data about customer behavior. He were then
able to quickly deploy a change that improved performance across the site.
I データに基づいた開発は素晴らしい性能の向上に通じうる。
シェーンは、より大きくてより直接的な実施ボタンは性能の向上になると仮定したが、彼の説をバックアップするデータはなかった。
彼の仮説のA／Bテストは、シェーンが顧客の行動の実データを収集することを可能にした。その後で、彼は改良された性能による変化を現場で急速に展開することができるだろう。
