Yahoo!ニュースの編集者とエンジニアとデザイナーは何を考えているのか？（その2／ABテストの活用法）
Yahoo!ニュースが9月17日に開催した公開ディスカッションのイベント「real news "tech" HACK with エンジニアtype」。第1部では、エンジニアtypeの伊藤健吾編集長の司会のもと、Yahoo!ニュースの編集者（苅田伸宏さん）とエンジニア（庄司和正さん）が、巨大ニュースサイトの運営における「編集とテクノロジーの関係」を語った。
その前半では、スマホの普及とともに重要性が高まっている「プッシュ通知」について、Yahoo!ニュースの現状と課題が話された。レポート記事はこちら。
後半では、編集とテクノロジーが連携しながら問題解決にあたっている代表例として「A/Bテスト」があげられ、「人間にしかできないことをテクノロジーで加速する」というYahoo!ニュースの考え方が語られた。この記事では、その議論の概要を紹介する。
■Yahoo!ニュースを裏で支える「A/Bテスト」
A/Bテストとは、ウェブサイトの文章やデザインについて、複数のパターンを用意してユーザーに示し、その反応を計測して、サイトの改善に役立てる手法のこと。たとえば、ニュース記事の見出しとして、AとBの2種類をユーザーに提示し、どちらのクリック率が高いかを計測して、最適な見出しを選定したりする。
このA/BテストはYahoo!ニュースでも実施されていて、その具体的な考え方は、スタッフブログで紹介されている。
公開ディスカッションで、Yahoo!ニュース編集部の苅田さんは「A/Bテストの意義」について次のように説明した。
「Yahoo!トピックスは、いろんなニュースをすべて13文字の見出しで表現している。その見出しを出したときに、どれくらいクリックされているのか。その数字をリアルタイムに追える環境を、エンジニアのみなさんが整えてくれた。従来は、あるニュースに関する見出しは一つしか出さず、重大なミスなどがないかぎり、基本的に変更しなかったが、A/Bテストのツールができてから、同時に3本まで見出しを走らせることができるようになった」
Yahoo!ニュースのA/Bテストのツールは、社内の開発チームが作った「完全オリジナル」だという。日本最大のニュースサイトへの莫大なアクセスをさばきながら、同時に3本の見出しを表示させ、計測データによる効果分析が短時間にできるように工夫されている。
開発チームの庄司さんによると、「データサイエンスの人たちにも協力ももらっている」とのことだが、Yahoo! Japanという日本を代表するウェブサイトを支えるエンジニアチームの高度な技術力が、ツールの開発と運用に生かされている。
この日のディスカッションでは、A/Bテストの実施例として、米メジャーリーグのダルビッシュ投手のニュースに対する「Yahoo!トピックスの見出し」の計測データが紹介された。
対象のニュースは、今年3月のオープン戦に登板したダルビッシュ投手が試合中に右腕の張りを訴え、途中降板したというもの。それに対して、Yahoo!ニュースの編集部が併行してつけた見出しは、次の3つだったという。
この見出しに対する「クリック率」を比較したのが上のグラフで、見出しごとの差は歴然としていた。「ダル腕に張り わずか12球降板」という見出しよりも「ダルビッシュ わずか12球降板」という見出しのほうが、圧倒的にクリック率がよかったのだ。
しかし、もっとも多くクリックされた見出しを、機械的にそのまま採用すればいいかといえば、そんなに単純なものではないという。機械が計測したデータを参考にしつつ、ニュース編集部のスタッフがさまざまな要素を考慮して、どんな見出しにすべきかを最終的に判断するのだ。
■「A/Bテスト」だけで見出しを決めない理由
この点について、エンジニア向けのメディアを運営する伊藤さんは、次のように質問した。
「最近バズフィード（米国発の新興ニュースメディア）とかはタイトルを15個ぐらい作って、最適化したものを出すというのを、アルゴリズムでやっていると聞く。そういうこともテクノロジー的には可能だと思うが、Yahoo!ニュースの場合、最終的にどれを出すかを編集部が決めている。それは、なぜなのか」
その理由について、編集者の視点から、苅田さんはこう回答した。
「みなさんがいくらクリックしてくれても、その見出しが『釣り見出し』である可能性がある。あるいは、誤解を招くような要素が入っているからたまたま押されているということもありうる。そういう要素を排除するために、最終的には人が判断するということで、いまはやっている」
つまり、明らかにクリック率が高い見出しがあっても、ミスリードにつながる恐れがあれば、採用されない可能性があるというわけだ。そのあたりの考え方について、苅田さんは次のように言葉を続ける。
「ダルビッシュは、スポーツ新聞ではよく『ダル』と省略する。Yahoo!トピックスの見出しは13文字しかないので、短くできるというのは、編集者として見出しを考えるときにありがたい。ほかの要素をたくさん入れることができるので、非常に使いたくなるが、それで伝わっているんだろうかという議論がもともとあった」
A/Bテストをやってみた結果、「ダル腕に張り わずか12球降板」という見出しよりも「ダルビッシュ わずか12球降板」のほうがクリック率が高かったというデータは、ニュース編集部内のかねてからの疑問があたっていたことを示しているといえそうだ。
だが、A/Bテストの結果だけで「ダル」より「ダルビッシュ」のほうが伝わっていると結論づけるのは早計だと、苅田さんは指摘する。「どの見出しが一番押されるのかというだけでなく、読まれたかどうかを分析して、今後に生かすということにも、このエビデンスツールがすごくきいている。我々の同僚が細かく分析して、その知見をみんなに知らせるということをやっている」
テクノロジーを活用しつつも、その結果を妄信するのではなく、最終的には「人間の判断力」を重視するというのは、「編集×テクノロジー」をモットーにかかげるYahoo!ニュース編集部らしい姿勢だといえるだろう。
なお、ここで紹介されたYahoo!ニュース編集部内の「ダルビッシュ論争」については、スタッフブログでも触れられている。
■「Yahoo!ニュースは、テクノロジー1本でやっていく気はない」
では、エンジニアはどう考えているのか。伊藤さんは、開発チームの庄司さんにたずねた。「エンジニアには、テクノロジーでやれることはやろうという『テクノロジー至上主義』のような部分もあると思うが、編集者とエンジニアはどのように議論しているのか」と。
庄司さんの答えは、明快だった。
「Yahoo!ニュースのポリシーとして、テクノロジー1本でやっていく気はない」
なぜか。
「テクノロジーを捨てているわけではなく、最新技術もどんどん取り入れているが、機械は100％保証できない。トピックスの見出しを機械で作って、そのまま出してしまうとしたら、万が一、人命にかかわる誤報があったり、人権侵害があったりした場合に、対応できない」
Yahoo!トピックスについては、どんな見出しをつけるかという点だけでなく、どの記事をトップに掲載するかという判断も、機械ではなく人間が行っている。そこは、最近注目を集めているSmartNewsやGunosyといったスマホ向けのニュースアプリと大きく違う特徴だ。庄司さんが続ける。
「実は、A/Bテストの話も、CTR（クリック率）が高い、一番読まれた見出しに差し替えることは、技術的にはできるが、そこまで振り切らない。見出しが釣りっぽくなっていないかというジャッジは、まだ機械では難しいところなので、編集部にお願いしている」
そう口にしつつ、庄司さんは「だからと言って、ずっと編集部におんぶにだっこというわけでもない」と話す。たとえば、テクノロジーの活用法として、Yahoo!ニュースのユーザーの行動を解析するとともに、媒体社から配信されてくる記事の内容を分析して、それを組み合わせることがあげられるという。
また、これまで職人技と考えられてきた、ニュース編集者の「頭の中」のナレッジを解析して、編集者のジャッジに生かしたり、ニュース配信のパーソナライズ化に活用したりできないか、ということを考えている。
エンジニアの視点でみれば、Yahoo!ニュースは編集者寄りのサイトといえるだろうが、編集者サイドからみると、Yahoo!ニュースはテクノロジーに裏打ちされたメディアだ。特に、既存メディアの毎日新聞で12年間にわたって記者を経験したあと、2年前にヤフーに転職した苅田さんは、その思いが強い。
「データを見て効果測定できるのが、ネットの一番の特徴だと思う。それをリアルタイムに見ることができるのが、ニュースを伝えるときにはすごく大事なのだということを、Yahoo!ニュースで働いてみて痛感している。いまの報道に、エンジニアの存在は不可欠ではないかと思っている」
ニュース配信に最新のテクノロジーを生かしていくためには、編集者とエンジニアの密度の濃いコミュニケーションが不可欠だ。Yahoo!ニュースでは、編集部と開発部の間でさまざまなミーティングがあり、活発なコミュニケーションが行われているという。
「A/Bテストやプッシュ通知のツールのほかにも、トピックスの見出しがどれだけ読まれているかをリアルタイムで集計するツールなどがある。しかも、ツールを作ったら終わりではなく、毎日その改善がされていく。ツールをもっと進化させていくために、編集者とエンジニアのコミュニケーションは、絶やしてはいけないと思っている」（苅田さん）
■ネットニュースの「老舗」としての責任
ネットニュースの世界は、既存メディアの側から見るか、新興メディアの側から見るかで、風景が全然違ってくる。新聞やテレビから見れば「新勢力」といえるYahoo!ニュースだが、その歴史はすでに20年近くになろうとしており、ネット業界では「老舗」と呼ぶべき存在だ。
その点について、庄司さんは「Yahoo!ニュースはレガシーなイメージをもたれていると思う」と口にしながら、Yahoo!ニュースも技術的な部分で「攻めようとしている」と説明する。「新しいことをやろうとすると、既存のレガシーなシステムが邪魔をすることがありがちだが、短いサイクルでプロトタイプを作って、良かったものを採用していくことは、常にやっている」
庄司さんによると「昔に比べて、プロトタイプを作る速度がすごく上がっている」という。「1、2カ月のスパンで、プロトタイプを作って外部テストをしてみるということをやっている」
Yahoo!ニュースの編集者の側も、テクノロジーの活用による業務の効率化にはおおいに期待しているようだ。苅田さんがこう述べる。
「Yahoo!ニュースは、約300のメディアから1日3、4000本のニュースをもらっているが、そこから重要なニュースをピックアップするツールも効率化して、見つけやすいようになっている。効率化できる部分はどんどん効率化して、それによって捻出したリソースを別の部分に投入すればいい。そのうえで、公共性を意識した大事なニュースをきちんと選びだす目など、人ならではの強みをきちんと生かしていきたいと思っている」
Yahoo!ニュースの大きなテーマである「公共性」。その点に関連して、ディスカッションの最後に、司会の伊藤さんから「公共的なニュースメディアとして、ヤフコメなどを含め、どういうスタンスをとっているのか」という質問が出た。
Yahoo!ニュースの記事下にあるユーザーのコメント欄、いわゆる「ヤフコメ」については、その内容がひどいという批判がかねてから強かった。それを受けて、Yahoo!ニュースは9月初め、ヤフコメに対する姿勢を、スタッフブログで明らかにした。
その表明も踏まえながら、庄司さんは、ヤフコメの表示について次のように説明した。
「機械学習を入れることで、人種差別や罵詈雑言を検知して削除することが、技術的にはできる。しかし、削除はしない。Yahoo!ニュースという社会的にインパクトのあるところが言論統制をしていると受け取られるリスクがある」
この点については、Yahoo!ニュースのスタッフブログでも、次のように説明されている。
明らかに不快とみなされるコメントや犯罪を助長するコメントなどについては、これまでも運営側として削除やアカウント停止などの対応を取らせていただいておりましたが、一方で、はっきりと黒・白と線引きすることが難しいコメントについて、それらを全て削除対応とすることは、インターネット空間における「表現の自由」「思想信条の自由」を過度に制限することもつながります。
では、人によって評価の分かれる「グレーゾーン」について、どう対処しているのか。
「やっているのは、一般のユーザーの目が届きにくいところにいてもらうということ。コメントの順番が変わったりして、ファーストビューではなかなか出ないようになっている。まだまだチューニングしないといけないところがあるが、昔にくらべると、すごく良くなっている」（庄司さん）
「それは、編集サイドと開発サイドのどちらからの発案なのか？」。伊藤さんがそうたずねると、庄司さんは「Yahoo!ニュースに限らず、ヤフーにいる人はみんな思っていたと思う」と答えた。さらに社内だけでなく、ユーザーからもヤフコメの改善要望は強かったという。
「技術が進んで、人力だけでなく機械が補助することで、（罵詈雑言を）見えにくくすることができるようになった」と、庄司さんはテクノロジーの役割を説明した。
ただ、筆者のように、Yahoo!ニュースに記事を配信している外部の「ニュースメディア運営者」の立場からすると、ヤフコメは、ひどい内容のものがまだまだ多いというのが、偽らざる実感だ。
だが、ひどい内容のコメントは表示順位を一気に後ろにするなどの技術的対応で、以前に比べれば、コメント空間が改善されたのも確かだ。表現の自由の観点から、ユーザーコメントの扱いには慎重を期すべきというYahoo!ニュースの姿勢も理解できる。今後も、テクノロジーを活用することで、さらなる改善が進められることを期待したい。
ニュースサイトにおける「編集とテクノロジーの関係」をテーマにした第1部のディスカッションは、ここまで。
続く第2部では、「ニュースのUI／UX大激論 ～アクセシビリティ〜」と題して、主にデザインの視点から議論が交わされた。Yahoo!ニュースのスタッフだけでなく、UIデザイナーの深津貴之さんと日経新聞電子版の重森泰平さんもまじえて、活発なディスカッションが展開された。その内容は次回に。
