Yahooが提供する商品検索APIの仕様が変わり、これまでのようにYahooショッピングの人気キーワードランキングのデータを取れなくなってしまいました。

無料提供されるAPIに仕様変更は付きものですが、そんなAPIに依存してサイトを思いつきで作ってしまうと結構ダメージが大きくなってしまいます。こちらの「ECキーワードランキング」がまさにそれで、APIで取得したキーワードのランキングデータを推移グラフにしているサイトなので、データが取得できなくなったことで、サイトのコンテンツが成り立たなくなってしまいました。

取れなくなったことをいくら嘆いても仕方ないので、別のAPIや解決を模索していたところ、スクレイピングで回避を思い付きましたので、そのあたりの経緯をご紹介したいと思います。

Yahoo APIの仕様変更

Yahooが提供するAPIのうち、商品検索関連のAPIの仕様が変更されたという話を先日ご紹介しました。詳細はこちらの記事にまとめてあります。

商品検索部分が直ってほっとしていたのですが、このショッピングAPIの仕様変更により、どうやら運営しているサイトの一つ「ECキーワードランキング」が、機能的に終わってしまったことに今さら気が付きました。

APIデータを元に構成したサイト

以前トレンドチェックツールを作ってみたとご紹介した「ECキーワードランキング」では、APIで取得したキーワードのランキングデータを元に、キーワードのトレンド情報をグラフ化して見えるようにしておりました。サイトの概要はこちらの記事でご確認ください。

APIで取得できたキーワードランキング

Yahooが提供する商品検索APIのVersion1では、type=rankingといったパラメータを付けてAPIに投げてあげると、Yahooショッピングの人気検索キーワードを最大100件まで取得するといったことができておりました。Version1のマニュアルからはだいぶ前に削除されていた機能ですが、実は直近まで普通に動いてくれていました。

レスポンスデータでは、「マスク」「こども マスク 日本製」という商品系キーワードが、「700」「350」といったYahooショッピング内の検索スコア付きで取得することができていたので、これを日次で貯めることにより、chart.js用に成形するといったことが簡単にできておりました。

この豊富なキーワードデータが存在していたため、この「dtnキーワードツール」のようなサイトも簡単に作ることができました。

キーワードランキングデータ提供の終了

ところが、APIがVersion3に変わってからは、「query/string:UTF-8エンコードされた検索キーワード」を付けてAPIに投げてあげないと受け取ってもらえなくなってしまいました。

つまり、こちらから「マスク」といった単語を投げた結果の中で、おすすめ順の商品データを取ることはできますが、これまでのようなYahooショッピング全体の人気キーワードを一覧で取得するといったことはできなくなってしまったようです。

しかも、レスポンスデータも商品のランキングデータとなってしまったため、「不織布 マスク 50枚 3層構造 不織布マスク 使い捨て マスク 白 ウイルス 花粉 ハウスダスト 風邪 大掃除」といった売れ筋商品名しか取れなくなってしまい、キーワードのスコアでグラフ化をするといったことは、ほぼ不可能になってしまいました。

YahooAPIでキーワードランキングのデータが取得できなくなりグラフも壊れる
日次データも壊れ始めてしまいました

代わりとなるキーワードランキングデータ

サイト用のDBをみてみると、2020年8月6日まではデータ取得ができていたようですが、この日以降は0件となっておりました。この日が商品検索API Version1の終了日となったようです。

このAPIから受け取るデータでコンテンツが成り立っていたサイトですので、サイトを死なせないためには、何か他のAPIでキーワードランキングデータを探さないといけません。

が、探してもこれがなかなか存在していませんでした。

楽天にも「商品ランキングAPI」といったものは存在していましたが、こちらもYahoo同様に単品商品名のランキングを抽出するといったようですし、Google APIも、Google Ads APIでキーワードの検索スコアを取ることはできましたが、その元となる全キーワードのランキングというものは提供していないようですので、そろそろ詰んだ感がでてきました。

キーワードランキングを発見

何か良いデータ元がないのやら・・・・あちこちAPIのまとめサイトやWEBを眺めていたところ、見つかりました!

楽天サイトの中に、楽天の人気検索キーワードを一覧で表示しているページが存在しました。しかも、有難いことにキーワードをランキング形式で紹介までしてくれています。

楽天サイトにECキーワードの人気ランキングを発見
楽天に注目キーワード一覧が!しかもランキングで!

おわりに

RSSデータでもない単なるWEBページとなりますので、スクレイピングでHTMLからデータ取得をすることが必要そうですが、多少蜘蛛の糸が見えた気はしました。

引き続き、色々と考えてみたいと思います。

ABOUT dtn.jp

この運営ブログをみてdtn.jpの運営サイトに興味をお持ちになった方は下記のリンク集からサイトをご参照ください。PHP・SQL・JS・HTML・CSSや様々なAPIでゼロから立ち上げたサイトを複数運営しています。

dtn.jp関連サイト

  • ディレクトリ型検索エンジンdtn大手サイトは全てサービスを終了し、中小でも運営を継続するところがほとんどなくなってしまったディレクトリ型検索エンジンを2002年から細々運営しており、未だに細かい機能改修も行っております。申請されたサイトは実際に訪問して細かく確認をしているので登録までかなりお時間いただきます。
  • 猫ネコサーチエンジン猫・ペットサイト専用のディレクトリ型検索エンジンです。登録サイトはサイトのスクリーンショット付きでカテゴリに掲載しています。
  • 画像掲示板の泉画像やYouTubeやニコニコ動画が貼り付け可能な匿名画像掲示板です。27ジャンルに分かれた掲示板に、それぞれ100スレッドまで立てることが可能です。
  • ツイータンTwitter APIを使って10分おきに収集したTwitter(ツイッター)のトレンドワードや人気ハッシュタグデータを月別に集計してランキング形式で公開しています。
  • Keyword Tool++Yahoo APIや楽天サイトのデータを日次で収集したデータを元に、EC系キーワードをラインキング形式でご紹介しています。各ワードは検索ボリュームや関連語、24か月の検索ボリュームトレンドを確認も可能です。
  • 消費者金融の泉カードローン商品を取り扱う金融業者を一覧で比較可能としたサイトです。カテゴリ別、人気度別、限度額別、金利別に比較可能なサイトにしています。
  • TrendinGファッションモールに出店するブランドをアイテムヒット率でランキングとしたサイトです。まだβ版です。

各サイトの開発方法などについて

各サイトの開発方法や運用トラブルについては、当ブログで不定期にご紹介しています。Twitterで新着記事のお知らせもしています。宜しければフォロー下さい。