Yahooが提供する商品検索APIの仕様が変わり、これまでのようにYahooショッピングの人気キーワードランキングのデータを取れなくなってしまいました。

無料提供されるAPIに仕様変更は付きものですが、そんなAPIに依存してサイトを思いつきで作ってしまうと結構ダメージが大きくなってしまいます。こちらの「ECキーワードランキング」がまさにそれで、APIで取得したキーワードのランキングデータを推移グラフにしているサイトなので、データが取得できなくなったことで、サイトのコンテンツが成り立たなくなってしまいました。

取れなくなったことをいくら嘆いても仕方ないので、別のAPIや解決を模索していたところ、スクレイピングで回避を思い付きましたので、そのあたりの経緯をご紹介したいと思います。




Yahoo APIの仕様変更

Yahooが提供するAPIのうち、商品検索関連のAPIの仕様が変更されたという話を先日ご紹介しました。詳細はこちらの記事にまとめてあります。

新しいYahoo商品検索APIにプログラムを対応

商品検索部分が直ってほっとしていたのですが、このショッピングAPIの仕様変更により、どうやら運営しているサイトの一つ「ECキーワードランキング」が、機能的に終わってしまったことに今さら気が付きました。

APIデータを元に構成したサイト

以前トレンドチェックツールを作ってみたとご紹介した「ECキーワードランキング」では、APIで取得したキーワードのランキングデータを元に、キーワードのトレンド情報をグラフ化して見えるようにしておりました。サイトの概要はこちらの記事でご確認ください。

キーワードのトレンドチェックツールを作ってみた

APIで取得できたキーワードランキング

Yahooが提供する商品検索APIのVersion1では、type=rankingといったパラメータを付けてAPIに投げてあげると、Yahooショッピングの人気検索キーワードを最大100件まで取得するといったことができておりました。Version1のマニュアルからはだいぶ前に削除されていた機能ですが、実は直近まで普通に動いてくれていました。

レスポンスデータでは、「マスク」「こども マスク 日本製」という商品系キーワードが、「700」「350」といったYahooショッピング内の検索スコア付きで取得することができていたので、これを日次で貯めることにより、chart.js用に成形するといったことが簡単にできておりました。

この豊富なキーワードデータが存在していたため、この「dtnキーワードツール」のようなサイトも簡単に作ることができました。

キーワードランキングデータ提供の終了

ところが、APIがVersion3に変わってからは、「query／string：UTF-8エンコードされた検索キーワード」を付けてAPIに投げてあげないと受け取ってもらえなくなってしまいました。

つまり、こちらから「マスク」といった単語を投げた結果の中で、おすすめ順の商品データを取ることはできますが、これまでのようなYahooショッピング全体の人気キーワードを一覧で取得するといったことはできなくなってしまったようです。

しかも、レスポンスデータも商品のランキングデータとなってしまったため、「不織布 マスク 50枚 3層構造 不織布マスク 使い捨て マスク 白 ウイルス 花粉 ハウスダスト 風邪 大掃除」といった売れ筋商品名しか取れなくなってしまい、キーワードのスコアでグラフ化をするといったことは、ほぼ不可能になってしまいました。

YahooAPIでキーワードランキングのデータが取得できなくなりグラフも壊れる
日次データも壊れ始めてしまいました

代わりとなるキーワードランキングデータ

サイト用のDBをみてみると、2020年8月6日まではデータ取得ができていたようですが、この日以降は0件となっておりました。この日が商品検索API Version1の終了日となったようです。

このAPIから受け取るデータでコンテンツが成り立っていたサイトですので、サイトを死なせないためには、何か他のAPIでキーワードランキングデータを探さないといけません。

が、探してもこれがなかなか存在していませんでした。

楽天にも「商品ランキングAPI」といったものは存在していましたが、こちらもYahoo同様に単品商品名のランキングを抽出するといったようですし、Google APIも、Google Ads APIでキーワードの検索スコアを取ることはできましたが、その元となる全キーワードのランキングというものは提供していないようですので、そろそろ詰んだ感がでてきました。

キーワードランキングを発見

何か良いデータ元がないのやら・・・・あちこちAPIのまとめサイトやWEBを眺めていたところ、見つかりました！

楽天サイトの中に、楽天の人気検索キーワードを一覧で表示しているページが存在しました。しかも、有難いことにキーワードをランキング形式で紹介までしてくれています。

楽天サイトにECキーワードの人気ランキングを発見
楽天に注目キーワード一覧が！しかもランキングで！

おわりに

RSSデータでもない単なるWEBページとなりますので、スクレイピングでHTMLからデータ取得をすることが必要そうですが、多少蜘蛛の糸が見えた気はしました。

引き続き、色々と考えてみたいと思います。

ABOUT dtn.jp

この運営ブログをみてdtn.jpの運営サイトに興味をお持ちになった方は下記のリンク集からサイトをご参照ください。PHP・SQL・JS・HTML・CSSや様々なAPIでゼロから立ち上げたサイトを複数運営しています。

dtn.jp関連サイト

  • ディレクトリ型検索エンジンdtn大手は全てサービスを終了してしまい、中小でも運営を継続するところがほとんど無くなったディレクトリ型検索エンジンを、2002年から細々運営しております。今も申請されたサイトは実際に管理人が訪問して確認後に登録しています。是非登録どうぞ。
  • 猫ネコサーチエンジン猫・ペットサイト専用のディレクトリ型検索エンジンです。登録サイトはサイトのスクリーンショット付きでカテゴリに掲載をいたします。
  • 画像掲示板の泉画像・YouTube・ニコニコ動画・Tiktokの貼り付けが可能な匿名画像掲示板です。27ジャンルに分かれた掲示板に、それぞれ100スレッドまで立てることが可能です。
  • ツイータンTwitter APIを使って10分おきに収集したTwitterトレンドワード・人気ハッシュタグデータを、月別に集計してランキング形式で公開しています。年間トレンドワードも公開中。
  • Keyword Tool++Yahooショッピングや楽天のトレンドワードデータを日次収集し、EC系の人気キーワードをラインキング形式でご紹介しています。各ワードの検索ボリュームや関連語、24か月の検索ボリュームをグラフで確認が可能です。
  • 消費者金融の泉カードローン商品を取り扱う金融業者を一覧で比較可能としたサイトです。カテゴリ別、人気度別、限度額別、金利別に比較可能です。
  • TrendinGファッションブランドを人気アイテムヒット率でランキング化し、一覧でご紹介しているサイトです。

各サイトの開発方法などについて

各サイトの開発方法や運用トラブルについては、当ブログで不定期にご紹介しています。Twitterで新着記事のお知らせもしています。宜しければフォロー下さい。