はてなブログの言及記事を取得しようとした

たぶんこちらの記事が発端で，いろんな人たちがそれぞれプログラミングでつまづいたところなどの記事を書いています．

あと，はてなブログで言及している一覧が表示されなくなったという記事がありました．

せっかくなので，なんとかして言及している記事を自動で取得できないかとやってみました．しかし結論を言うと，あまりうまくいきませんでした．

手段

意外なことに，はてなブログ全体の検索機能は(株)はてなは実装していないようで，Googleカスタム検索しかないようです．

これで言及されたブログのタイトルやURLを検索してみても，うまくヒットしませんでした．（そのまま検索すると関係ないページがたくさん出てくる．引用符でくくるとヒットしない）一般的に被リンクの検索はGoogleではできないので，専用のサービスを使うなどしないと難しそうです．

仕方ないので，記事へのはてなブックマークを辿ってクロールしてみることにしました．

はてなブックマークなどのページの通信を見てみると，ブックマークはJSONで別途やりとしていたり，割とデータを独立して通信させてプログラムから扱いやすい感じになっているところが多くありました．

あと，はてなブログにはRSSリーダが自動で実装されているので，それを使いました．

2つ実装しました．

その1は「元記事をブックマークしたユーザは，それに関連する記事を書いているかもしれない」，その2は「記事を言及されると記事の作者に通知が行くので，言及している記事をブックマークするかもしれない」という考えに基づきます．

ここのリポジトリにコードを置きました（URLをはてな運営のブログにしていますが，本当は通常のはてなブログユーザの記事のURLを指定して使います）: GitHub - kamocyc/hatenablog-backlink-crawler: はてなブログの言及記事を取得しようとしたもの

nodejs (typescript) で作っています．

で，最初に載せたプログラミングでつまづいたところの記事を言及している記事を取得しようとしたところ，見つかったのは以下の2つだけでした．

一方，Google検索とかtogetterのまとめでは，もっと多くの記事が出てきました．

あまり取得できなかった原因の一つとしては，

ということがあります．

ほかに考えられるクロールの方法を書いておきます．

ちょっとtwitter APIのアカウントを作って触ってみたり，手動で検索してみたりしましたが，難しそうです．

単純に必ずしも元記事をツイートして，かつ言及記事を書いて，それをツイートしているなら検索は比較的楽だと思ったのですが，そういうわけでもないです．

単に他の人がリツイートしたのを見て記事を書くというパターンも十分有りますが，フォロワーやリツイート先のフォロワーを全部検索して，というのはけっこうな数になって無料枠内だと厳しそうです．（はてなをいじるのに疲れてあまり試していません．）

これは1つの方法として有望だと思います．実際，手で検索してみると，新たに1件記事がヒットしました．

ただ，グローバルで検索するとまとめサイトみたいなものが多数ヒットして，精度が微妙な感じになりそうです．また，ドメインを絞って検索すると先ほど載せた2つの記事はヒットしまかったので，漏れもそれなりにありそうです．

やはり今は共有はTwitterで行うのが主流ということなのでしょうか．

一覧が見れないという不便さを感じてプログラムを書いてみましたが，簡単なプログラムではなかなか解決は難しそうです．