Common Crawl · граф доменів

Хто посилається на ваш домен —
за мілісекунди, а не за годину

Web Radar будує локальний індекс над відкритим графом доменів Common Crawl (79 ГБ тексту, 121 мільйон доменів, 3,9 мільярда зв'язків). Після одноразової індексації кожен запит — вхідні посилання, вихідні посилання, PageRank і Harmonic — виконується миттєво й повністю офлайн.

Завантажуємо перелік збірок…

Одноразовий індекс

Три рівні: пошук доменів, рейтинги і зворотні посилання. Будуються окремо, видаляються окремо — платите місцем лише за те, що справді потрібно.

Нічого не йде назовні

Файли графа та результати лишаються на вашому диску. Жодних акаунтів, ключів і лімітів запитів — застосунок працює без інтернету.

CLI та GUI

Той самий рушій у застосунку й у консольній утиліті: web-radar query example.com для скриптів і CI.

Чесні відповіді

Якщо рівень індексу не побудований, застосунок каже про це, а не показує нуль. Застарілий індекс позначається, коли файли графа змінилися.

Як це працює

  1. Завантажте граф доменів з commoncrawl.org/web-graphs — три файли: vertices, edges, ranks.
  2. Вкажіть шляхи у застосунку та побудуйте індекс (одна кнопка).
  3. Питайте що завгодно — відповіді приходять із локального індексу.