@dvim@mastodon.social @dago@river.group.lt @kroitus@river.group.lt galimai CommonCrawl'as nepasiekia :) geriausiu atveju, trečdalį domenų apima ir failų crawl'as gal kiek oportunistinis ir randomizuoras. EDIT: ai, application+xml nefiltravau net. Giliau painspectinti reikės :)