Box clustering segmentation: A new method for vision-based web page preprocessing

Článek prezentuje nový přístup k segmentaci webových stránek. Na rozdíl od běžně dostupných současných metod, které pracují nad stromovým modelem stránky a produkují opět stromovou strukturu na výstupu, popisovaná metoda je založena na shlukování atomických částí obsahu a vytváří plochý segmentační model. Experimentální výsledky ukazují, že metoda je téměř o 90 % rychlejší, než srovnatelné existující přístupy.

Segmentace webových stránek je jedním z nezbytných přípravných kroků při automatizovaném zpracování obsahu webových dokumentů. Jejím cílem je identifikace základních vizuálních bloků ve stránce, jejichž obsah může být dále samostatně analyzován (např. záhlaví, hlavní obsah, reklama, apod.) Současné přístupy jsou založeny buď na analýze programového kódu stránky, která však dává pouze přibližné výsledky, nebo na analýze vizuální podoby výsledné stránky, což je časově velmi náročná úloha.

Článek prezentuje nový přístup k segmentaci webových stránek. Na rozdíl od běžně dostupných současných metod, které pracují nad stromovým modelem stránky a produkují opět stromovou strukturu na výstupu, popisovaná metoda je založena na shlukování atomických částí obsahu a vytváří plochý segmentační model. Experimentální výsledky ukazují, že metoda je téměř o 90 % rychlejší, než srovnatelné existující přístupy.

Publikovaná metoda používá jádro běžného webového prohlížeče k získání obrazu webové stránky. Uvažuje nejmenší vykreslené prvky získaného obrazu, provede shlukování pomocí vlastního algoritmu a vytvoří seznam detekovaných segmentů dané velikosti (granularity). Jako shlukovací metriky používáme pouze vizuální vlastnosti: vzdálenost prvků a jejich vizuální podobnost. Experimentálně vyhodnocujeme vlastnosti našeho algoritmu zpracováním 2400 webových stránek. Na této sadě webových stránek ukazujeme, že náš algoritmus je téměř o 90% rychlejší než referenční algoritmus. Přesnost navrženého algoritmu je mezi 47% a 133% přesnosti referenčního algoritmu. V našich experimentech také demonstrujeme výhody tvorby ploché struktury segmentace namísto obvyklé stromové struktury.

Článek byl dosud citován v 8 publikacích.