Indexování webu

Ahoj,

potřeboval bych poradit, jak nejlépe indexovat web. Mám tím na mysli skript, který by kontroloval změny na webu řádově o desítkách stránek. Vždycky když bych ho spustil, tak by mi vypsal pouze stránky, kde je změna. Existuje na to nějaké hotové řešení, nebo máte nápad jak to udělat efektivněji než to popíšu?

Napadlo mě dělat to přes php, do mysql uložit stránky (resp. jejich zdrojový kód) a po spuštění skriptu jednu po druhé kontrolovat jestli je tam změna. Indexaci jednotlivých stránek bych asi prováděl ručně, ale pokud máte nějaký nápad, rád se poučím.

Pokud neexistuje nějaký program, který by to řešil, tak mi nejde o hotové řešení, spíš o popis jak to udělat co nejvíce efektivní.

Děkuji