Pamět v PHP

Zdravíčko, měl bych dotaz.
Mám v tabulce uloženo přes 100 000 emailových adres (co mail to řádek). Dále mám uložený příslušný data, abych mohl vytvořit emaily, jako je obsah emailu, odesílatel, přílohy apod.

Mám PHP script, která má za úkol vygenerovat email (pozor, každý email obsahuje unikátní klíč, aby se dotyčný mohl odhlásit, abych mohl sledovat prokliky, zobrazení emailu apod. Čili mám v proměnné $bodyMail načtený celý obsah mailu a ten následně upravuji pomocí http://simplehtmldom.sourceforge.net/. Klíč generuji z mailu příjemce a id kampaně, který proháním fci base64. Když je email hotový ukládám jej do tabulky, ze které si emaily bere phpMailer, který už načte příslušný počet mailu a odešle (používám zde více vláknový provoz, kdo bude chtít mohu mu s tím poradit).

A kde je chyba? Problém je s pamětí pokud jsem nastavil pomocí ini_set('memory_limit','1024M'); vygenerovalo se mi pouze 19 tis. mailu a skript skončil, při hodnotě ini_set('memory_limit','2048M'); se vygenerovalo už 36 tis. mailů a když jsem nastavil ini_set('memory_limit','5120M'); (doporučuji nikdy nezkoušet pokud nemáte stabilní server) se vygenerovaly všechny maily. Problém je, že jsem tímhle totálně zabil paměť a pokud bych chtěl vygenerovat více než 150 000 tak se to nevygeneruje.

Způsob jak generuji maily:
SQL dotaz na všechny maily
foreach přes maily {
generování mailu
ukládání do tabulky
}

při googlování jsem narazil na jeden ze způsobů http://www.zdrojak.cz/clanky/lazy-evaluation-v-php/, otázkou je zda je to správný postup nebo zda má někdo lepší řešení. Ideální by bylo abych při nastavení ini_set('memory_limit','1024M'); mohl generovat až 500 000, pokud je to možné.

Ještě další možný způsob je http://cs.wikipedia.org/wiki/HipHop_for_PHP ale nezkoušel jsem to. V tomhle jsem tak trochu nováček.

Alphard:
díky za pošťouchnutí :-) teď mě napadlo, že ten obsah mailu pokaždé parsuji přes ten SimpleHtmlDom, možná by stálo to provést jednou a někam do pole si uchovat linky u kterých budu přidávat unikátní klíče a další maily a obsahy už zpracovávat přes to pole (kde budou uložený linky) pokud bude existovat

Ještě jeden dotaz, pomocí ini_set('memory_limit','512M'); si nastavím paměť. Pokud mám 10tis. mailů hned na začátku to zabere 29MB, pokud je mailu např 50tis. zabere to paměť 55MB. Se vzrůstajícím počtem mailu roste nárok na pamět. Jak, ale zpracovat maily když dopředu nevím kolik jich bude, ale chci zachovat nastavenou paměť 512M. Třeba budu chtít zpracovat 500 000 mailů, jak to provést?

pokud použiji unset($x); tak proměnnou $x sice zničím, ale v paměti stále zabírá místo - lze pomocí php 5.3 fci nějak uvolnit paměť například pomocí Enable Garbage Collector

Díky všem za odpovědi. Určitě budu zpracovávat maily po částech, čili LIMIT 0, 1000, dále LIMIT 1000, 1000 .... 2000, 1000 atd. zkusím se podívat zda se dá něco vyvést s tím SimpleHtmlDom a po skončení zpracování prvních 1000 mailu odstraním proměnné a zkusím vinut úklid paměti.

Alphard:
Ten Garbage Collector, lze jen spustit v průběhu scriptu? používám toto:

ty proměnné co nechci jim nastavuji null nebo jsem zkoušel unset

gc_enable(); // Enable Garbage Collector
var_dump(gc_enabled()); // true
var_dump(gc_collect_cycles()); // # of elements cleaned up
gc_disable(); // Disable Garbage Collector

ale paměť se mi neuvolní

Amunak:
Tak jsem zjistil toho největšího žrouta paměti: jsou to dotazy do db, které dělám přes dibi, takže nějaký návrh, jak uvolnit paměť po vykonání dotazu? mysql_free_result mi nějak nechce zabírat

juriad:
Nejsem si jistý jak to přesně použít

$xxx = dibi::query('INSERT ....')->free();

nebo

$xxx->free();

nebo úplně jinak, vždy to skončí chybou

juriad:
$xxx->free(); se mi nechce vůbec spustit

mám tam pole $arr = array(); ve které mám data co chci uložit do db před dibi

tak nevím jestli to nepoužívám chybně

juriad:
Tak to nechápu mám cca 84 000 záznamů, které nějak zpracovávám. Pokud je ukládám do db zabere mi to pomalu 120MB paměti, pokud ty záznamy pouze zpracuji a neukládám, zabere mí to v paměti pouze 60 MB. Jelikož ukládám do dvou tabulek, tak mi to při 84000 záznamech sežere pomalu 500 MB paměti. Takže otázkou je co tu paměť využívá a jak to z ní odstranit.

Jan Tvrdík: script spouštím ajaxově a projevuje se to tak, že zahlásí 500 chybu

--------------------------------------------------------------------------------

teď mě napadlo, že já ty data ukládám ve foreach, možná by stálo za to, ukládání volat fci a po skončení té fce přeci zanikají data, čili se uvolní paměť, pokud dobře chápápu -> tak po zkoušce toto taky nedopadlo dobře, pořád je to v paměti :(

Amunak:
Musím ukládat všechno, protože pak je cron, který si načte data z tabulky a začne je rozesílat. Nejvíce zabírá obsah mailu, problém je, že každý uživatel ho má trochu jiný (unikátní klíč), abych hlídal prokliky, přečtení mailu, odhlášení.

Ukládání mailů mám řešený ve smyčkách čili zjistím max. počet mailů, vydělím to 500 maily na smyčku a zjistím kolikrát budu smyčku pouštět.

Původně (první verze) mi to vzalo skoro 5G na 100 000 mailů, díky tomu, že jsem to převedl do OOP a dbám zvýšenou pozornost na proměnné co nepotřebuji jsem se dostal na 768MB (aktuální verze). Ale chci jí ještě níž, aspoň na 256 MB za např 500 000 mailů, ale jak jsem psal, tak script jako takový využívá max. 55 MB paměti, ale ten nárůst způsobuje dibi díky ukládáním dat.

Samozřejmě je možné obsah mailu neukládat do db, tím mi to klesne např. k 75MB, ale nechci generovat obsah mailu (může být personalizovaný) v cronu, který má sloužit, jako posílání mailu na mail server a žádné sestavování obsahu mailu.

proměnné které již nepotřebuji uvolňuji pomocí unset()

Amunak:
to jsem taky změnil, obsah originálního mailu, mám uložené v proměnné a k ním přistupuji, ale jak jsem psal, ten největším problém je v dibi. Personalizovaný mail lze taky pochopit, že každý mail bude mít unikátní klíč pro hlídání prokliku, přečtení mailu, odhlášení.