Velká databáze

Mám nápad, který by mohl přitáhnout opravdu hodně klientů, pokud to všecho není nesmysl, tak i stovky tisíc a víc.
Detaily si samozřejmě nechám pro sebe, ale nevím, jak organizovat data. Od každého klienta budu muset skladovat xml soubor o pár stovkách položek, jehož velikost se bude pohybovat v řádu desítek kB.

První co mě napadlo, tak že budu mít tabulku klientů a druhou tabulku xml položek, která by vypadala asi takto:

IDusera UrovenPolozky datapolozky ... < pár sloupců

detaily ještě vymyšlený nemám, ale šlo by o skladování stromečkových dat, tak bych chtěl použít ten princip, kde bych neřešil položku a jejího rodiče, ale hloubku zanoření ve stromu - princip ze stromečkových diskusí.

Nicméně stovky tisíc userů krát stovky položek = desítky miliónů řádků. Z toho mně běhá mráz po zádech. Je toto vůbec reálné skladovat v mysql a obhospodařovat pomocí php, nebo je na to potřeba nějaký vyšší kalibr?

A kde tohle hostovat?


Druhá možnost je skladovat celé to xml přímo v tabulce userů jako jeden varchar, ale to mi nepřipadá o moc lepší.

Jak narvat celý?

Ono de facto půjde o vzájemnou aktualizaci dvou xml, to můžu myslím klidně prozradit :)
Tzn. zachovat pořadí, ale v jednotlivých větvích přidat nové položky, které jsou v uploadnutém souboru navíc a naopak, vygenerovat sestavu "nově přidané položky", kterou si pak aplikace na straně klienta stáhne a zpracuje.

Takže já nevím, jestli to skladovat jako nějakou předpřipravenou strukturu, která sice bude složitá, ale kterou po uploadu aktuálních dat budu moct procházet a porovnávat pár dotazy, nebo to prostě ukládat jako jeden dlouhý string a v momentu, kdy to bude potřeba porovnat s uploadnutým souborem, to vytáhnu jedním SELECTem a pak to budu nějak pracně lámat v php.

Nevím, asi to bude chtít uležet, ale v tuto chvíli se mi zdá, že bude lepší vykašlat se na strukturu a ukládat celé xml jako jeden string a všechno to procházení pak řešit v php. Tím bych se zbavil těch miliónových tabulek a zůstal trochu při zemi.

Teď mi někdo napíše, že mám použít php funkce GetFilesDiff a UpdateFilesDiff a já se picnu :)

Mastodont
To se dá uložit do normální tabulky, ne?

Jasně, to jsem psal hned v úvodu. Jen je problém, že v té tabulce by toho pak asi bylo opravdu hodně.

Joker
Struktura xml bude u každého jiná, takže převod na databázové tabulky (aniž bych přesně rozuměl, jak by to mělo vypadat) asi nepůjde.

Kartézský součin ne :) Půjde o jednu tabulku uživatelů a druhou tabulku, kde chci ukládat jejich xml, a to bych si představoval asi jako řadu záznamů, kde bych stromečkovou strukturu nahradil nějakým sloupcem Level, jakousi představu o tom mám.

Maximální zátěž by se dala odhadnout na několik málo (<5) přihlášení/ usera za den, přičemž každé přihlášení by obnášelo několik málo (cca 5) selectů a updatů, asi vždy nad jednou tabulkou (osoby nebo data), nejnáročnější operace by obnášely pár set řádků v tabulce.

To vše by platilo při té variantě dvou tabulek - osoby, data. Pokud z toho počtu řádků nemusím mít strach, tak tu variantu, že bych xml ukládal jako jeden string přímo v tabulce osob, můžu opustit.


Možná to všechno je nesmysl :) Ale nepůjde o malou databázi. Buď nebude nic, nebo tam ty milióny řádků budou.