logging in db oder txt-file

[jonix]

ich bin auf der suche nach informationen bzgl. der verwendung von datenbanken (im speziellen mysql) im vergleich zu textfiles. es geht um eine art counter fuer webseiten, welcher extrem performant sein muss. daher interessieren mich vergleichende infos bzgl. speicherplatz, geschwindigkeit, rechnerleistung und aehnliche dinge.

kann mir jemand hinweise zu moeglichen quellen geben?

[wbendl]

Hi!

Ich kann dir leider keinen Link zu einem Performancetest, der DB mit TXT vergleicht bieten.
Wenn dir wirklich viel daran liegt, probier beides aus.

Wenn ich aber deine Ansprüche richtig verstehe, dann sollen große Datenmengen erfaßt werden.
Die Auswertung dieser Daten (z. B. eine Statistik) ist mit der DB sicher leichter zu bewerkstelligen.

Das einzige Argument gegen die DB wären zusätzliche Kosten.

mfg

WB

[jonix]

laut unseren erfahrungen kommt irgendwann der punkt, an dem standard-installationen von mysql auf "herkoemmlichen" webservern performance-maessig total in die knie gehen (in unserem fall ab ~500.000 eintraege in einer tabelle). deshalb wuerde es mich interessieren, wie sich auch unterschiedliche datenstrukturen (mehrere tabellen, mehrere datenbanken etc) auswirken. andererseits waere es natuerlich auch interessant, wie im vergleich dazu ein oder mehrere text-files abschneiden und wie diese sich bei zunehmender groesse verhalten.

logs wie das von apache lassen darauf schliessen, dass oft nur die plattenkapazitaet ein begrenzender faktor ist, aber dem entgegen steht natuerlich der immense aufwand bei der erstellung von statistiken. denkbar waere natuerlich, nur sammel-auswertungen in datenbanken zu speichern und das tatsaechliche logging in text-files vorzunehmen.

aber ich hatte eben gehofft, dass dazu schon irgendwo (fach-)literatur vorhanden waere...

[käptn]

Hm, ich hab hier eine MySQL-Tabelle mit Apachelogs gefüllt.

ATM sind's knapp über 2 Mio. Datensätze.

Ich kann nicht ganz nachvollziehen, dass MySQL ab 500.000 schlapp machen sollte.

Beispiel mit oben genannter Tablle und Index auf 'http_response':

mysql>SELECT
    ->  date,
    ->  IFNULL(rem_host, rem_addr) as remote,
    ->  req_uri
    -> FROM
    ->  monanet2003
    -> WHERE
    ->  http_response = 404
    -> ORDER BY
    ->  date DESC
    -> LIMIT
    ->  100;
+------------+--------------------------------------------+----------------------+
| date       | remote                                     | req_uri              |
+------------+--------------------------------------------+----------------------+
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/form.pl   |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/Form.pl   |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/mail.pl   |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/Mail.pl   |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/fmail.pl  |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/Fmail.pl  |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/FMail.pl  |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/form.cgi  |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/Form.cgi  |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/mail.cgi  |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/Mail.cgi  |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/fmail.cgi |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/Fmail.cgi |
| 2003-09-05 | ppp-67-126-214-159.dsl.scrm01.pacbell.net  | /cgi-local/FMail.cgi |
| ...                                                                            |
+------------+--------------------------------------------+----------------------+
100 rows in set (0.02 sec)

Welche Operationen werden denn ausgeführt?
Vielleicht solltest du erst die entsprechenden Datensätze in eiune temporäre HEAP Tablee einlesen und darauf deine Operationen ausführen.

Sind die Indices "halbwegs gscheit" vergeben?

~

ps: google