Hallo an alle! Wir sollten irgendwo im Rahmen von MetaLab eine Projekt & Ideenbörse einrichten :-)) Nachdem ich über diese Liste schon zu einem Buchscanner gekommen bin, gleich meine nächste Frage: Kennt wer jemanden der sich mit dem Thema verteilte Storagesysteme auf billiger Hardware beschäfftigt? Wenn man hunderte, wenn nicht tausende an Büchern einscannen möchte, kommen enorme Datenmenge zusammen. PCs und IDE Platten sind sehr billig. Mir ist aber kein OpenSource System bekannt, mit welchen sich ein redundantes über mehrere Systeme verteiltes Filesystem im hohen Tera bzw. Petabytebereich aufbauen lässt. Es gibt einige verteile Filesysteme, aber ich kenne keines, welches den Ausfall eines Systemes automatisch ala RAID5 beheben kann. Vor allem basieren die meisten Cluster Filesysteme wie RedHat GFS auf einen gesharten FibreChannel Storage, was sie von den Kosten her vollkommen uninteressant macht. cu andreas
On Wed, 2006-03-22 at 13:32 +0100, Andreas.Trawoeger@wgkk.at wrote: [...]
Wenn man hunderte, wenn nicht tausende an Büchern einscannen möchte, kommen enorme Datenmenge zusammen. PCs und IDE Platten sind sehr billig. Mir ist aber kein OpenSource System bekannt, mit welchen sich ein redundantes über mehrere Systeme verteiltes Filesystem im hohen Tera bzw. Petabytebereich aufbauen lässt.
Es gibt einige verteile Filesysteme, aber ich kenne keines, welches den Ausfall eines Systemes automatisch ala RAID5 beheben kann.
Vor allem basieren die meisten Cluster Filesysteme wie RedHat GFS auf einen gesharten FibreChannel Storage, was sie von den Kosten her vollkommen uninteressant macht.
Es gibt/gab in der Linux-Welt (wenn man "Shared Storage" a la FC oder "Shard SCSI" mal wegläßt): - CODA - InterMezzo - ClusterFS Für relativ statische Depots wird vermutlich auch "rsync" u.ä. reichen. Oder du kannst dem Paul Witta einen NetApp-Filer abschwatzen. Bernd -- Firmix Software GmbH http://www.firmix.at/ mobil: +43 664 4416156 fax: +43 1 7890849-55 Embedded Linux Development and Services
Hmm, 1 Seite A4, 2448x3441px, graustufen png, ~ 45 Kb 1 Buch ~ 300 Seiten: 13 MB 500 Bücher : 6,5 Gb Für grosse billige garantiert immer redundante Storage kann ich CODA und InterMezzo auf Grund von nicht immer gegebenen Replicas nicht empfehlen. Coda ist eventuell interresant um bereits sicher gespeicherte Daten zu verteilen. ClusterFS ist, soweit ich das verstanden habe, das meherere Computer schreibend auf einen Storage Bereich (dh. nicht redundant) zugreifen. Software Raid Mirroring (vergesse immer ob das jetzt 0 oder 1 ist) wäre die erste Option für nicht "Mission Critical" daten, High-availibility Storage könnte man mit DRBD und zwei bzw. drei Rechnern mit Gigabit Link dazwischen aufbauen. Beides ersetzt natürlich nicht ein Backup, weil die Daten auch gleichzeitig überschrieben werden können. Eventuell eine Kombination aus .) billigen Software Raid Mirroring (zumindest einplatten Crashes safe) .) drbd plus heardbeat mit zwei Rechnern und gigabit link (high-availability) .) und rdiff-backup der Daten auf einen dritten Rechner würde soetwas möglich machen. Netto zu Brutto Verhältniss wäre ungefähr (schwankt je nach Datenänderungvorhaltung) eins zu fünf :-( Dh. 4x 300Gb = 300gb Bei einen billigen Setup ergeben sich daher: 600 Gb Netto Platz, (4x300 Node-1(raid mirroring), 4x300 Node-2(raid-mirroring), 3x300 Node-backup(no-mirroring)) Lg, felix Bernd Petrovitsch schrieb:
On Wed, 2006-03-22 at 13:32 +0100, Andreas.Trawoeger@wgkk.at wrote: [...]
Wenn man hunderte, wenn nicht tausende an Büchern einscannen möchte, kommen enorme Datenmenge zusammen. PCs und IDE Platten sind sehr billig. Mir ist aber kein OpenSource System bekannt, mit welchen sich ein redundantes über mehrere Systeme verteiltes Filesystem im hohen Tera bzw. Petabytebereich aufbauen lässt.
Es gibt einige verteile Filesysteme, aber ich kenne keines, welches den Ausfall eines Systemes automatisch ala RAID5 beheben kann.
Vor allem basieren die meisten Cluster Filesysteme wie RedHat GFS auf einen gesharten FibreChannel Storage, was sie von den Kosten her vollkommen uninteressant macht.
Es gibt/gab in der Linux-Welt (wenn man "Shared Storage" a la FC oder "Shard SCSI" mal wegläßt): - CODA - InterMezzo - ClusterFS
Für relativ statische Depots wird vermutlich auch "rsync" u.ä. reichen.
Oder du kannst dem Paul Witta einen NetApp-Filer abschwatzen.
Bernd
metalab-bounces@lists.metalab.at schrieb am 22.03.2006 15:55:31:
Hmm, 1 Seite A4, 2448x3441px, graustufen png, ~ 45 Kb 1 Buch ~ 300 Seiten: 13 MB 500 Bücher : 6,5 Gb
Es kommt darauf an, wozu ich den Scan benutzen möchte. Wenn ich nachher nur OCR machen möchte und ein niedrig aufgelöste bzw. stark komprimierte Verson zum Korrekturlesen brauche ist Storage kein Problem. Wenn ich die Bücher aber evt. einmal im Orignal nachdrucken möchte benötige ich einen verlustfrei komprimierten 600dpi Scan der Seite und komme man auf ca. 5000 x 7000px = 33 MB Rohdaten pro Seite
Für grosse billige garantiert immer redundante Storage kann ich CODA und InterMezzo auf Grund von nicht immer gegebenen Replicas nicht empfehlen. Coda ist eventuell interresant um bereits sicher gespeicherte Daten zu verteilen.
ClusterFS ist, soweit ich das verstanden habe, das meherere Computer schreibend auf einen Storage Bereich (dh. nicht redundant) zugreifen.
Software Raid Mirroring (vergesse immer ob das jetzt 0 oder 1 ist) wäre die erste Option für nicht "Mission Critical" daten,
High-availibility Storage könnte man mit DRBD und zwei bzw. drei Rechnern mit Gigabit Link dazwischen aufbauen.
Beides ersetzt natürlich nicht ein Backup, weil die Daten auch gleichzeitig überschrieben werden können.
Eventuell eine Kombination aus .) billigen Software Raid Mirroring (zumindest einplatten Crashes safe) .) drbd plus heardbeat mit zwei Rechnern und gigabit link (high-availability) .) und rdiff-backup der Daten auf einen dritten Rechner würde soetwas möglich machen.
Netto zu Brutto Verhältniss wäre ungefähr (schwankt je nach Datenänderungvorhaltung) eins zu fünf :-(
Was derzeit fehlt ist eine hohe Verfügbarkeit / niedrige Performance Lösung. Für eine High End Lösung ala NetApp komme ich dzt. auf Kosten von ca. 18.000 Euro/TB bei einem normalen PC + 4xSATA Platten a 500 GB liegen die Kosten bei ca. 900 Euro/TB. Die Plattenpreise sind mittlerweile so billig, das einem eine 'normale' Backuplösung wie Tapedrives teuerer kämen als die Platten selbst (weil ich aber einer gewissen Größe einen Bandroboter für das Tapehandling brauche). Jedes System mit einem anderen zu spiegeln wäre eine Möglichkeit. Es wäre nur schwierig Spare Nodes zu konfigurieren die bei Ausfall eines Systems automatisch einspringen können. Was einmal einen Versuch wert wäre ist sich das Thema iSCSI einmal näher anzusehen. Man könnte eine Reihe von Rechner rein als iSCSI Targets konfigurieren deren einzige Aufgabe darin besteht per TCP/IP Diskspace zur Verfügung stellen. Aus diese iSCSI Target Disk könnte man entweder ein Software RAID konfigurieren, oder ein Clusterfilesystem wie RedHat GFS aufsetzen. Es wäre spannend zu testen was für eine Performance ein solches System liefert (er würde viel Performace durch den TCP/IP Overhead drauf gehen, dafür wäre aber die Last über viele Systeme verteilt). Vor allem aber liesen sich alle RAID Features wie Parity + Spare Disks (welche in dem Fall aus Spare Nodes bestehen würden) ausnutzen. Für ein solches System würde man kein lokales Backup mehr brauchen, würde es aber sinnvollerweise regelmässig mittels rsync auf einen zweiten Standort spiegeln. Man müsste es austesten bzw. genau durchrechnen, aber ein lokales 10 TB System um 15 - 20.000 Euro könnte sich ausgehen (je nach verwendetem Equipment). cu andreas
On Wed, 2006-03-22 at 15:55 +0100, Felix Erkinger wrote:
Hmm, 1 Seite A4, 2448x3441px, graustufen png, ~ 45 Kb 1 Buch ~ 300 Seiten: 13 MB 500 Bücher : 6,5 Gb
Ah, so wenig pro Buch?
Für grosse billige garantiert immer redundante Storage kann ich CODA und InterMezzo auf Grund von nicht immer gegebenen Replicas nicht empfehlen.
Ja wenn du keinen konfigurierst, wird es auch keinen geben. Ich bin ja von einer sinnvollen Konfiguration ausgegangen - 2 (oder beliebig viele) PCs und per Coda-Server auf jedem die Filesysteme automagisch replizieren.
Coda ist eventuell interresant um bereits sicher gespeicherte Daten zu verteilen.
Und nichts anderes will man. Oder hab ich was mißverstanden? Wie man die Daten dem Rest des Planeten zugänglich machen will, ist eine ganz andere Frage, die auch noch niemand gestellt hat.
ClusterFS ist, soweit ich das verstanden habe, das meherere Computer schreibend auf einen Storage Bereich (dh. nicht redundant) zugreifen.
Zum einen mWn auch redundant/verteilt und zum anderen ist das für (große) Rechencluster und nicht für HA-Clauster gebaut. Ich habs auch nur der Vollständigkeit halber angeführt.
Software Raid Mirroring (vergesse immer ob das jetzt 0 oder 1 ist) wäre die erste Option für nicht "Mission Critical" daten,
Ja. Aber damit überlebt man nur 1 kaputte Harddisk udn damit ist es definitiv zuwenig.
High-availibility Storage könnte man mit DRBD und zwei bzw. drei Rechnern mit Gigabit Link dazwischen aufbauen.
Und immer nur auf einem zugleich mounten (oder gibt es das neue Release schon?). Nachdem für Archive "schneller Zugriff" mbMn weniger wichtig ist und "viele Updates" und "schnelle Updates" irrelevant sind, ist auch FC u.ä. sowie DRBD mit seinen aktuellen Einschränkungen nicht "notwendig". Und deshalb bin ich dann und würde auch wegen der Einfachheit halber n PCs basteln (ohne RAID1 o.ä.) und per rsync/csync2/... regelmäßig (oder händisch anstpßen, wenn was neues dazu kommt) das abgleichen (weil *wirklich oft* ändert sich da meiner Einschätzung nach eh nichts). Fertig (und einfach). Echte Backups kann man immer noch auf DVDs o.ä. machen.
Beides ersetzt natürlich nicht ein Backup, weil die Daten auch gleichzeitig überschrieben werden können.
Oh, noch ein Nachteil. [ TOFU entsorgt ] Bernd -- Firmix Software GmbH http://www.firmix.at/ mobil: +43 664 4416156 fax: +43 1 7890849-55 Embedded Linux Development and Services
Bernd Petrovitsch schrieb:
Für grosse billige garantiert immer redundante Storage kann ich CODA und InterMezzo auf Grund von nicht immer gegebenen Replicas nicht empfehlen.
Ja wenn du keinen konfigurierst, wird es auch keinen geben. Ich bin ja von einer sinnvollen Konfiguration ausgegangen - 2 (oder beliebig viele) PCs und per Coda-Server auf jedem die Filesysteme automagisch replizieren. Das habe ich dann nicht wirklich kapiert, wie ich mir Coda durchgelesen habe, :-) ich dachte das Coda zeitverzögert und bei Bedarf (pc x requested readme.txt von cluster node b, cluster node b repliziert diese datei von cluster node a und gibt sie an pc x weiter: cluster node a, cluster node b und pc x haben eine kopie)
Software Raid Mirroring (vergesse immer ob das jetzt 0 oder 1 ist) wäre die erste Option für nicht "Mission Critical" daten,
Ja. Aber damit überlebt man nur 1 kaputte Harddisk udn damit ist es definitiv zuwenig. Jup, auch meine Meinung, aber als Unterlage zum Replizieren ganz angenehm
High-availibility Storage könnte man mit DRBD und zwei bzw. drei Rechnern mit Gigabit Link dazwischen aufbauen.
Und immer nur auf einem zugleich mounten (oder gibt es das neue Release schon?). Jup, habe ich auch so verstanden, soll sich irgendwann ändern, aber momentan nur Failover.
Und deshalb bin ich dann und würde auch wegen der Einfachheit halber n PCs basteln (ohne RAID1 o.ä.) und per rsync/csync2/... regelmäßig (oder händisch anstpßen, wenn was neues dazu kommt) das abgleichen (weil *wirklich oft* ändert sich da meiner Einschätzung nach eh nichts). Fertig (und einfach). Echte Backups kann man immer noch auf DVDs o.ä. machen. Hmm, da fällt mir noch was ein, jetzt wo du rsync erwähnst, weil das hat natürlich den nachteil das du nur auf einen pc schreiben kannst:
1 mal front-machine: load-balancer für http (linux,klein,unspektakulär, bzw. hardwarelösung) 2 - x mal backend-storage: (linux, simple, webdav, ohne raid oder sonst was) Unison sync zwischen allen Clustern (so ähnlich wie rsync, aber es kann mehere Replicas zueinander zu syncen (ohne master/slave prinzip des Datenflows) Das wäre dann Webdav (bzw. reines http wenn man nur lesen will, per http loadbalancer) verteilt verfügbar. Und solange man nicht gleichzeitig von meheren Rechnern auf das selbe File schreibt, auch von allen Clustern gleichzeitig schreibbar. (Falls das doch passiert, wird unison einen konflikt beim nächsten sync auswerfen) Lg, felix
moinsen, Andreas.Trawoeger@wgkk.at(Andreas.Trawoeger@wgkk.at)@2006.03.22 13:32:14 +0100:
gleich meine nächste Frage: Kennt wer jemanden der sich mit dem Thema verteilte Storagesysteme auf billiger Hardware beschäfftigt?
Wenn man hunderte, wenn nicht tausende an Büchern einscannen möchte, kommen enorme Datenmenge zusammen. PCs und IDE Platten sind sehr billig. Mir ist aber kein OpenSource System bekannt, mit welchen sich ein redundantes über mehrere Systeme verteiltes Filesystem im hohen Tera bzw. Petabytebereich aufbauen lässt.
Es gibt einige verteile Filesysteme, aber ich kenne keines, welches den Ausfall eines Systemes automatisch ala RAID5 beheben kann.
Vor allem basieren die meisten Cluster Filesysteme wie RedHat GFS auf einen gesharten FibreChannel Storage, was sie von den Kosten her vollkommen uninteressant macht.
wenns nur um storage geht - mal gmail-fs[0] in betracht gezogen? klar, es kostet bandbreite, ist nur storage, du musst dich aber nicht um die ausfallssicherheit kuemmern (google will ja kein bit an information verlieren) und stellt die billigste variante (mit ein wenig organisation) dar. alles andere ist mit betraechtlichem finanziellen aufwand verbunden .. hth, teemu [0]http://tinyurl.com/3ofk6 -- "Every man takes the limits of his own field of vision for the limits of the world." - Schopenhauer
On Wed, Mar 22, 2006 at 01:32:14PM +0100, Andreas.Trawoeger@wgkk.at wrote: Hi,
Es gibt einige verteile Filesysteme, aber ich kenne keines, welches den Ausfall eines Systemes automatisch ala RAID5 beheben kann.
Wenn du kein POSIX Filesystem brauchst, sondern mit bestimmten Einschraenkungen (z.B. write-once, Zugriff ueber eine eigene API, ...) leben kannst gibt es z.B. die folgenden Optionen: MogileFS - http://www.danga.com/mogilefs/ NDFS - http://wiki.apache.org/nutch/NutchDistributedFileSystem Ansonsten wuerds auch noch Lustre geben (POSIX compliant - aber um einiges komplexer als die beiden ersten Optionen): http://www.lustre.org/ /gst
Wenn man hunderte, wenn nicht tausende an B�chern einscannen m�chte, kommen enorme Datenmenge zusammen.
an welche datenmenge hast du denn gedacht? bei den aktuell erh�ltlichen platten (500gb) bzw bis jahresende erwarteten (1tb) ist es ein leichtes auch einen einzigen rechner mit mehreren terabytes auszustatten. adrian.
Teilnehmer (6)
-
Adrian Dabrowski -
Andreas.Trawoeger＠wgkk.at -
Bernd Petrovitsch -
Felix Erkinger -
Günther Starnberger -
Teemu Schaabl