Какую базу данных я должен использовать, если мне нужно хранить действительно большой объем данных?
База данных для ENORMOUS данных?
Ответ 1
Некоторые из самых больших баз данных в мире запускаются на сервере Microsoft SQL: http://www.microsoft.com/sql/prodinfo/compare/wintercorp.mspx
И вот список 10 крупнейших баз данных в мире (хотя я не знаю, насколько это точно):
http://www.scribd.com/doc/83088207/The-Top-Ten-Largest-Databases-in-the-World
Вершиной является Всемирный центр данных для климата с 220 терабайтами веб-данных и 6 петабайт дополнительных данных.
Ответ 2
Как администратор базы данных, вот реальный ответ.
Лучшая платформа базы данных в мире может не справиться с наименьшими нагрузками, если у вас нет персонала, который знает, как его использовать.
Достаточно низкая платформа баз данных может масштабироваться до огромных нагрузок, если у вас есть персонал, который знает ее внутри и снаружи и работает со своими недостатками.
Вот почему некоторые люди говорят, что Oracle не может масштабироваться, и почему другие люди говорят, что MySQL может управлять миром. Хороший музыкант все еще может издавать красивые звуки с дерьмовым инструментом, и дерьмовые музыканты не могут сделать хорошие инструменты хорошими.
Когда вы решаете, какую платформу использовать для своего следующего проекта, не бросайте кости и не используйте решение, с которым у вас нет опыта. Если вам действительно нужно увеличивать масштаб, используйте либо решение, которое вы знаете внутри и снаружи, или наймите кого-нибудь, кто знает новое решение внутри и снаружи.
Ответ 3
Чтобы получить полезный ответ, он может помочь узнать, что вы считаете очень большим количеством данных. Это также поможет узнать, для чего оно будет использоваться и как оно будет организовано.
Если это гигабайт данных, большинство баз данных будут в порядке.
Если это терабайт данных, я уверен, что Oracle или SQL Server не будут иметь с этим проблем. Если они настроены и спроектированы правильно.
Если он больше... что-то вроде bigtable.
Ответ 4
Правильно настроенный Oracle или Microsoft SQL Server должен иметь возможность обрабатывать все, что вы бросаете на него.
Ответ 5
Действительно зависит от того, какова ваша идея огромного, и что вы хотите с ней делать. Доступ к SQL-подобному доступу:
- Гигабайты данных могут быть легко обработаны любым FOSS или коммерческим продуктом.
- Сотни гигабайт + обычно означают нечто вроде Teradatali >
Для более специализированной обработки Hadoop и HBase. (Существует несколько аналогичных продуктов, в том числе Sector/Sphere и GridGain, чтобы назвать пару.) Hadoop - это архитектура облачных вычислений, смоделированная на файловой системе Google, и может содержать сотни петабайт. HBase - это "база данных", которая работает на Hadoop с аналогичными возможностями. Я говорю "база данных", потому что это ориентированная на столбцы, совсем другая модель из ориентированных на строки баз данных, таких как MySQL, PostreSQL, Oracle и т.д.
Hadoop/HBase более подходят либо для хранилищ данных, либо для ситуаций, когда вы можете предварительно запрограммировать запросы, которые вам нужно выполнить, и выполнить их вне диапазона через MapReduce.
Ответ 6
Ответ 7
Вероятно, более важно, чем знать, насколько велика огромная, - знать, что вы хотите делать с базой данных. Если это OLTP, тогда вы будете в порядке с любым из основных игроков, как было сказано ранее, но если это инструмент для отчетности, тогда вы можете вместо этого изучить Alterian и Sybase IQ.
Ответ 8
См. также какой db следует выбрать, если производительность postgres низкая
Yahoo использует PostgeSQL - http://postgresqldbnews.blogspot.com/2008/05/world-largest-database-runs-on-postgres.html
Google использует MySQL - http://www.mysql.com/customers/customer.php?id=75
Я видел базы данных Oracle на сотнях концертов до терабайтного диапазона
Аналогично с DB2
Я лично ничего не видел на SQL Server в диапазоне терабайт, но он вполне может быть способен на него
Ответ 9
Мы рассмотрели Sybase IQ (http://en.wikipedia.org/wiki/Sybase_IQ), но мы решили, что наш хранилище данных не достаточно большой, чтобы гарантировать это.
Ответ 10
Sybase IQ - отличный выбор, если вы читаете больше, чем писали. IQ не особенно быстро записывается, но быстро читается. IQ размещает самый большой в мире хранилище данных (1 петабайт)
По сравнению с Oracle, DB2 и SQL Server лицензионные сборы также довольно низки, а требования к оборудованию также ниже. Недостатком является то, что поддержка, документация и инструменты немного тонкие на местах (как это делают опытные разработчики IQ и DBA)
Ответ 11
В зависимости от того, что вы подразумеваете под огромным. Индексы будут в порядке, и сделанные запросы должны быть оптимизированы максимально эффективно. Я работал с тем, что я считаю огромными базами данных как в Microsoft SQL Server (11 миллионов записей ежедневных журналов в крупной глобальной автомобильной компании), так и в PostGRES (несколько миллионов записей, а также для данных ГИС).
Ответ 12
Помните, что большая база данных намного сложнее, чем просто выбор базы данных. Все запросы должны быть оптимизированы, индексирование имеет решающее значение, и у вас должно быть оборудование, способное передавать данные. Возможно, вам понадобится разработать схему разделения, чтобы должным образом отделить данные, чтобы обеспечить лучший доступ. Плохие методы и конструкции, которые вы можете избежать в небольших базах данных, вызывают огромные проблемы в больших базах данных. Не делайте этого, не инвестируя в хорошую книгу настройки производительности! Подумайте о настройке производительности, прежде чем создавать базу данных.
Независимо от выбранной вами базы данных, убедитесь, что вы получили полную версию Enterprise. Вероятно, вам понадобятся функции, которые имеют эти версии, чем менее популярные и более дешевые версии.
Oracle, SQL Server, db2 и т.д. будут обрабатывать большие базы данных enterpise. Хорошо ли они справятся с ними, это будет зависеть от вашего оборудования, вашего дизайна и ваших запросов. Это не задача проектирования для неопытных.
Ответ 13
Это сообщение, которое я сделал несколько недель назад, обсуждает относительные достоинства Oracle и SQL Server для приложений VLDB с помощью segue в системах с общим ничем (из которых наиболее известны Например, Teradata), которые обеспечивают максимальную масштабируемость, не имея центрального места ввода-вывода.
Это может быть неплохим стартом.
Ответ 14
Для базы данных NoSQL вы можете рассмотреть MongoDB или HBase. Но это действительно зависит от того, сколько данных у вас есть и как оно будет использоваться.