Эволюция концепций БД

Понятие база данных появилось в конце 60-х годов. До этого в сфере обработки данных говорили о файлах данных и о наборах данных. Как часто бывает, когда новое понятие становится модным, многие пользователи начали применять его к своим файлам, изменив только название, но не изменяя при этом их свойств, связанных с неизбыточностью, независимостью, езаимосвязанностыо данных, их защитой или во многих случаях возможностью доступа в реальном времени. По мере того как стало расширяться использование более прогрессивного программного обеспечения баз данных, вместе с ним начали реализовываться и перечисленные выше свойства. Нет ни одной системы программного обеспечения, которая бы реализовала все характеристики, присущие идеальной базе данных; системным аналитикам, как правило, при разработке подобных систем приходится идти на компромисс, отдавая предпочтение тем или иным свойствам базы данных.
На рисунках проиллюстрирована эволюция методов хранения данных. До появления ЭВМ третьего поколения (первые из них были установлены в 1965 г.) большинство файлов обрабатывалось так, как показано на рис.1.


Рис.1.Этап 1.Простые файлы данных (начало 60-х годов)

Программное обеспечение осуществляло в основном операции ввода-вывода на запоминающих устройствах, а также включало небольшие вспомогательные средства обработки данных. Об организации данных приходилось заботиться при написании прикладных программ, и делалось это элементарным способом, т. е. данные обычно организовывались в виде простых последовательных файлов на магнитной ленте. Независимость данных отсутствовала. Если организация данных или запоминающие устройства изменялись, прикладной программист должен был соответствующим образом модифицировать программы, заново их компилировать и затем отлаживать. Для того чтобы обновить файл, нужно было записать новый. Старый файл сохранялся и назывался отец. Предыдущий вариант-дед также сохранялся, а нередко сохранялись и более ранние версии файла. Многие файлы использовались для одного приложения. Для других приложений часто использовали те же самые данные; но обычно в другой форме, с другими полями, и поэтому приходилось из одних и тех же данных создавать различные файлы. Вследствие этого уровень избыточности в системе был очень высок и существовали различные файлы, содержащие одни и те же элементы данных. Во времена, соответствующие этапу 1 обработки информации, иногда использовались файлы с произвольным доступом к данным, которые позволяли пользователю получить непосредственный доступ к любой записи в файле вместо того, чтобы последовательно просматривать весь файл. Средства адресации записей обеспечивались прикладным программистом при написании программы. Если изменялись запоминающие устройства, в прикладную программу необходимо было вносить большие изменения. На практике изменение запоминающих устройств неизбежно. Новая технология привела к значительному уменьшению затрат на хранение одного бита информации, а размеры файлов сегодня часто превышают по объему использовавшиеся ранее запоминающие устройства.

Характеристики первого этапа эволюции хранения данных.
• Файлы организованы простым последовательным способом.
• Физическая структура данных точно такая же, как и логическая структура файла.
• Обработка в пакетном режиме без доступа в реальном времени.
• Хранятся несколько копий одного и того же файла, так как предшествующие поколения данных сразу не уничтожаются.
•Типовое программное обеспечение выполняет только операции ввода-вывода.
•Прикладной программист определяет физическое расположение данных и включает формирование физической структуры в прикладные программы.
•Если структура данных или запоминающее устройство изменяется, прикладную программу необходимо перезаписать, перекомпилировать и снова проверить.
•Наборы данных обычно создаются и оптимизируются для одного приложения. Одни и те же данные редко используются для нескольких приложений.
•Высокая степень избыточности в файлах данных
Этап 2 характеризуется изменением по сравнению с этапом 1 как природы файлов, так и устройств, на которых они запоминались. Предпринимается попытка оградить прикладного программиста от влияния изменений в аппаратуре. Программное обеспечение допускает возможность изменения физического расположения данных без изменения при этом их логического представления при условии, что содержимое записей или основная структура файлов не изменяется. Файлы, соответствующие этому этапу, развития средств обработки данных, подобно файлам этапа 1, предназначаются для одного приложения или для тесно связанных между собой приложений. Предположим, например, что нужно создать совокупность файлов для выполнения функции закупки в корпорации. Группа специалистов по анализу систем и программисты должны разработать структуру файлов и включить в них набор элементов данных, необходимых для этого приложения (закупки) Структура файлов при этом должна быть такой, чтобы обслуживание требований данного приложения происходило с максимально возможной эффективностью. Для такого приложения, как «расчеты по оплате», требуется в основном та же информация.
Характеристики второго этапа эволюции хранения данных.
•Возможен последовательный или произвольный доступ к записям (но не к полям).
•Обработка пакетная, оперативная или в реальном времени.
•Логическая и физическая структуры файла различаются между собой, но взаимосвязь между ними достаточно простая.
•Запоминающие устройства можно менять без изменения прикладной программы.
«Структуры данных обычно последовательные, индексно-последовательные или с простым прямым доступом.
•Поиск по многим ключам, как правило, не используется. мор/т быть использованы средства обеспечения защиты данных (редко достаточно надежные). Имеется тенденция разрабатывать и оптимизировать данные в основном для одного приложения.
•Существует значительная избыточность данных.
•Если используются иерархические файлы, то программист обычно сам должен создавать взаимосвязь исходный - порожденный.
•Типовое программное обеспечение системы обработки данных представляет собой методы доступа, но не «управление данными».
Характеристики третьего этапа.

•Различные логические файлы могут быть получены из одних и тех же физических данных.
•Доступ к одним и тем же данным может осуществляться различными приложениями по различным путям, отвечающим требованиям этих приложений.
•Программное обеспечение содержит средства уменьшения избыточности данных.
•Элементы данных являются общими для различных приложений.
•Отсутствие избыточности содействует целостности данных.
•Физическая структура данных независима от прикладных программ. Ее можно изменять с целью повышения эффективности базы данных, не модифицируя при этом прикладные программы.
•Данные адресуются на уровне полей или групп. Можно использовать поиск по многим ключам.
•Использование сложных форм организация данных не требует усложнения прикладных программ.

Характеристики современного этапа.
•Программные средства обеспечивают логическую и физическую независимость данных, допуская существование глобального логического представления данных независимо от изменения представления данных в прикладных программах или физической организации данных.
•Предусматриваются средства обеспечения независимости данных, перечисленные на этапе 2.
•База данных может развиваться без больших затрат на ведение.
•Средства, предусмотренные для администратора данных, позволяют ему выполнять функции управляющей системы и обеспечивать сохранность данных; администратор гарантирует наличие такой структуры, которая является наилучшей для всех пользователей в целом.
•Обеспечиваются эффективные процедуры управления защитой, секретностью, целостностью и безопасностью данных.
«В некоторых системах используются инвертированные файлы, позволяющие осуществлять быстрый поиск данных в базе данных.
•Базы данных конструируются для выдачи ответов на не планируемые заранее информационные запросы.
•Обеспечиваются средства перемещения данных.
•Программное обеспечение предусматривает использование языка описания данных для администратора базы данных, языка команд для прикладного программиста и иногда языка запросов для пользователя
Календарь событий (1945 - 2000)
1947
• Образована Международная организация по стандартизации (International Organization/or Standardization, ISO;
1959
• Образована Ассоциация по языкам систем обработки данных (Conference on Data System Languages, CODASYL; cm. 3.1.11) - автор языка программирования COBOL, языковых спецификаций сетевой модели данных, а также ряда важных концептуальных и аналитических материалов по технологиям баз данных.
1961
• Опубликованы спецификации языка программирования COBOL, разрабо¬танного Комитетом по языку программирования CODASYL.
1963
• В компании General Electric под руководством Ч. Бахмана (С. Bachman) за¬вершена разработка СУБД IDS. Ключевые идеи этой системы стали в дальней¬шем основой подхода CODASYL к базам данных сетевой структуры.
• Нельсон (Т. Nelson) ввел термин "гипертекст", предложил и реализовал некоторые методы обработки гипертекстовой информации.
1967
• В Комитете по языку программирования CODASYL учреждена Рабочая группа по базам данных (Data Base Task Group, DBTG), разработавшая впослед¬ствии известные спецификации сетевой модели данных.
1969
• Опубликован первый отчет CODASYL по базам данных сетевой структуры
• В компании IBM опубликован внутренний отчет Э. Кодда (IBM Research RJ599), представляющий собой предварительную версию опубликованной го¬дом позже его статьи о реляционной модели данных .
• Компания IBM выпустила первую версию своей СУБД IMS для платформы IBM/360.
• Компания Software AG выпустила первую версию своей СУБД ADABAS.
1970
• Журнал Communication of A CM опубликовал пионерскую работу Э. Кодда, которая послужила основой разработки теории реляционных баз данных.
• Компания MRI Systems Corp. (Остин, штат Техас) завершила разработку и начала поставки известной СУБД иерархического типа System 2000 для аппа¬ратной платформы Control Data Corporation.
1971
• Опубликован широко цитируемый отчет CODASYL DBTG [271], содержа¬щий описание основополагающих принципов организации и функционирования систем баз данных, спецификаций сетевой модели данных CODASYL, а также языка определения данных подсхемы для языка COBOL - связывания языка определения данных схемы для этого языка программирования.
• Компания Cincom Systems выпустила СУБД TOTAL - пользующуюся большой популярностью в 70-е - 80-е гг. систему, поддерживающую модель связанных файлов.
1973
• Идеолог сетевой модели данных CODASYL Чарльз Бахман за вклад в развитие технологий баз данных удостоен Тьюринговской премий; присуж¬даемой АСМ.
1974
• Опубликована статья Д. Чамберлина (D. Chamberlin) и Р. Бойса (R. Воусе) о языке SEQUEL . Вероятно, это первая публикация о SEQUEL.
• В Калифорнийском университете (Беркли) под руководством М. Стоунбрекера (М. Stonebraker) началась работа над исследовательским проектом Ingres.
• Государственный комитет Совета Министров СССР по науке и технике об¬разовал Рабочую группу по программному обеспечению банков данных (РГБД) в статусе секции Междуведомственной комиссии по программному обеспечению ЭВМ при этом комитете. В 1984 г. РГБД была реорганизована в самостоятельную Научно-техническую комиссию ГКНТ по банкам данных, Деятельность ее продолжалась до 1987 г.
• На симпозиуме SIGMOD (SIGMOD Workshop on Data Description, Access and Control), проходившем в Энн Арбор (штат Мичиган), состоялась дискуссия, по¬священная сравнению возможностей реляционной и сетевой моделей данных CODASYL. В ней участвовали Ч. Бахман (С. Bachman), Э. Кодд (Е. Codd), К. Дейт (С. Date), Э. Сибли (Е. Sibley), Д. Цикритзис (D. Tsichritzis) и др.
1975
• Опубликован отчет ANSI/X3/SPARC о "трехсхемной технологии".
• В компании IBM начались работы над исследовательским проектом System R, целью которого была разработка подходов и методов эффективной реализации реляционных СУБД, а также их апробация на действующем прото¬типе. Одним из важных результатов проекта явилось создание языка SEQUEL, ставшего основой широко признанного стандарта SQL. Проект завершился в 1979 г.
1976
• Опубликована широко известная статья П. Чена (Р. Chen) , в которой предложена модель данных "сущностей-связей".
• В Институте кибернетики Академии наук Украины завершена разработка СУБД иерархического типа ОКА .
• В НИИУМС (г. Пермь) завершена разработка СУБД БАНК типа CODASYL для платформы ЕС ЭВМ .
1978
• Опубликован заключительный отчет исследовательской группы ANSI/X3/SPARC по базам данных.
1979
• В компании IBM инициирован исследовательский проект System R* с це¬лью изучения методов реализации систем распределенных реляционных баз данных и апробации их на распределенной версии System R, которую предстоя¬ло разработать. Проект выполнялся до 1984 г.
• Компания Relation Software, переименованная впоследствии в Oracle, вы¬пустила первую коммерческую реляционную СУБД Oracle, поддерживающую язык SQL
• Началась эксплуатация отечественной СУБД ИНЕС (ИПУ, ВНИИСИ), поддерживающей иерархическую структуру базы данных с использо¬ванием техники хеширования и В-деревьев для организации среды хранения данных.
1981
• За цикл работ по созданию теории реляционных базданных АСМ удостои¬ла Э. Кодда Тьюринговской премии.
• В дипломной работе Я. Бен-Зви (J. Ben-Zvi) - студента Калифорнийского Университета в Лос-Анджелесе (UCLA) - были впервые сформулированы клю-чевые вдеи темпоральных баз данных, развитые в его диссертации (1982 г.) и спустя десятилетие получившие широкое признание.
1983
• Компания IBM начала выпуск линии своих реляционных программных продуктов СУБД DB2.
1984
• В исследовательском центре IBM Almaden Research начались работы по проекту Sturburst, главной целью которого было построение полного дей¬ствующего прототипа расширяемой в различных аспектах реляционной систе¬мы управления базами данных. Работы были завершены созданием прототипа в 1992 г.
1985
• Группа М. Стоунбрекера (М. Stonebraker) в Калифорнийском университете (Беркли) начала работы по проекту постреляционной СУБД Postgres (завер¬шился в 1994 г.) .
• В Институте кибернетики им. В.М. Глушкова Академии наук Украины за¬вершена разработка версии реляционной СУБД ПАЛЬМА для платформы ЕС ЭВМ в обстановке ОС ЕС .
• Компания Microrim Inc. Выпустила реляционную СУБД R:base 5000 для платформы IBM/PC-совместимых персональных компьютеров.
1986
• Принят стандарт ANSI языка SQL-86.
1987
• Принят стандарт ISO SQL-87 - первый международный стандарт языка SQL. Спецификации SQL-87 практически не отличаются от ANSI SQL-86.
• В Чапел-Хиле (штат Северная Каролина) состоялась первая Конференция АСМ по гипертексту и гипермедиа (АСМ Hypertext).
• Компания Nantucket Inc. выпустила свой программный продукт Clipper87 - ставший популярным компилятор диалекта языка dBase для IBM/PC-совместимых персональных компьютеров.
• Компания Apple выпустила первую коммерческую гипермедийную систему управления базами данных HyperCard для персональных компьютеров Macintosh.
• Дочерняя компания Borland International - Ansa Software выпустила СУБД Paradox для IBM/PC-совместимых персональных компьютеров.
• Компания Fox Software выпустила СУБД FoxBase+ семейства xBase для IBM/PC-совместимых персональных компьютеров.
1988
• Издательство Computer Science Press (США) выпустило первый том извест¬ного двухтомника Дж. Ульмана (]. Ullman) Principles of Database and Knowledge-Base Systems
• Компания Ashton-Tate выпустила версию - dBase IV своего семейства СУБД для IBM/PC-совместимых персональных компьютеров.
• Компания Oracle Corp. выпустила продукт Professional Oracle для платформ IBM/PC в среде MS DOS и PS/2 в среде OS/2.
Компания Software AG объявила о выпуске версий своих продуктов СУБД ADABAS и NATURAL для персональных компьютеров IBM/PC и PS/2.
• В США образован индустриальный консорциум SQL Access Group (SAG) поставщиков программного обеспечения реляционных систем баз данных, под¬держивающих язык SQL.
• Принята версия стандарта ANSI/ISO SQL-89, которая отличается от преды¬дущей версии стандарта SQL-87 несколькими нововведениями, прежде всего поддержкой целостности по ссылкам.
• Т. Бернерс-Ли (Т. Berners-Lee) подал заявку руководству ЦЕРН на проект "Гипертекст для ЦЕРН", воплощающий ключевые концепции Web-технологий.
• В Киото (Япония) состоялась Первая Международная конференция по де¬дуктивным и объектно-ориентированным базам данных (DOOD).
• Группа компаний в составе Microsoft, Sybase, Lotus, Digital завершила разра¬ботку спецификации SQL Connectivity - прототипа ODBC.
• Опубликован Манифест систем объектно-ориентированных баз данных .
• Издательство Computer Science Press (США) выпустило второй том из¬вестного двухтомника Дж. Ульмана (J. Ullman) Principles Of Database and Knowledge-Base Systems.
• ВИНИТИ выпустил в серии "Итоги науки и техники" том с обзорами С.Д. Кузнецова по материалам проекта System R и по оптимизации обработки запросов в реляционных СУБД.
1992
• Принят международный стандарт SQL-92 (ISO/IEC 9075:1992).
• Компания РЕЛЭКС (Воронеж) выпустила первую версию СУБД ЛИНТЕР, успешно развитой в последующие годы до уровня современного реляционного сервера баз данных .
1993
• В Национальном центре суперкомпьютерных приложений (NCSA) создан Mosaic - первый браузер для Web.
1994
• Учрежден международный индустриальный консорциум World Wide Web Consortium (W3C).
• В Женеве (Швейцария) состоялась Первая Международная конференция по WWW .
1996
• Принят стандарт хранимых процедур ANSI/ISO/IEC SQL/PSM - дополне¬ние к стандарту SQL-92.
• Компания Microsoft опубликовала спецификацию ODBC 3.0
• Компания Informix выпустила объектно-реляционный сервер баз данных Informix Universal Server.
• Российский гуманитарный научный фонд (РГНФ) объявил о начале кон¬курсного финансирования разработок информационных систем для поддержки гуманитарных научных исследований.
1997
• Компания IBM выпустила объектно-реляционный сервер баз данных DB2 Universal Database.
• Компания Oracle выпустила объектно-реляционный сервер баз данных Огас1е8.
1998
• Консорциум W3C принял стандарт расширяемого языка разметки XML 1.0
• В издательстве "Финансы и статистика" опубликована, монография A.M. Вендрова "CASE-технологии. Современные методы и средства проекти¬рования информационных систем".
1999
• Принят стандарт ISO/IEC/ANSI SQL1999 , спецификации кото¬рого далеко не исчерпывают функциональные возможности языка, предусмат¬риваемые проектом SQL3.
• Издательство "Вильяме" (Киев, Москва, СПб) выпустило в русском перево¬де 6-е издание книги К. Дейта "Введение в системы баз данных" [62].
2000
• Приняты в качестве международного стандарта ISO/IEC 13249:2000 три первые части спецификаций SQL multimedia and application packages - "Общая структура", "Полнотекстовые данные", "Пространственные данные" (см. 2.1.9).
• Индустриальный консорциум ODMG, расширивший сферу своей деятель¬ности и переименованный в 1998 г. в Object Data Management Group (ODMG), принял новую версию поддерживаемого им стандарта ODMG 3.0 (см. 2.2.5), ко¬торый называется теперь стандартом объектных данных.
• Консорциум ТРС принял новую версию стандарта эталонного теста TPC-W 1.0.1 для измерения производительности транзакционных Web-приложений
• Принята новая версия стандарта RDA/SQL удаленного доступа к SQL-ба-зам данных - ISO/IEC 9579:2000, разработанная JTC1.
• Одобрены спецификации ISO/IEC/ANSI SQL/MED дополнения к стан¬дарту SQL: 1999, определяющего возможности управления внешними данными в среде языка SQL.
• Консорциум OMG принял стандарт CWMI обмена метаданными между системами хранилищ данных, базирующимися на платформе CORBA.
• Консорциум W3C принял стандарт расширяемого языка гипертекстовой Разметки XHTML .
• Издательство "Лори" (Москва) выпустило русский перевод монографии Дж. Ульмана (J. Ullman) и Дж. Видом (J. Widom) "Введение в системы баз дан¬ных".


Проблемы
С течением времени изменяются условия функционирования систем баз данных, совершенствуются аппаратные средства, появляются новые сферы при¬ложений, меняются характер приложений, их требования. В силу этого становятся необходимыми иные подходы, эффективные решения в новых условиях. Эти решения усложняются или упрощаются. Но проблемы, перечисленные ниже - это проблемы на все времена. Исследователи и разработчики непременно будут обращаться к ним на каждом новом этапе.
• архитектурные аспекты систем баз данных;
• организация среды хранения и методы доступа;
• технологии и техника моделирования данных;
• методы оптимизации запросов;
• функциональность пользовательских интерфейсов;
• безопасность данных;
• управление конкурентным доступом, защита целостности и восстановление данных;
• поддержка очень больших баз данных;
• интероперабельность систем баз данных с другими системами;
• интеграция информационных ресурсов;
• реализация нетрадиционных приложений;
• технологии разработки приложений.