Информационный процесс накопления данных

Информационный процесс накопления данных.


1. Выбор хранимых данных
Технологический процесс накопления данных состоит из процедур хранения и актуализации данных. Кроме того, хранимые данные по запросу пользователя или программы должны быть быстро (особенно для систем реального време¬ни) и в достаточном объеме извлечены из области хранения и переведены в оперативные запоминающие устройства ЭВМ для последующего либо преобразования по заданным алгоритмам, либо отображения, либо передачи.
Основными этапами работы с данными в процессе накопления данных будут: выбор хранимых данных, хранение данных, их актуализация и извлечение.
Информационный фонд систем управления должен форми¬роваться на основе принципов необходимой полноты и минимальной избыточности хранимой информации. Эти принци¬пы реализуются процедурой выбора хранимых данных, в про¬цессе выполнения которой производится анализ циркулирующих в системе данных и на основе их группировки на входные, промежуточные и выходные определяется состав хранимых данных.
Входные данные - это данные, получаемые из первичной информации и создающие информационный образ предметной области.
Промежуточные данные - это данные, формирующиеся из других данных при алгоритмических преобразованиях. Как правило, они не хранятся, но накладывают ограничения на емкость оперативной памяти компьютера.
Выходные данные являются результатом обработки первичных (входных) данных по соответствующей модели, они входят в состав управляюще¬го информационного потока своего уровня и подлежат хране¬нию в определенном временном интервале.
То есть данные имеют свой жизненный цикл существования, который отображается в процедурах процесса накопления.
Процедуры хранения, актуализации и извлечения данных должны периодически сопровождаться оценкой необходимос¬ти их хранения, так как данные подвержены старению. Уста¬ревшие данные должны быть удалены.
Процедура хранения состоит в том, чтобы сформировать и поддерживать структуру хранения данных в памяти ЭВМ. Современные структуры хранения данных должны быть неза¬висимы от программ, использующих эти данные, и реализо¬вывать принципы: полнота и минимальная из¬быточность. Такие структуры получили название баз данных. Создание базы данных и осуществление актуализации, извлечения и удаления данных произ¬водится с помощью специальных программ, называемых сис¬темами управления базами данных.
Процедура актуализации данных позволяет изменить зна¬чения данных, записанных в базе, либо дополнить определен¬ный раздел, группу данных.
Процедура извлечения данных необходима для пересылки из базы данных требующихся данных либо для преобразования, либо для отображения, либо для передачи по вычислительной сети.
При выполнении процедур актуализации и извлечения обя¬зательно выполняются операции поиска данных по заданным признакам и их сортировки, состоящие в изменении порядка расположения данных при хранении или извлечении.
Процесс перехода от информационного (смыслового) уровня к физическому отличается трехуровне¬вой системой моделей представления информационной базы: концептуальной, логической и физической схем.
Концептуаль¬ная схема информационной базы (КСБ) описывает информа¬ционное содержание предлагаемой области без ориен¬тации на используемые в дальнейшем программные и тех¬нические средства, т.е. какая и в ка¬ком объеме информация должна накапливаться при реализа¬ции информационной технологии. Так же необходи¬мо провести анализ информационных потоков в системе в целях установления связи между элементами данных, их группировки в наборы входных, промежуточных и выход¬ных элементов данных, исключения избыточных связей и элементов данных.
Для анализа информационных потоков в управляемой системе исходными являются данные о парных взаимосвязях между наборами информационных элементов. Под информационными элементами понимают различные типы входных, промежуточных и выходных данных, которые составляют наборы входных, промежуточных и выходных элементов дан¬ных. Выде¬ление наборов элементов данных по уровням позволяет объе¬динить множество значений конечных элементов в логичес¬кие записи и тем самым упорядочить их в памяти ЭВМ.
От концептуальной структуры переходят к логической струк¬туре информационной базы.
Логическая схема инфор¬мационной базы (ЛСБ) формализовано описывает ее структуру и взаимосвязь элементов информации. При этом используются различные подходы: реляционный, иерархический, сетевой.
Затем переходят к физической организа¬ции информационных массивов.
Выбор подхода определяет и систему управления базой данных, которая, определя-ет физическую модель данных - физическую схему информа¬ционной базы (ФСБ), описывающую методы размещения дан¬ных и доступа к ним на физических носителях информации.

2.Модели баз данных.

БД- это система специальным образом организованных данных, программных, технических, языковых, организационно- методических средств, предназначенных для обеспечения централизованного накопления и коллективного много целевого использования данных.
Так же говорят, что БД – совместно используемый набор логически связанных данных (и описание этих данных), предназначенный для удовлетворения информационных потребностей организации.
Причем БД хранит не только рабочие данные этой организации, но и их описания. В совокупности описание данных называется системным каталогом или словарем данных, а сами элементы описания принято называть методанными, т.е. «данными о данных». Именно наличие самоописания данных в БД обеспечивает в ней независимость прикладных программ от данных. Независимость данных и ис¬пользующих их прикладных программ является основным свойством баз данных. Независимость данных подразумевает, что измене¬ние данных не приводит к изменению прикладных программ и наоборот.
Определение данных отделено от приложений, т.е. наряду с внутренним определением объекта существует его внешнее определение. Пользователь объекта видит его внешнее определение и не задумывается над тем как оно определяется и функционирует (такой подход называется абстрогирование данных). Можно изменить внутреннее определение объекта, при условии, что внешнее определение объекта останется неизменным. В БД структура данных отделена от приложений и хранится в базе данных. Добавление новых структур данных или изменение существующих никак не влияет на приложения, при условии, что они не зависят непосредственно от изменяемых компонентов.
Например, добавление нового поля в запись или создание нового файла никак не влияют на работу имеющихся приложений. Однако удаление поля из используемого приложением файла повлияет на это приложение, а потому его также потребуется соответствующим образом модифицировать.
При анализе информационных потребностей организации следует выделить сущности, атрибуты и связи.
Сущностью называется отдельный тип объекта (человек, место или вещь, понятие или событие), который нужно определить в базе данных.
Атрибутом называется свойство, которое описывает некоторую характеристику рассматриваемого объекта.
Связь – это то, что объединяет несколько сущностей.
То есть база данных представляет сущности, атрибуты и логические связи между объектами. Иначе говоря, база данных содержит логически связанные данные.
Взаимосвязи между элементами могут быть типизированы по следующим основным видам:
• "один к одному", когда одна запись может быть связана только с одной записью;
• "один ко многим", когда одна запись взаимосвязана со многими другими;
• "многие ко многим", когда одна и та же запись может вхо¬дить в отношения со многими другими записями в различных вариантах.
Применение того или иного вида взаимосвязей определило три основные модели баз данных: иерархическую, сетевую, ре¬ляционную.
Иерархическая модель представляется в виде древовидного графа, в котором объекты выделяются по уровням соподчиненности (иерархии) объектов. В иерархической модели должно соблюдаться правило: каждый порожденный узел не может иметь больше одного порождающего узла (толь¬ко одна входящая стрелка) и имеет один или более порожденных узлов; в структуре может быть только один не порожденный узел (без входящей стрелки) - корень. Узел интегрируется как запись. Для поиска необходимой за-писи нужно двигаться от корня к листьям, т.е. сверху вниз, что значительно упрощает доступ. Достоинство иерархичес¬кой модели данных состоит в том, что она позволяет описать их структуру, как на логическом, так и на физическом уровне.
Недостатками данной модели являются жесткая фиксированность взаимосвязей между элементами данных, вслед¬ствие чего любые изменения связей требуют изменения струк¬туры, а также жесткая зависимость физической и логической организации данных. Быстрота доступа в иерархической мо¬дели достигнута за счет потери информационной гибкости.
В иерархической модели используется вид связи между эле¬ментами данных "один ко многим".
Сетевая модель базы данных пред¬ставлена в виде диаграммы связей (рис. 4.2). В сетевой модели допустимы любые виды связей между записями и отсутствует ограничение на число обратных связей (каждый узел может быть связан с любым другим узлом). Но должно соблюдаться одно правило: связь включает основную и зависимую записи.
В сетевой модели применяется взаимо¬связь вида "многие ко многим".
Достоинство сетевой модели БД - большая информа¬ционная гибкость по сравнению с иерархической моделью. Од¬нако сохраняется общий для обеих моделей недостаток – достаточно жесткая структура, что препятствует развитию ин¬формационной базы системы управления.
При необходимос¬ти частой реорганизации информационной базы (например, при использовании настраиваемых базовых информационных тех¬нологий) применяют наиболее совершенную модель БД – ре¬ляционную, в которой отсутствуют различия между объекта¬ми и взаимосвязями.
В реляционной модели базы данных взаимосвязи между эле¬ментами данных представляются в виде двумерных таблиц, называемых отношениями (математических отношениях). Отношения обладают следующи¬ми свойствами: каждый элемент таблицы представляет со¬бой один элемент данных (повторяющиеся группы отсутствуют); элементы столбца имеют одинаковую природу, и столбцам однозначно присвоены имена; в таблице нет двух одинаковых строк; строки и столбцы могут просматривать¬ся в любом порядке вне зависимости от их информационного содержания. Преимуществами реляционной моде¬ли БД являются простота логической модели (таблицы при¬вычны для представления информации); гибкость системы защиты (для каждого отношения может быть задана право¬мерность доступа); независимость данных; возможность по¬строения простого языка манипулирования данными с по¬мощью математически строгой теории реляционной алгеб¬ры (алгебры отношений). Собственно, наличие строгого ма-тематического аппарата для реляционной модели баз данных и обусловило ее наибольшее распространение и перспектив¬ность в современных информационных технологиях.

3.Программно-аппаратный уровень процесса накопления данных

Мы говорили, что создание базы данных и осуществление актуализации, извлечения и удаления данных произ¬водится с помощью специальных программ, называемых сис¬темами управления базами данных.
Логический (модельный) уровень процесса накопления связан с физическим через программы, осуществляющие создание канонической структуры БД, схемы ее хранения и работу с данными (рис. 4.3). Каноническая структура БД создается с помощью модели выбора хранимых данных. Формализованное описание БД, производится с помощью трех моделей: модели хранения дан¬ных (структура БД), модели актуализации данных и модели извлечения данных. На основе этих моделей разрабатываются соответствующие программы: создания канонической структуры БД (ПКС), создания структуры хранения БД (ПС), акту¬ализации (ПА) и извлечения данных (ПИ).
На рис. 4.3 программы, входящие в СУБД, заключены в пунк¬тирный прямоугольник.

Рис. 3. Состав моделей и программ процесса накопления

СУБД- это программное обеспечение, которое взаимодействует с прикладными программами пользователя и базой данных и обладает следующими свойствами:
• Позволяет создать базу данных, что обычно осуществляется с помощью языка определения данных (DDL- Data Definition Language). Язык DDL предоставляет пользователям средства указания типа данных и их структуры, а также средства задания ограничений для информации хранимой в базе данных.
• Позволяет вставлять, обновлять, удалять и извлекать информацию из базы данных, что обычно осуществляется с помощью языка манипулирования данными (DML- Data Manipulation Language). Наличие централизованного хранилища всех данных и их описаний позволяет использовать язык DML как общий инструмент организации запросов, который иногда называют языком запросов. Наличие языка запросов позволяет устранить присущие файловым системам ограничения, при которых пользователям приходится иметь дело только с фиксированным набором запросов или постоянно возрастающим количеством программ, что порождает другие, более сложные проблемы управления программным обеспечением. Распространенным типом непроцедурного языка является язык структурированных запросов (SQL).
• Предоставляет контролируемый доступ к базе данных с помощью следующих средств:
-системы обеспечения защиты, предотвращающий несанкционированный доступ к базе данных со стороны пользователей;
- системы поддержки целостности данных, обеспечивающей непротиворечивое состояние хранимых данных;
- системы управления параллельной работой приложений, контролирующей процессы их совместного доступа к базе данных;
- системы восстановления, позволяющей восстановить базу данных до предыдущего непротиворечивого состояния, нарушенного в результате сбоя аппаратного или программного обеспечения;
- доступного пользователям каталога, содержащего описание хранимой в базе данных информации.
Цель СУБД – предложить пользователю абстрактное представление данных, скрыв конкретные особенности хранения и управления ими. Следовательно отправной точкой при проектирование базы данных должно быть абстрактное и общее описание информационных потребностей организации.
То есть, современная СУБД содержит в своем составе програм¬мные средства создания баз данных, средства работы с дан¬ными и дополнительные, сервисные средства (рис. 4.4). С помощью средств создания БД проектировщик, используя язык описания данных (ЯОД), переводит логическую модель БД в физическую структуру, а на языке манипуляции данными (ЯМД) разрабатывает программы, реализующие основные операции с данными (в реляционных БД - это реляционные операции). При проектировании привлекаются визуальные средства, т.е. объекты, и программа-отладчик, с помощью ко¬торой соединяются и тестируются отдельные блоки разрабо-танной программы управления конкретной БД.
Средства работы с данными предназначены для пользова¬теля БД. Они позволяют установить удобный (как правило, графический многооконный) интерфейс с пользователем, создать необходимую функциональную конфигурацию экранного представления выводимой и вводимой информации, производить операции с данными БД, манипулируя текстовыми и графическими экранными объектами.
Дополнительные (сервисные) средства позволяют при проектировании и использовании БД привлечь к работе с БД другие системы.

Рис. 4. Состав СУБД
СУБД принципиально различаются по моделям БД, с которыми они работают. Если модель БД реляционная, то нужно использовать реляционную СУБД, если сетевая – сетевую СУБД и т.д.
Для решения проблемы «устранения» излишних данных в СУБД предусмотрен механизм создания представлений, который позволяет пользователю иметь свой собственный «образ» базы данных (представление можно рассматривать как некоторое подмножество базы данных). Например, можно организовать представление, в котором сотрудникам отдела контрактов будут доступны только те данные, которые необходимы для оформления договоров аренды.
Представления обладают и другими достоинствами:
Обеспечивают дополнительный уровень безопасности. Представления могут создаваться с целью исключения тех данных, которые не должны видеть некоторые пользователи.
Предоставляют механизм настройки внешнего интерфейса базы данных.
Позволяют сохранять внешний интерфейс базы данных непротиворечивым и неизменным даже при внесении изменений в ее структуру – например, при добавлении и удалении полей, изменении связей, разбиении файлов, их реорганизации или переименовании.
Реальный объем функциональных возможностей зависит от конкретной СУБД. Например, в СУБД для персонального компьютера может не поддерживаться параллельный совместный доступ, а управление режимом защиты, поддержанием целостности данных и восстановлением будет присутствовать только в очень ограниченной степени. Однако современные мощные многопользовательские СУБД предлагают все выше перечисленные функциональные возможности и многое другое. Современные системы представляют собой чрезвычайно сложное программное обеспечение. Программное обеспечение СУБД постоянно совершенствуется и все больше расширяется, чтобы удовлетворять все новым требованиям пользователей.

Компоненты среды СУБД.
1. Аппаратное обеспечение.
Оно может варьироваться от одного персонального компьютера или мэйнфрейма до сети из многих компьютеров. Аппаратное обеспечение зависит от типа СУБД и от требований данной организации. Одни СУБД предназначены для работы только с конкретными типами операционных систем или оборудования, другие могут работать с широким кругом аппаратного обеспечения и различными операционными системами.
2. Программное обеспечение.
Этот компонент охватывает программное обеспечение самой СУБД прикладных программ, вместе с операционной системой, включая и сетевое программное обеспечение, если СУБД используется в сети. Обычно приложения создаются на языках третьего поколения, таких как С, Java, COBOL, или на языках четвертого поколения SQL, операторы которых внедряются в программы на языках третьего поколения. Впрочем, СУБД может иметь свои собственные инструменты четвертого поколения, предназначенные для быстрой разработки приложений с использованием встроенных непроцедурных языков запросов, генераторов отчетов, форм, графических изображений и даже полномасштабных приложений.
3. Данные.
Данные играют роль моста между компьютером и человеком. База данных содержит как рабочие данные, так и метаданные.
4. Процедуры.
К ним относятся правила и инструкции, которые должны учитываться при проектирование и использование баз данных. Пользователям и обслуживающему персоналу базы данных необходимо предоставить документацию, содержащую подробное описание процедур использования и сопровождения данной системы, включая инструкции о правилах:
Регистрации СУБД;
Использование отдельного элемента СУБД;
Запуск и останов СУБД;
Создание резервных копий СУБД;
Обработка сбоев аппаратного и программного обеспечения, включая процедуры идентификации вышедшего из строя компонента, исправление отказавшего компонента, а также восстановление базы данных после устранения неисправности;
Изменение структуры таблицы, реорганизация базы данных.
5. Пользователи.
- администраторы данных и баз данных;
База данных и СУБД являются корпоративными ресурсами, которыми следует управлять так же, как и любыми другими ресурсами.
Администраторы данных (АД) отвечает за управление данными, включая планирование базы данных, разработку и сопровождение стандартов, прикладных алгоритмов и деловых процедур, а также за концептуальное логическое проектирование базы данных. АД консультирует и дает свои рекомендации руководству высшего звена, контролируя соответствие общего направления развития базы данных установленным корпоративным целям.
АБД отвечает за физическую реализацию базы даны, включая физическое проектирование и воплощение проекта, за обеспечение безопасности и целостности данных, за сопровождение операционной системы, а так же за обеспечение максимальной производительности приложений и пользователей.
- разработчики баз данных;
Разработчики логической базы данных.
Занимаются идентификацией данных, т.е.сущностей и их атрибутов; связей между данными; устанавливают ограничения, накладываемые на хранимые данные. Они должны обладать всесторонним и полным пониманием структуры данных организации и ее делового регламента. Деловой регламент описывает основные требования к системе с точки зрения организации. Разработчики физической базы данных.
Занимаются физической реализацией логической модели, в том числе:
Преобразованием логической модели данных в набор таблиц и ограничений целостности данных;
Выбором конкретной структуры хранения данных и методов доступа к данным, обеспечивающих необходимый уровень производительности при работе с базой данных;
Проектирование любых требуемых мер защиты данных.
Этапы физического проектирования зависят от выбранной целевой СУБД.
- прикладные программисты;
После создания баз данных необходимо приступить к разработке приложений, предоставляющих пользователям необходимые функциональные возможности. Программисты работают на основе спецификаций, созданных системными аналитиками. Каждая программа содержит операторы, требующих от СУБД выполнение определенных действий с БД(извлечение, удаление данных и т.д.).
- конечные пользователи.
Они являются клиентами БД. Пользователей можно классифицировать по способу использования ими системы.
Рядовые пользователи. Они обычно не подозревают о существование СУБД. Они обращаются к БД с помощью специальных приложений, позволяющих в максимальной степени упростить выполняемые ими операции. Такие пользователи инициируют выполнение операций БД, вводя простейшие команды или выбирая команды меню (кассир в супермаркете).
Опытные пользователи.
Те, которые знакомы с БД и СУБД. Для выполнения требуемых операций они могут использовать языки запросов, а некоторые даже создать собственные прикладные программы.
Вопросы для самоконтроля.
1. Виды данных.
2. Что представляет собой модель информационной базы.
3. Определение базы данных.
4. Основные характеристики баз данных.
5. Модели баз данных.
6. Определение СУБД.
7. Основные компоненты СУБД.