Статистический пакет STATISTIKA

Статистический пакет STATISTIKA

27

Содержание

Введение

1. Теоретические сведения

1.1 Статистика. Виды статистического анализа

1.2 Статистический пакет STATISTICA

2. Статистический анализ экономических данных в STATISTICA

2.1 Практическое задание. Корреляционно-регрессионный анализ в STATISTICA

2.2 Практическое задание

2. Кластерный анализ в STATISTICA

Введение

Для обеспечения эффективности производства необходимо четко знать:

- Как анализировать и прогнозировать процессы?

- Как повысить эффективность производства и сократить затраты?

- Как обеспечить стабильность показателей качества продукции?

- Как принять оптимальное решение на основе анализа данных?

- Как организовать управление корпоративными источниками информации?

Для решения этих и многих других задач в области социологических и маркетинговых исследований, прогнозирования и управления качеством необходимы знания математической и экономической статистики. Принятие любого технического, финансового и производственного решения немыслимо без статистического анализа информации; выделять закономерности из случайностей, сравнивать вероятные альтернативы выбора, строить прогнозы развития процессов, обнаруживать связи и различия множества объектов возможно только и исключительно средствами математической статистики.

Статистика позволяет адекватно оценивать складывающуюся ситуацию и выявлять тенденции, принимать оперативные и стратегические решения. В условиях современной рыночной экономики статистическая информация стала важным инструментом борьбы и выживания на рынке. Поэтому пакеты статистического анализа данных являются настольным рабочим инструментом специалистов любого уровня. А для специалиста в области управления и экономики знание статистических методов обработки информации и современных компьютерных технологий, которые позволят автоматизировать громоздкие расчеты, абсолютно необходимы.

Современный экономист должен владеть несколькими основными программными средствами, в которых заложены методы статистического анализа. MS Excel предлагает широкий диапазон средств для анализа статистических и экспериментальных данных. В группу статистических функций входят функции корреляционного анализа. Кроме встроенных средств можно использовать надстройку Пакет анализа (Сервис/Надстройки/Пакет Анализа) для проведения регрессионного и дисперсионного анализа.

MathCad также имеет развитый аппарат работы с задачами математической статистики и обработки эксперимента. Во-первых, имеется большое количество встроенных специальных функций, позволяющих рассчитывать плотности вероятности и другие основные характеристики основных законов распределения случайных величин. Наряду с этим, в MathCad запрограммировано соответствующее количество генераторов псевдослучайных чисел для каждого закона распределения, что позволяет эффективно проводить моделирование методами Монте-Карло. Во-вторых, предусмотрена возможность построения гистограмм и расчета статистических характеристик выборок случайных чисел и случайных процессов, таких как средние, дисперсии, корреляции и т. п. При этом случайные последовательности могут как создаваться генераторами случайных чисел, так и вводиться из файлов. В-третьих, имеется целый арсенал средств, направленных на интерполяцию-экстраполяцию данных, построение регрессии по методу наименьших квадратов, фильтрацию сигналов. Наконец, реализован ряд численных алгоритмов, осуществляющих расчет различных интегральных преобразований, что позволяет организовать спектральный анализ различного типа.

Однако ведущим пакетом статистического анализа является система STATISTICA, которая основана на самых современных технологиях, полностью соответствует последним достижениям в области IT, позволяет решать любые задачи в области анализа и обработки данных, идеально подходит для применения в любой области: маркетинге, финансах, страховании, экономике, бизнесе, промышленности, медицине и др. Например, решение поставленных в начале статьи задач, может быть реализовано на базе промышленных модулей STATISTICA (карты контроля качества, планирование экспериментов, анализ процессов).

Направление связи определяется знаками : близость к +1 означает, что возрастанию одного набора значений соответствует возрастание другого набора, близость к -1 означает обратное.

Для наглядности измерения всех связей в случае множественной корреляции целесообразно использовать корреляционную матрицу - матрицу из попарных коэффициентов корреляции.

Регрессионный анализ

Регрессионный анализ - вид статистического анализа, который состоит в представлении зависимости одних факторов от других в виде некоторой функции (уравнения регрессии) с помощью которой осуществляется прогнозирование и поиск ответа на вопросы «Что будет через какое-то время?» или «Что будет, если…?».

В случае парной регрессии уравнение определяется по двум наборам данных, один из которых представляет значения зависимой переменной y, а другой - независимой переменной х. В случае множественной регрессии уравнение определяется по нескольким наборам данных, один из которых представляет значения зависимой переменной y, а другие независимыми переменными х1, х2,…, xm.

Получение уравнения регрессии происходит в два этапа: подбор вида функции и вычисление параметров функции.

Выбор функции, в большинстве случаев, производятся среди линейной, квадратичной, степенной и др. видов функций (табл. 2). К функции предъявляются следующие требования: она должна быть достаточно простой для использования ее в дальнейших вычислениях и график этой функции должен проходить вблизи экспериментальных точек так, чтобы сумма квадратов отклонений y-координаты всех экспериментальных точек от y-координат графика функции была ба минимальной (метод наименьших квадратов).

Таблица 2 - Виды функций, применяемых в регрессионных моделях

? Какой вид регрессионного анализа (парный или множественный) в большей степени отвечает реальным условиям?

? Можно ли учесть все факторы х1, х2,…, xm, …в случае множественной корреляции?

Для количественной оценки точности построения уравнения регрессии предназначен коэффициент детерминации R2, равный квадрату коэффициента корреляции и указывающий, какой процент изменения функции у объясняется воздействием факторов хk. Чем его значение ближе к 1, тем уравнение точнее описывает исследуемую зависимость.

Значимое уравнение (с R2 близким к 1) используется, как правило, для прогнозирования изучаемого явления. Прогноз - это вероятностное суждение о будущем, полученное путем использования совокупности научных методов. Например, прогнозирование финансового состояния выполняется для того, чтобы получить ответы на два вопроса: «как это может быть (какими могут стать финансовые показатели, если не будут приняты меры по их изменению)» и «как это должно быть (какими должны стать финансовые показатели фирмы для того, чтобы ее финансовое состояние обеспечивало высокий уровень конкурентоспособности)». Прогнозирование с целью получения ответа на первый вопрос принято называть исследовательским, на второй - нормативным.

Существует два способа прогнозов по уравнению регрессии: в пределах экспериментальных значений (интерполяция) и за пределами (экстраполяция). Применимость всякой регрессионной модели ограничена, особенно за пределами экспериментальной области, т.к. характер зависимости может существенно измениться. Поэтому достоверность исследовательского прогноза может быть невысокой. Однако его выполнение полностью обосновано.

С использованием системы STATISTICA необходимо:

1) для y и переменных, соответствующих варианту (см. таб. 4), построить матрицу частных коэффициентов корреляции (корреляционную матрицу). Изобразить матрицу в графическом виде.

Таблица 4 - Варианты заданий

2) построить линейное уравнение множественной регрессии, выбрав в качестве зависимой переменной - y, в качестве независимых - переменные хi, соответствующие варианту (см. таб. 4).

3) Определить коэффициент множественной корреляции и коэффициент детерминации R2 полученной модели

4) Проверить значимость построенной модели (например, используя уровень значимости б=0,05).

5) Если модель значима дать оценку коэффициентов множественной регрессии на основе t-критерия, если tтабл(15-4-1)= tтабл(10)=2,2281 и уровня значимости б=0,05.

6) Пересчитать уравнение множественной регрессии используя только значимые факторы.

7) Проверить адекватность регрессионной модели (полученной на предыдущем этапе анализа).

8) Осуществить прогнозирование в соответствии с вариантом

9) Оформить отчет о проделанной работе используя распечатки отчета, полученного средствами пакета STATISTICA или в MS Word.

Порядок выполнения задания

В системе STATISTICA для построения корреляционной матрицы можно воспользоваться модулем Basic Statistics/Tables (Основные статистики и таблицы), выбрав процедуры , используя в качестве переменных все исходные данные (Select all). И процедуру для представления матрицы в графическом виде.

По корреляционной матрице можно в первом приближении судить о тесноте связи факторных признаков х1, х2,…,xm между собой и с результативным признаком y, а также осуществлять предварительный отбор факторов для включения их в уравнение регрессии. При этом не следует включать в модель факторы, слабо коррелирующие с результативным признаком и тесно связанные между собой. Не допускается включать в модель функционально связанные между собой факторные признаки, так как это приводит к неопределенности решения.

Выбор уравнения модели, в большинстве случаев, производятся среди функций перечисленных в таблице 3. В системе STATISTICA для построения линейного уравнения множественной регрессии можно воспользоваться модулем множественной регрессии , определив зависимую (dependent) переменную y и независимые (independent) переменные х1, х2, x3, x4.

Статистический вывод о пригодности (значимости) уравнения регрессии в системе Statistica обычно проверяется в следующей последовательности.

10. Проводится общая проверка модели, целью которой является выяснение, объясняют ли х-переменные значимую долю изменения у. Определение значимости модели рекомендуется проводить по следующим методам (см. табл. 5).

Таблица 5

Если регрессия не является значимой, то говорить больше не о чем.

В при веденном примере модель значима, т.к. вычисленный уровень значимости модели р=0,000000<0,05.

Осуществив переход к результатам регрессии (Summary: Regression results) получаем уравнение линейной множественной регрессии вида y(x1, x2, x3, x4)=6,9+0,07x1 -0,00035x2-2,08x3+0,00003x4:

2. Если регрессия оказывается значимой, то существует взаимосвязь между параметром у и переменными х1, х2,…,xm. Однако остается неясно, каково влияние конкретных факторов х1, х2,…,xm на исследуемую функцию у. Можно продолжить анализ, используя t-тесты для отдельных коэффициентов регрессии а0, a1, a2,…,am с целью выяснить, насколько значимой является влияние той или иной переменной х на параметр у при условии, что все другие факторы хk остаются неизменными. Проверку на адекватность коэффициентов регрессии рекомендуется проводить по следующим эквивалентным методам (см. табл. 5).

Таблица 5

Т.к. вычисленные уровни значимости p-level для коэффициентов, стоящих при x2 и x4 меньше 0,05, то они не значимы. К аналогичному выводу можно прийти, воспользовавшись t-критерием: t2(10)=-0,013<2,228 и t3(10)=1,44<2,228.

С учетом этого факта, пересчитаем уравнение множественной регрессии, выбрав в качестве зависимой (dependent) переменную y и независимые (independent) переменные х1 и x3, коэффициенты при которых значимы:

Получаем:

Т.о., уравнение регрессии имеет вид

y(x1, x3)=4,957+0,096x1-1,559x3

Для выполнения прогнозов по полученному уравнению необходимо показать, что регрессионная модель адекватна результатам наблюдений. С этой целью можно воспользоваться критерием Дарбина-Уотсона, согласно которого, рассчитанный системой Statistica коэффициент dрасч необходимо сравнить с табличным значением dтабл (для совокупности объемом n=15, уровня значимости =0,05 и трех оцениваемых параметров регрессии, значение dтабл=1,75). Если dрасч>dтабл, то полученная модель адекватна и пригодна для прогнозирования. Для определения dрасч в Statistica в окне Residual Analysis на вкладке Advanced необходимо выбрать опцию Durbin-Watson statistic:

В рассматриваемом примере dрасч=1,2<1,75, следовательно, модель не желательно использовать для прогнозирования.

В случае, когда модель адекватна результатам наблюдения для выполнения прогноза в окне Multyple Regression Results вкладки Residuals/assumptions/prediction (Остатки/Предположения/Прогнозирование) выбрать опцию (прогнозирование зависимой переменной). Например, если в Москве среднегодовую стоимость основных фондов (переменная x1) повысить на 50 тыс. руб., а трудоемкость единицы продукции (переменная х3) уменьшить в два раза, то следует ожидать производительности труда равной 19,16 (увеличится на 19,16-14=5,16):

1) дополнить таблицу до 20 значений. Данные можно не просто придумать, а взять из любых примеров деятельности банков того или иного города, приведенных в книгах по статистике, эконометрике, СМИ, Internet или любых иных источников.

2) построить график по исходным данным (Scatterplot)

3) c использованием системы STATISTICA выяснить (дать рекомендацию) акции каких банков некоторому предприятию имеет смысл приобрести, каких - придержать, а от каких - избавиться.

Таблица

Порядок выполнения задания

Кластерный анализ - один из методов статистического многомерного анализа, предназначенный для группировки (кластеризации) совокупности элементов, которые характеризуются многими факторами, и получения однородных групп (кластеров). Задача кластерного анализа состоит в представлении исходной информации об элементах в сжатом виде без ее существенной потери.

STATISTICA предлагает несколько методов кластерного анализа. В дальнейшем будем использовать Joining (tree clustering) - группу иерархических методов (7 видов), которые используются в том случае, если число кластеров заранее неизвестно.

Используемый метод - Ward's method - метод Уорда, который хорошо работает с небольшим количеством элементов и нацелен на выбор кластеров с примерно одинаковым количеством членов. В качестве метрики расстояния пакет предлагает различные меры, но наиболее употребительными являются Euclidean distance (евклидово расстояние). При кластеризации элементов в пакете STATISTICA следует выбирать режим: cases (rows) - строки, а при кластеризации факторов: variables (columns) - столбцы. В качестве переменных для рассматриваемого примере следует выбрать все переменные (all).

Для вывода результатов на экран следует выбрать

либо .

Вывести график на печать.

Проанализировать результат и заполнить таблицу.