1.03. Метод наименьших квадратов. Прямолинейный характер связи между двумя экономическими факторами

Теперь мы обсудим вопрос о том, каким образом можно (хотя бы приблизительно) восстановить гипотетическую линейную связь между переменными, если таковая действительно существует.

Мы уже заметили, что при наличии объективной тенденции поддержания линейной связи между переменными и естественно рассмотреть Линейную модель наблюдений

Если и — «истинные» значения параметров линейной модели связи, то

Представляет собой Ошибку в - м наблюдении (Error, Или Disturbance). Однако, даже при действительном существовании линейной связи, параметры и такой связи остаются Неизвестными, и мы можем судить об их истинных значениях лишь Приближенно, Оценивая значения и на основании ограниченного количества имеющихся данных наблюдений (статистических таблиц).

Поиск подходящих оценок для и можно осуществлять, например, путем поиска на диаграмме рассеяния прямой, проходящей через точку — «центр» системы точек и «Наилучшим образом» выражающей направление вытянутости этой системы (облака) точек. Пусть прямая

Рассматривается в числе прочих в процессе такого поиска. Для - го наблюдения мы будем наблюдать тогда расхождение («невязку»)

Причем значения могут быть как положительными, так и отрицательными. При изменении значений и будет изменяться и алгебраическая сумма невязок . С этой точки зрения, мы можем остановить свой выбор на прямой, для которой соблюдается баланс положительных и отрицательных невязок, так что

Соответствующие этой прямой значения и будем обозначать как и . Итак, прямая

Проходит через точку , и если обозначить еще

То тогда

Значение называется Остатком В I - М наблюдении. Для реальных данных, как правило, Все остатки отличны от нуля, так что часть из них имеет положительный знак, а остальные — отрицательный.

Оказывается, что ту же самую прямую можно получить, исходя из другого принципа — Принципа наименьших квадратов. Согласно этому принципу, среди всех возможных значений ,, претендующих на роль оценок параметров и , Следует выбирать такую пару ,, для которой

Иначе говоря, выбирается такая пара ,, для которой Сумма квадратов невязок оказывается наименьшей. Получаемые при этом оценки называются Оценками наименьших Квадратов, и можно показать, что они Совпадают с ранее определенными оценками и , Так что

Заметим, что при построении оценок наименьших квадратов заранее Не требуется, Чтобы соответствующая прямая проходила через точку ; этот факт является Свойством Оценок наименьших квадратов. НаЛичие такого свойства мы докажем чуть позднее, а сейчас обратимся к вопросу о том, как Практически найти указанные оценки и .

Если исходить из первого определения, то прежде всего следует заметить, что если прямая проходит через точку , то тогда , Так что

И для поиска «наилучшей» прямой достаточно определить ее угловой коэффициент . Изменяя значения и следя за изменением значений , Мы можем, в принципе, найти искомое с любой наперед заданной точностью.

Использование непосредственного перебора значений , с целью минимизации суммы квадратов

При реализации метода наименьших квадратов также возможно, хотя и требует, конечно, существенно больших вычислительных усилий.

Было бы идеальным, если бы существовала возможность Прямого вычисления значений и по какой-нибудь формуле на основании известных значений . Такую возможность нам предоставляет еще один подход к поиску параметров , «наилучшей» прямой.

Заметим, что через каждую пару точек на диаграмме рассеяния можно провести прямую. Всего таких прямых (с учетом совпадающих точек) будет ровно столько, сколько различных пар индексов можно образовать на основе индексов . А количество таких пар индексов равно Числу сочетаний из элементов по два. Из комбинаторной математики известно, что последняя величина равна . Пусть прямая, проходящая через- ю пару точек, имеет вид

А точки, через которые она проводится, имеют абсциссы и , соответственно.

Обратимся опять к диаграмме рассеяния. Из этой диаграммы видно, что параметры и будут очень сильно отличаться для различных пар, и для многих пар не будут иметь ничего общего с параметрами , «наилучшей» прямой. Оказывается, однако, что эти значения и можно получить как взвешенные суммы значений параметров отдельных прямых:

Где и веса имеют вид

Нетрудно заметить, что большие веса придаются тем прямым, которые строятся по точкам с далеко разнесенными абсциссами.

Итак, мы имеем возможность получать оценки наименьших квадратов чисто Аналитически, сначала вычисляя параметры отдельных прямых, а затем взвешивая полученные значения. Однако, существует еще один способ получения точных формул для и , Исходящий из принципа наименьших квадратов.

Согласно этому принципу, оценки и находятся путем минимизации суммы квадратов

По всем возможным значениям и при заданных (наблюдаемых) значениях. Функция как функция двух переменных описывает поверхность в трехмерном пространстве с прямоугольной системой координат , И дело сводится к известной математической задаче поиска точки минимума функции двух переменных.

Такая точка находится путем приравнивания нулю Частных производных функции по переменным и , т. е. приравниванием нулю производной функции как функции только от при фиксированном ,

И производной функции как функции только от при фиксированном ,

Это приводит к так называемой Системе нормальных уравнений

Решением которой и является пара , . Остается заметить, что согласно правилам вычисления производных,

Так что искомые значения , удовлетворяют соотношениям

Эту систему двух уравнений можно записать также в виде

Последняя система является Системой двух линейных уравнений с двумя неизвестными и может быть легко решена, например, методом подстановки.

Из первого уравнения системы находим:

Так что точка действительно Лежит на прямой . Подстановка полученного выражения для во второе уравнение системы дает

Откуда

Заметим еще, что

Последние соотношения позволяют получить более употребительную форму записи выражения для (в отклонениях от средних значений)

Которая в паре с выражением

Дает явное и простое решение задачи отыскания оценок , на основе принципа наименьших квадратов.

Разумеется, такое решение может существовать только при выполнении условия

Что равносильно Отличию от нуля определителя системы. Действительно, этот определитель равен

Последнее условие называется Условием идентифицируемости модели наблюдений , И означает попросту, что Не все значения Совпадают между собой. При нарушении этого условия Все точки , лежат на одной Вертикальной прямой

Оценки и обычно называют Оценками наименьших квадратов (Least squares estimates), или LS — оценками. Обратим еще раз внимание на полученное выражение для . Нетрудно видеть, что в это выражение входят уже знакомые нам суммы квадратов, участвовавшие ранее в определении выборочной дисперсии и выборочной ковариации так что, в этих терминах,

Отсюда, в частности, видно, что значения близки к нулю, если ковариация между наблюдаемыми значениями переменных и близка к нулю. (Однако, близость к нулю здесь следует понимать как Относительную, С учетом реальных значений выборочной дисперсии .) Кроме того, знак Совпадает со знаком ковариации , поскольку .

Вычисление значений и для нашего примера дает значения

Таким образом, «наилучшая» прямая имеет вид

И мы принимаем ее в качестве аппроксимации для «истинной» модели линейной связи между переменными и . Эта аппроксимация указывает на то, что при изменении переменной на единицу (измерения ) переменная изменяется «в среднем» на единиц (измерения ).

Факт горизонтальности прямой при и наличие у этой прямой наклона при , позволяют произвести некоторую детализацию структуры остатков С этой целью, опять рассмотрим диаграмму рассеяния, сосредоточившись на какой-нибудь одной точке. Пусть в нашем примере это точка A = (7.1, 3.3). Опустим из этой точки перпендикуляр на ось абсцисс. Он пересечет прямую в точке B = (7.1, 3.118) и прямую в точке C = (7.1, 3.183), так что расстояние по вертикали от точки A до прямой , равное AB = 3.3 — 3.118= 0.182, раскладывается в сумму

Отсюда находим, что расстояние по вертикали от точки A До прямой равно AC = AB — CB = 0.182 — (3.183 — 3.118) = 0.117.

Вообще, для любой точки на диаграмме рассеяния можно записать:

Где - ордината точки «наилучшей» прямой, имеющей абсциссу . Возведем обе части последнего представления в квадрат и просуммируем левые и правые части полученных для каждого I Равенств:

Входящая в правую часть сумма

Называется чаще всего Остаточной суммой квадратов (Residual sum of squares) и имеет аббревиатуру RSS (Доугерти, Айвазян-Мхитарян, Себер), хотя в литературе по эконометрике можно встретить и такие варианты аббревиатур как SSR (Green), а также ESS (Error sum of squares — Harvey, Chatterjie) и SSE (Магнус-Катышев-Пересецкий). Поэтому, при чтении различных руководств по эконометрике следует обратить особое внимание на то, какие именно термины и обозначения используются авторами.

Заметим, что если , то и . Следовательно, при

При , по самому определению прямой , имеем

Тенденция линейной связи между и Выражена в максимальной степени, если . При этом, Все точки , I = 1, 2,..., N, располагаются На одной прямой . Тенденция линейной связи между переменными и Не обнаруживается вовсе, если совпадает с Таким образом, есть определенные основания предложить в качестве «Меры Выраженности» в данных наблюдений линейной связи между переменными величину

Называемую Коэффициентом детерминации. Этот коэффициент изменяется в пределах от (при , т. е. ) до (при ),

Вернемся, однако, к полученному ранее представлению В виде

И рассмотрим третью сумму в правой части этого представления. Имеем:

Но

(см. первое уравнение из системы нормальных уравнений). К тому же,

(см. второе уравнение из системы нормальных уравнений). Таким образом,

И, следовательно, справедливо представление

Так что

Т. е. получено второе представление для в виде

Стоящую здесь в числителе сумму квадратов мы будем называть Суммой квадратов, объясненной моделью (Explained sum of squares), и будем использовать для ее обозначения аббревиатуру ESS, так что

Сумму квадратов, стоящую в знаменателе, будем называть Полной суммой квадратов (Total sum of squares) и будем использовать для ее обозначения аббревиатуру TSS, так что

Напомним также, что нами уже была определена Остаточная сумма квадратов

Все эти три суммы квадратов связаны соотношением

Которое представляет собой Разложение полной суммы квадратов на сумму квадратов, объясненную моделью, и остаточную сумму квадратов. Используя эти три суммы, мы находим также, что

Таким образом, значение R2 Тем выше, чем больше доля объясненной моделью суммы квадратов ESS По отношению к полной сумме квадратов TSS.

Термины «полная» и «объясненная моделью» суммы квадратов имеют следующее происхождение. Полная сумма квадратов соответствует значению RSS В ситуации, когда и «наилучшая» прямая имеет вид , отрицающий наличие линейной зависимости от . Вследствие этого, привлечение информации о значениях переменной не дает ничего нового для объяснения изменений значений от наблюдения к наблюдению. Степень этой изменчивости мы уже характеризовали значением выборочной дисперсии

При этом, и .

В ситуации, когда , мы имеем нетривиальное представление С , и поэтому можно записать:

Но

Где — переменная, принимающая в I - М наблюдении значение . (Здесь мы использовали тот факт, что так что и .) К тому же,

Где — Переменная, принимающая в I - М наблюдении значение . (Здесь мы использовали тот факт, что .)

В итоге, мы получаем разложение

Показывающее, что изменчивость переменной (степень которой характеризуется значением ) частично объясняется изменчивостью переменной (степень которой характеризуется значением ). Не объясненная переменной часть изменчивости переменной соответствует изменчивости переменной (степень которой характеризуется значением ).

Таким образом, вспомогательная переменная берет на себя объяснение некоторой части изменчивости значений переменной , и эта объясненная часть будет тем больше, чем выше значение коэффициента детерминации , который мы теперь можем записать также в виде

Поскольку переменная получается линейным преобразованием переменной , то изменчивость однозначно связана с изменчивостью , так что, в конечном счете, построенная модель объясняет часть изменчивости переменной изменчивостью переменной . Поэтому, принять говорить в таком контексте о переменной как об Объясняемой переменной, а о переменной — как об Объясняющей переменной.

Вернемся опять к нашему примеру. В этом примере

ESS = 0.043474

RSS = 0.161231

TSS = 0.204705,

Так что

= 0.043474/16 = 0.002717,

= 0.161231/16 = 0.010077,

= 0.012784,

= 0.043474/0.204705 = 0.212374.

Значение коэффициента детерминации оказалось достаточно малым, и один из последующих вопросов будет состоять в том, сколь близким к нулю должно быть значение R2, чтобы мы могли говорить о Практическом отсутствии линейной связи между переменными.

< Предыдущая		Следующая >