Прикладная эконометрика. Лекция 3.
0 likes531 views
Документ обсуждает основные этапы построения и анализа регрессионной модели, включая выдвижение гипотез, построение и интерпретацию модели, а также качество уравнения. Метод наименьших квадратов используется для оценки коэффициентов регрессии, и документация включает примеры расчетов. Также рассматриваются статистические характеристики модели, такие как коэффициент детерминации и его интерпретация.
Прикладная эконометрика. Лекция 3.
- 1. Основные этапы построения и анализа регрессионной модели. Простая (парная) регрессия Лекция 3
- 2. Основные этапы построения и анализа регрессионной модели Выдвижение рабочей гипотезы Построение модели Анализ качества и интерпретация модели Определение путей изменения модели Выдвижение новых гипотез и построение новых моделей. Практическое использование модели
- 3. Выдвижение рабочей гипотезы Теоретическая регрессия
- 4. Теоретическая регрессия 1 y x y = + x Начинаем с выдвижения рабочей гипотезы о форме и характере зависимости
- 5. Влияние случайного члена Влияние случайного члена 1 P 4 y x x 1 x 2 x 3 x 4 P 3 P 2 P 1 Q 1 Q 2 Q 3 Q 4 5 y = + x y = + x + u
- 6. Построение регрессионной модели Теоретическая и расчетная регрессии
- 7. Наблюдаемые значения P 4 y x x 1 x 2 x 3 x 4 P 3 P 2 P 1 7 На практике мы можем наблюдать только точки P .
- 8. Теоретическая и расчетная регрессии P 4 y x x 1 x 2 x 3 x 4 P 3 P 2 P 1 a 8 По этим точкам строим регрессию y = a + bx ^
- 9. Остатки P 4 y x x 1 x 2 x 3 x 4 P 3 P 2 P 1 R 1 R 2 R 3 R 4 y - y = e (остаток) ^ e 1 e 2 e 3 e 4 a 10 y (фактическое значение) y (расчетное значение) ^ y = a + bx ^
- 10. Расхождение теоретической и расчетной регрессий P 4 y x x 1 x 2 x 3 x 4 P 3 P 2 P 1 R 1 R 2 R 3 R 4 a y = + x 11 y (фактическое значение) Теоретическая и расчетная линии регрессии не совпадают Остатки не совпадают со значениями случайного члена y (расчетное значение) ^ y = a + bx ^
- 12. Идея метода наименьших квадратов Метод наименьших квадратов: Минимизировать S , где 20
- 13. Вид суммы квадратов остатков Метод наименьших квадратов: Минимизировать S , где 20
- 14. Вывод формул для оценки коэффициентов - 1 20
- 15. Вывод формул для оценки коэффициентов - 2 20
- 16. Прямой расчет коэффициентов регрессии 20 Расчетные формулы для коэффициентов парной регрессии
- 17. Практические расчеты в программе MicroTSP
- 18. Построение парной регрессии Строится уравнение регрессии LS Y - зависимая переменная С - константа, X - независимая переменная LS Y C X Формат команды: Указание константы обязательно Команды метода наименьших квадратов Примеры: LS HOUS C DPI
- 20. Интерпретация коэффициента при объясняющей переменной b показывает, на сколько единиц изменится y при изменении x на одну единицу-27.571 0.1787 Обязательно указание точного характера изменения (увеличение, уменьшение), конкретного числового значения и единиц измерения. Интерпретация коэффициента линейной регрессии Примеры: HOUS =-27,57+0,178 DPI 0,178 показывает, что при росте совокупного личного располагаемого дохода на 1 млрд долларов расходы на жилье возрастают на 178 миллионов долл.
- 21. Интерпретация свободного члена a показывает, на сколько единиц график регрессии смещен вверх при x=0 . Экономическая интерпретация (если она допустима) - значение y при нулевом значении x . Часто экономическая интерпретация отсутствует. Прежде, чем давать интерпретацию a и b , нужно убедиться в высоком качестве уравнения. Интерпретация свободного члена Примеры: HOUS =-27,57+0,178 DPI -27,57 указывает на точку пересечения оси y. Экономический смысл здесь отсутствует.
- 22. Качество уравнения регрессии (предварительное рассмотрение)
- 23. Коэффициент детерминации Дает предварительную оценку качества модели (от 0 до 1). Показывает долю объясненной дисперсии зависимой переменной R-squared Не позволяет дать окончательного заключения без учета других факторов Отсутствуют таблицы для критических значений, для этого нужно рассчитывать на его основе другие показатели. Подвержен влиянию посторонних факторов и может привести к ошибочному выводу. Коэффициент детерминации
- 24. Возможно получение дополнительной информации о регрессии 1) Матрица ковариации 2) Картина и таблица остатков Опции P, S, G P - вывод на печать S - вывод на экран G - вывод графика остатков в режиме графического экрана Вспомогательные приемы анализа качества уравнения
- 25. Прямой доступ к данным, результатам и процедурам расчетов
- 26. Встроенный калькулятор Вызывает встроенный калькулятор = +, -, *, / , ^ Арифметические действия Можно использовать скобки. Допустимы дробные степени, включая квадратный корень. Вспомогательные расчеты Примеры: =2*2 =(17/2)^(1/2)
- 27. Прямое обращение к данным Вызов значения переменной по номеру наблюдения X ( n- 1) Первое наблюдение соответствует номеру 0 Получение значения переменной Примеры: HOUS(0) DPI(11) PHOUS(25)/TPE(25)*100
- 28. Встроенные функции Вычисляет значение указанной функции @ FUNCTION ( …) @Cov(X,Y), @Cor(X,Y) @Var(X) @Sum(X) @Mean(X) Наиболее важные функции Статистические функции Примеры: =@Mean(HOUS) =@Cov(X,Y)/@Var(X)
- 29. Вектор параметров После расчета регрессии сохраняет значения коэффициентов регрессии C(n) С(1) - свободный член регрессии С(2) - коэффициент регрессии Параметры модели и константы Примеры: =С(1)+С(2)*100 =C(1)+С(2)*DPI(24)
- 30. Остатки Скрытая переменная. После расчета регрессии сохраняет значения всех остатков RESID Зарезервированное имя для остатков Примеры: PLOT(A) RESID
- 31. Генерация новых переменных Создает новую переменную по указанному уравнению GENR Генерация данных Примеры: GENR E=RESID GENR E=Y-C(1)-C(2)*X
- 32. Детальное рассмотрение проблемы качества регрессионой модели
- 33. Свойства оцененных уравнений и остатков 1 Три полезных предварительных результата Эти результаты легко доказываются, исходя из свойств средних и ковариации, а также могут быть проверены на примерах
- 34. Смысл коэффициента детерминации - 1 36 Смысл коэффициента детерминации
- 35. Смысл коэффициента детерминации - 2 36 Смысл коэффициента детерминации
- 36. Смысл коэффициента детерминации - 3 36 Смысл коэффициента детерминации
- 37. Смысл коэффициента детерминации - 4 36 Смысл коэффициента детерминации
- 38. Смысл коэффициента детерминации - 5 36 Смысл коэффициента детерминации
- 39. Разложение суммы квадратов остатков 36 TSS - Total Sum of Squares - полная сумма квадратов Смысл коэффициента детерминации
- 40. «Объясненная» сумма квадратов остатков 36 TSS - Total Sum of Squares - полная сумма квадратов E SS - Explained Sum of Squares - «объясненная» сумма квадратов Смысл коэффициента детерминации
- 41. «Остаточная» сумма квадратов остатков Смысл коэффициента детерминации 36 TSS - Total Sum of Squares - полная сумма квадратов E SS - Explained Sum of Squares - «объясненная» сумма квадратов RSS - Residual Sum of Squares - «оставшаяся» сумма квадратов
- 42. Коэффициент детерминации как отношение Смысл коэффициента детерминации 36
- 43. Интерпретация коэффициента детерминации Смысл коэффициента детерминации 36 R 2 показывает долю дисперсии зависимой переменной, “объясненной” (уравнением регрессии)
- 44. Связь коэффициента детерминации и остатков Смысл коэффициента детерминации 36
- 45. Эквивалентность критерия детерминации и МНК - 1 36
- 46. Эквивалентность критерия детерминации и МНК - 2 36 Если R 2 достигает своего наибольшего возможного значения , то одновременно минимизируется сумма квадратов остатков
- 47. Эквивалентность критерия детерминации и МНК - 3 36 Если R 2 достигает своего наибольшего возможного значения , то одновременно минимизируется сумма квадратов остатков Критерий качества R 2 эквивалентнен принципу наименьших квадратов
- 48. Связь показателя R 2 с коэффициентом корреляции
- 49. Связь показателя R 2 с коэффициентом корреляции 43
- 50. Практическое использование регрессионной модели Аналитические расчеты Прогнозирование
- 51. Использование вектора коэффициентов Вычисление значения зависимой переменной по уравнению регрессии для реального или предполагаемого значения X. =C (1)+ C (2)* X Аналитические и прогнозные расчеты. Примеры: =С(1)+С(2)*(DPI(24) GENR YEST=C(1)+C(2)*DPI
- 52. Команды MicroTSP для расчета и анализа парной регрессии (обзор) Расчет регрессии: LS Генерация новой переменной: GENR Функции: @Sum( X ), @Mean( X ), @Var( X ) , @Cov( X , Y ), @Cor( X , Y ) Вектор параметров: C(1), C(2) Аналитические и прогнозные расчеты: = C (1) +C (2) *X Остатки: RESID
- 53. Конец лекции
Editor's Notes
- #5: Допустим, что переменная y является линейной функцией другой переменной x , с неизвестными параметрами и которые мы хотим определить .
- #6: Допустим, что у нас имеется выборка из 4 наблюдений значений x, как показано на рисунке. Если бы рассматриваемое соотношение между x и y было точным, то все наблюдения лежали бы на прямой линии, так что нетрудно было бы расчитать коэффициенты и . На практике большинство экономических зависимостей не являются точными, и фактические значения y отличаются от тех, что лежат на прямой линии. Чтобы допустить такие расхождения в модели, мы включим в нее случайный член u , так что модель теперь будет записываться как y = + x + u .
- #8: Допустим, что у нас имеется выборка из 4 наблюдений значений x, как показано на рисунке. Если бы рассматриваемое соотношение между x и y было точным, то все наблюдения лежали бы на прямой линии, так что нетрудно было бы расчитать коэффициенты и . На практике большинство экономических зависимостей не являются точными, и фактические значения y отличаются от тех, что лежат на прямой линии. Чтобы допустить такие расхождения в модели, мы включим в нее случайный член u , так что модель теперь будет записываться как y = + x + u .
- #9: Очевидно, мы можем использовать точки P для того, чтобы провести линию, которая послужит некоторым приближением к линии y = + x . Если мы запишем эту линию как y = a + bx , a можно рассматривать как оценку а b – как оценку . Эта линия называется расчетной моделью, а значения y, вычисленные по ней, называются расчетными значениями y . Они дают значения высот для точек R .
- #10: Разности между фактическими значениями и регрессией известны как остатки
- #11: Заметим, что значения остатков не совпадают со значениями случайного члена. На диаграмме истинная неизвестная зависимость изображена наряду с расчетной линией Случайный член представляет собой разность между фактическим наблюдением и неслучайной компонентой истинной зависимости. Остатки представляют собой разность фактический и расчетных значений. Используя теоретическую зависимость, можно разложить y на неслучайную компоненту + x и случайную компоненту u. Это – чисто теоретическое разложение, поскольку мы не знаем ни значений и , ни значений случайного члена. Тем не менее это разложение будет использоваться в анализе свойств коэфициентов регрессии. Другое разложение относится к расчетной линии. Это – вполне операциональное разложение, которые мы будем использовать для практических целей.
- #13: Мы начнем с формулировки критерия: мы будем проводить прямую линию таким образом, чтобы минимизировать сумму квадратов остатков. Это условие называется принципом наименьших квадратов.
- #19: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #21: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #22: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #24: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #25: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #27: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #28: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #29: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #30: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #31: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #32: Демонстрация регрессии Все демонстрируется на буферном файле Word . Таблица
- #35: Разности между фактическими значениями и регрессией известны как остатки
- #36: Дисперсия зависимой переменной раскладывается на сумму дисперсии расчетных значений (по уравнению регрессии) и дисперсии остатков Мы пользуемся отмеченным выше фактом о некоррелированности расчетных значений и остатков.
- #37: Первая выражает «объясненную уравнением регрессии» часть общей дисперсии, тогда как вторая - оставшуюся необъясненной.
- #38: Исходя из известных фактов о средних остатков и расчетных значений (они приведены внизу), выражение можно записать в очень простой форме
- #39: Эти величины получили специальные обозначения, которые сейчас будут объяснены
- #40: TSS - Total sum of squares - полная сумма квадратов - она рассчитывается для отклонений фактических значений от среднего - эта изменчивость зависимой переменной и подлежит объяснению с помощью регрессии
- #41: E SS - Explained sum of squares - «объясненная сумма квадратов» - она рассчитывается для отклонений РАСЧЕТНЫХ значений от среднего РАСЧЕТ делается по уравнению регрессии - в этом и состоит «объяснение» - если бы ESS совпало с TSS , то регрессия объясняла бы всю изменчивость зависимой переменной
- #42: Но обычно “объяснение” оказывается неполным - E SS - Residual sum of squares - «оставшаяся сумма квадратов» - измеряется изменчивостью «остатков», т.е. уклонений фактических значений от уравнения регрессии ВНИМАНИЕ ЭТИ ОБОЗНАЧЕНИЯ НЕ ПОДДЕРЖИВАЮТСЯ ВСЕМИ АВТОРАМИ У Магнуса все наоборот: Е SS - Error, RSS - Regression
- #43: Поскольку нас интересует относительная величина «объясненной» части дисперсии, разделим ее на полную сумму квадратов. Получим показатель, известный как «Эр-квадрат» или «коэффициент детерминации»
- #44: «Эр-квадрат» показывает долю дисперсии зависимой переменной, «объясненной» уравнением регрессии, т.е. вызванной изменениями независимых переменных (правильнее сказать, не «вызванной», а приписываемой влиянию независимых переменных, так как эконометрика на этом уровне не измеряет причинных связей) Если помнить об этом, то можно позволять себе вольности в интерпретации. .
- #45: Коэффициент детерминации можно выразить через остатки уравнения
- #46: Отсюда видно, что «эр-квадрат» не может превышать единицы (он всегда положительный, по крайней мере должен быть) Забавно, что на практике встречаются случаи отрицательного «эр-квадрат» - это бывает в очень плохих регрессиях из-за несовершенных численных алгоритмов
- #47: В каждом конкретном уравнении «эр-квадрат» не удается довести до единицы, а лишь сделать максимальным - при этом, как мы видим, одновременно минимизируется сумма квадратов остатков. Так что Метод Наименьших Квадратов обеспечивает наибольший возможный коэффициент детерминации.
- #48: Таким образом «эр-квадрат» в качестве критерия качества оказывается ЭКВИВАЛЕНТНЫМ принципу наименьших квадратов
- #49: Теперь обсудим связь коэффициента детерминации с коэффициентном корреляции (известным еще из предварительного анализа ковариации переменных)
- #50: Бросив взгляд на длинную цепочку выкладок и преобразований, сосредоточимся на результате: коэффициент корреляции представляет собой квадратный корень из коэффициента детерминации, так что «эр-квадрат» в парной регрессии является квадратом коэффициента корреляции (что и оправдывает его название)
- #51: Покажем теперь кратко, как все сказанное можно использовать для аналитических расчетов (внутри диапазона выборки) и прогнозирования (расчетам вне диапазона выборки).
- #52: Посмотрим, для чего можно использовать рассчитанную регрессию, например Демонстрация регрессии FOOD по DPI Все демонстрируется на буферном файле Word . Таблица регрессии Вектор коэффициентов Вектор коэффициентов позволяет вычислять расчетные значение по одному или все сразу. Демонстрация на этой регрессии
- #53: Посмотрим, чему мы научились