Подтвердить что ты не робот

Линейная регрессия "NA" оценивается только для последнего коэффициента

Я запускаю функцию summary (lm (...)) в R. Когда я печатаю коэффициенты, я получаю оценки для всех переменных, кроме последней переменной. Последней переменной я получаю "NA" . Я попытался переключить последний столбец данных с другим столбцом, и снова, что бы ни было в последнем столбце, получилось "NA" , но все остальное получило оценки. Немного о данных..... У меня есть около 5 переменных с данными в каждой строке, а затем у меня есть 12 сезонных переменных, которые, например, если месяц январь, то есть 1 за каждый день в январе, 0 в противном случае, Для переменной февраля существует 1, если месяц - февраль, а 0 - в противном случае и так далее. Кто-нибудь знает, что будет производить "NA" в последнем столбце оценки коэффициента? Поэтому в первый раз, когда я его запустил, это был коэффициент для декабрьской фиктивной переменной. Это из-за моих ежемесячных фиктивных переменных? Благодаря

Это мой воспроизводимый пример.

dat<-data.frame(one<-c(sample(1000:1239)),two<-c(sample(200:439)),three<-c(sample(600:839)),Jan<-c(rep(1,20),rep(0,220)),Feb<-c(rep(0,20),rep(1,20),rep(0,200)),Mar<-c(rep(0,40),rep(1,20),rep(0,180)),Apr<-c(rep(0,60),rep(1,20),rep(0,160)),May<-c(rep(0,80),rep(1,20),rep(0,140)),Jun<-c(rep(0,100),rep(1,20),rep(0,120)),Jul<-c(rep(0,120),rep(1,20),rep(0,100)),Aug<-c(rep(0,140),rep(1,20),rep(0,80)),Sep<-c(rep(0,160),rep(1,20),rep(0,60)),Oct<-c(rep(0,180),rep(1,20),rep(0,40)),Nov<-c(rep(0,200),rep(1,20),rep(0,20)),Dec<-c(rep(0,220),rep(1,20)))

attach(dat)

summary(lm(one ~ two + three + Jan + Feb + Mar + Apr + May + Jun + Jul + Aug + Sep + Oct + Nov + Dec))
4b9b3361

ОТВЕТЫ

Ответ 1

Вам нужно немного подумать о том, как определяется ваша модель.

Здесь ваш подход (отредактирован для удобочитаемости):

> set.seed(101)
> dat<-data.frame(one=c(sample(1000:1239)),
                 two=c(sample(200:439)),
                 three=c(sample(600:839)),
                 Jan=c(rep(1,20),rep(0,220)),
                 Feb=c(rep(0,20),rep(1,20),rep(0,200)),
                 Mar=c(rep(0,40),rep(1,20),rep(0,180)),
                 Apr=c(rep(0,60),rep(1,20),rep(0,160)),
                 May=c(rep(0,80),rep(1,20),rep(0,140)),
                 Jun=c(rep(0,100),rep(1,20),rep(0,120)),
                 Jul=c(rep(0,120),rep(1,20),rep(0,100)),
                 Aug=c(rep(0,140),rep(1,20),rep(0,80)),
                 Sep=c(rep(0,160),rep(1,20),rep(0,60)),
                 Oct=c(rep(0,180),rep(1,20),rep(0,40)),
                 Nov=c(rep(0,200),rep(1,20),rep(0,20)),
                 Dec=c(rep(0,220),rep(1,20)))
> summary(lm(one ~ two + three + Jan + Feb + Mar + Apr + 
         May + Jun + Jul + Aug + Sep + Oct + Nov + Dec,
            data=dat))

И ответы:

[snip]
Coefficients: (1 not defined because of singularities)

обратите внимание на эту строку, это означает, что R (и любой другой статистический пакет, который вы решите использовать) не может оценить все параметры, поскольку переменные предиктора не все линейно независимы.

              Estimate Std. Error t value Pr(>|t|)    
(Intercept) 1149.55556   53.52499  21.477   <2e-16 ***

Перехват здесь представляет собой предсказанное значение, когда все предикторные переменные равны нулю. В любом конкретном случае интерпретация перехвата зависит от того, как вы параметризировали свою модель. Фиктивные переменные, которые вы определили в течение месяца, не все линейно независимы; lm достаточно умен, чтобы обнаружить это и удалить некоторые из неидентифицируемых (линейно зависимых) предикторов. Информация о том, какой конкретный предиктор отбрасывается в этом случае, является неясным и техническим (вам, вероятно, придется заглянуть внутрь функции lm.fit, но вы, вероятно, этого не хотите). В этом случае R решает выбросить предиктор December. Поэтому, если мы установим все предиктора (two, three и все месячные манекены Jan-Nov) в нуль, мы получим ожидаемое значение, когда two= 0 и three= 0, и когда месяц не равен ни одному из января-ноября, т.е. ожидаемому значению за декабрь.

two           -0.09670    0.06621  -1.460   0.1455    
three          0.02446    0.06666   0.367   0.7141    
Jan          -19.49744   22.17404  -0.879   0.3802    
Feb          -28.22652   22.27438  -1.267   0.2064    
Mar           -6.05246   22.25468  -0.272   0.7859    
Apr           -5.60192   22.41204  -0.250   0.8029    
May          -13.19127   22.34289  -0.590   0.5555    
Jun          -19.69547   22.14274  -0.889   0.3747    
Jul          -44.45511   22.20837  -2.002   0.0465 *  
Aug           -2.08404   22.26202  -0.094   0.9255    
Sep          -10.13351   22.10252  -0.458   0.6470    
Oct          -31.80482   22.33335  -1.424   0.1558    
Nov          -20.35348   22.09953  -0.921   0.3580    
Dec                 NA         NA      NA       NA    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 69.81 on 226 degrees of freedom
Multiple R-squared: 0.04381,    Adjusted R-squared: -0.01119 
F-statistic: 0.7966 on 13 and 226 DF,  p-value: 0.6635

Теперь сделайте это снова, на этот раз настройте формулу модели, в которой -1 используется для отбрасывания термина перехвата (we reset случайное семя для воспроизводимости):

> set.seed(101)
> dat1 <- data.frame(one=c(sample(1000:1239)),two=c(sample(200:439)),
      three=c(sample(600:839)),
                    month=factor(rep(month.abb,each=20),levels=month.abb))
> summary(lm(one ~ two + three + month-1, data=dat1))

    Coefficients:
           Estimate Std. Error t value Pr(>|t|)    
two        -0.09670    0.06621  -1.460    0.146    
three       0.02446    0.06666   0.367    0.714

Оценки для two и three такие же, как раньше.

monthJan 1130.05812   52.79625  21.404   <2e-16 ***
monthFeb 1121.32904   55.18864  20.318   <2e-16 ***
monthMar 1143.50310   53.59603  21.336   <2e-16 ***
monthApr 1143.95365   54.99724  20.800   <2e-16 ***
monthMay 1136.36429   53.38218  21.287   <2e-16 ***
monthJun 1129.86010   53.85865  20.978   <2e-16 ***
monthJul 1105.10045   54.94940  20.111   <2e-16 ***
monthAug 1147.47152   54.57201  21.027   <2e-16 ***
monthSep 1139.42205   53.58611  21.263   <2e-16 ***
monthOct 1117.75075   55.35703  20.192   <2e-16 ***
monthNov 1129.20208   53.54934  21.087   <2e-16 ***
monthDec 1149.55556   53.52499  21.477   <2e-16 ***

Оценка за декабрь такая же, как и оценка перехвата выше. Оценки параметров других месяцев равны (перехват + предыдущее значение). Значения р разные, поскольку их значение изменилось. Раньше они были испытанием различий каждого месяца с декабря; теперь они являются проверкой различий каждого месяца от базового значения нуля.

Ответ 2

Вы получаете NA для последней переменной, потому что она линейно зависит от других 11 переменных. Функция R lm (и все правильно сконструированные функции регрессии R) автоматически исключает для вас линейно зависимые переменные. Это обрабатывается функцией model.matrix. Если все остальные переменные равны 0, то декабрь будет равен 1. Он связан с исключением младшего члена фактора, но не совсем тем же.

Вероятно, есть лучшие способы сделать это.

Как получить информацию от декабря?... Он находится в терминах "(Перехват)". Если вы хотите, чтобы все уровни были помечены так, как вы ожидаете, попробуйте добавить -1 или +0 к формуле, и вы увидите, что декабрь неожиданно появляется из туманов.