اصل حداقل مربعات - همبستگی و تحلیل رگرسیون

بگذارید x ، y دو متغیر مورد بررسی باشد. از بین آنها ، اجازه دهید x یک متغیر مستقل باشد و اجازه دهید بسته به x یک متغیر وابسته باشد. ما مایل به ایجاد یک رابطه عملکردی بین آنها هستیم.

اصل حداقل مربعات اجازه می دهد x ، y دو متغیر مورد بررسی باشد. از بین آنها ، اجازه دهید x یک متغیر مستقل باشد و اجازه دهید بسته به x یک متغیر وابسته باشد. ما مایل به ایجاد یک رابطه عملکردی بین آنها هستیم. برای این منظور ، اولین و مهمترین الزام این است که x ، y دارای درجه بالایی از همبستگی است. اگر ضریب همبستگی بین x و y متوسط یا کمتر باشد ، ما نباید با وظیفه تناسب یک رابطه عملکردی بین آنها پیش برویم. فرض کنید همبستگی بالایی (مثبت یا منفی) بین x و y وجود دارد. فرض کنید برای ایجاد یک رابطه خطی بین آنها ، یعنی ما می خواهیم یک رگرسیون y در x بخواهیم.

از نظر هندسی ، اگر مقادیر مربوط به x و y را در یک هواپیمای 2 بعدی ترسیم کنیم و به چنین نقاطی بپیوندیم ، باید یک خط مستقیم بدست آوریم. با این حال ، به سختی می توانیم انتظار داشته باشیم که همه جفت ها (x ، y) روی یک خط مستقیم قرار بگیرند. ما می توانیم چندین خط مستقیم را در نظر بگیریم که تا حدی در نزدیکی همه نقاط (x ، y) قرار دارند. یک خط را در نظر بگیرید. مشاهده (x 1 ، y 1) ممکن است بالاتر از خط توجه یا زیر خط باشد. این نکته را در محور x پروژه کنید. این خط مستقیم در نقطه (x 1 ، y 1 e) خواهد بود. در اینجا مقدار نظری (یا مقدار مورد انتظار) متغیر y 1 e است در حالی که مقدار مشاهده شده y 1 است. هنگامی که بین مقادیر مورد انتظار و مشاهده تفاوت وجود دارد ، خطایی به نظر می رسد. این خطا E 1 = y 1-y 1 است. این مثبت است اگر (x 1 ، y 1) نقطه ای بالاتر از خط باشد و اگر (x 1 ، y 1) منفی باشد ، نقطه ای زیر خط است. برای جفت مشاهدات n ، ما مقدار خطای زیر را داریم: برخی از این مقادیر مثبت هستند در حالی که باقی مانده ها منفی هستند. با این حال ، مربع تمام این مقادیر مثبت است. در میان تمام آن خطوط مستقیم که تا حدودی به مشاهدات داده شده نزدیک است ، ما آن خط مستقیم را به عنوان ایده آل که SSE برای آن کمترین است ، می دانیم. از آنجا که خط مستقیم ایده آل برای رگرسیون Y بر روی X مبتنی بر این مفهوم است ، ما این اصل را اصل حداقل مربعات می نامیم.

معادلات عادی

فرض کنید ما باید یک خط مستقیم را با جفت n مشاهدات قرار دهیم فرض کنید معادله خط مستقیم در نهایت به دست می آید

جایی که a ، b ثابت است که باید مشخص شود. از نظر ریاضی ، هنگامی که ما نیاز به یافتن معادله یک خط مستقیم داریم ، دو نقطه مجزا در خط مستقیم کافی است. با این حال ، یک رویکرد متفاوت در اینجا دنبال می شود. ما می خواهیم تمام مشاهدات را در تلاش برای ساختن یک خط مستقیم درج کنیم. سپس تمام نقاط مشاهده شده (x ، y) برای برآورده کردن رابطه (1) مورد نیاز است. جمع بندی همه این موارد را در نظر بگیرید. ما گرفتیم

برای یافتن دو مقدار A و B ، به دو معادله نیاز داریم. ما یک معادله یعنی (2) به دست آورده ایم. ما به یک معادله دیگر احتیاج داریم. برای این منظور ، هر دو طرف (1) را ضرب کنید

ایکس. ما جمع بندی همه این موارد را در نظر می گیریم. معادلات (2) و (3) به معادلات عادی مرتبط با رگرسیون Y در x گفته می شود. با حل این دو معادله ، توجه داشته باشید: برای محاسبه ضریب همبستگی ، برای محاسبه رگرسیون Y بر روی x ، بنابراین به ستون جدولی در هر دو مورد با تفاوت که برای ضریب همبستگی نیز لازم است ، یکسان است. بعد ، اگر خط رگرسیون X را در y در نظر بگیریم ، معادله x = a + b y را دریافت می کنیم. عبارات مربوط به ضرایب را می توان با تغییر نقش X و Y در بحث قبلی بدست آورد. بنابراین ، ما بدست می آوریم

داده های زیر را در مورد فروش و سود در نظر بگیرید. تعیین رگرسیون سود در فروش.

مشکل 11 در زیر جزئیات درآمد و هزینه 10 خانوار است. رگرسیون هزینه های درآمد را تعیین کرده و هزینه را در زمان 65 درآمد تخمین بزنید.

برای برآورد هزینه زمانی که درآمد 65 است: x = 65 را در معادله فوق بگیرید. سپس ما می گیریم

مشکل 12 داده های زیر را در مورد نرخ اشغال و سود یک هتل در نظر بگیرید. تعیین رگرسیون (i) سود در نرخ اشغال و (ب) نرخ اشغال سود.

راه حل: ما n = 10 داریم. x = نرخ اشغال ، y = سود. توجه داشته باشید که در مشکلات 10 و 11 ، ما فقط یک خط رگرسیون را می خواستیم و بنابراین ما ∑y 2 را نگرفتیم. اکنون به دو خط رگرسیون احتیاج داریم. بنابراین ، بنابراین ، معادله رگرسیون y = - 10. 329 + 1. 422 x بعدی است ، اگر خط رگرسیون x را در y در نظر بگیریم ، معادله x = a + b y را در کجا می گیریم

با این حال ، هنگامی که ما دو مقدار B را می دانیم ، می توانیم ضریب همبستگی R بین x و y را به عنوان ریشه مربع محصول دو مقدار b پیدا کنیم.