लीनियर रिग्रेशन को समझना

पिछले चैप्टर की समाप्ति में लिनियर रिग्रेशन को मेंशन करते हुए हमने एक कन्क्लूसन  निकाला था।  याद है? 

चलिए वहां से कुछ चीजें लेते हैं, और समझते हैं, कि एक बड़े डाटा सेट में दो वेरिएबल के बीच की रिलेशनशिप को सेंसिबल बनाने में लिनियर रिग्रेशन आपकी कैसे मदद कर सकता है। 

लिनियर रिग्रेशन में रिग्रेशन को समझना

लिनियर रिग्रेशन को समझने के लिए चलिए यूज़ किए गए दो शब्दों लिनियर रिग्रेशन के सेंस को समझते हैं। 

लिनियर जैसा कि आप जानते हैं इसका मतलब है एक लाइन, और  रिग्रेशन का सीधा सीधा मतलब है, पीछे जाना या किसी पहले के स्थान पर जाना या स्टेट ऑफ एक्जिस्टेंस। 

वास्तव  में रिग्रेशन को फ्रेंडशिप गाल्टन  ने nineteenth-century में खोजा था। उन्होंने इसका इस्तेमाल एक बहुत ही फैसिनेटिंग बायो लॉजिकल फेनोमेनन को समझाने  करने के लिए किया था। गाल्टन  ने बताया लंबे पैरंट्स के बच्चे लंबे होते हैं लेकिन वह लंबे बच्चे कभी अपने पैरंट्स से छोटे नहीं होते जबकि छोटे पेरेंट्स के बच्चे छोटे होते हैं लेकिन वह छोटे बच्चे अपने पैरंट्स से लंबे होते हैं। 

उन्होंने इसे मीडियोक्रिटी की तरफ का रिग्रेशन कहा।  इसे एवरेज ह्यूमन  हाइट के लिए रिवर्जन कहेंगे। 

गाल्टन   के फेनोमेनन पिक्टोरियल  ग्राफ से रिप्रेजेंटेशन यहां दिया हुआ है।

लिनियर रिग्रेशन क्या है फिर?

तो लिनियर रिग्रेशन का क्या मतलब है, मीनिंग्स को जोड़ने पर यह पीछे जाने की स्थिति या स्टेट ऑफ लीनियर्टी  को पॉइंट करता है, एक सीधी लाइन या पैटर्न।  अब इस सब का उस डाटा से क्या लेना देना है जिसके साथ हम डील कर रहे हैं,  चलिए देखते हैं।

क्या आपको समोसे और उनकेकीमत का पिछला एग्जांपल याद है?  जो हमने पिछले चैप्टर में देखा था।  उस एग्जांपल में खरीदे हुए समोसे और उस पर खर्च हुए  रुपए के बीच में एक लॉजिकल रिलेशनशिप थी। इसलिए स्लोप ऑफ़ द एक्वेशन और इंटरसेप्ट को फाइंड करने में और उन दो वैरियेबल्स के बीच रिलेशनशिप एस्टेब्लिश  करना बहुत ही आसान था | 

लेकिन जब आप किन्ही दो स्टॉक्स केकीमत का 1 साल का डाटा लेते हैं जैसा कि हम साधारणतया करते हैं। और  जब आप एक पेअर  ट्रेड को सेट अप करने का प्रयास करते हैं तो कोई भी क्लियर पैटर्न आपको नहीं मिलता।  दोनों ही स्टॉक्स काकीमत पूरी जगह पर बिखरा हुआ होता है और कोई भी पहले से डिफाइन की हुई  रिलेशनशिप उन दोनों स्टॉक्स के बीच नहीं मिलती, ना ही एक दूसरे पर टेक्निकली निर्भर करती है। 

तो जब आप एक पेअर ऑफ स्टॉक्स केकीमत पर एक स्ट्रेट लाइन इक्वेशन अप्लाई करना चाहते हैं जिसके साथ आप काम कर रहे हैं तो आपको  एक ऐसे स्टैटिसटिकल टूल की जरूरत पड़ती है जिसको खास तौर पर इसी के लिए बनाया गया है। उसका नाम है लिनियर रिग्रेशन।

लिनियर रिग्रेशन एक टेक्निक है जिसका इस्तेमाल एक दिए हुए डाटा में लीनियर इक्वेशन को सेट करते हुए 2 वैरियेबल्स के बीच में रिलेशनशिप को निकालने में किया जाता है यहां याद रखिए “फिटिंग अ  लीनियर इक्वेशन”  इसका मतलब है क्योंकि डाटा डिस्क्रीट और अनकनेक्टेड है इसलिए लीनियर रिग्रेसन टेक्निक आपके डाटा प्वाइंट्स में एक सेंसिबल पॉसिबल रिलेशनशिप को निकालने के लिए ट्राई करती है। 

लिनियर रिग्रेशन प्लॉट इन द डाटा प्वाइंट्स

टीसीएस और इंफोसिस दो स्टॉक्स केकीमत को लेते हैं। जैसा कि हमने पिछले चैप्टर में देखा है यहां नीचे 10 दिनों के लिए  उनके कीमत का छोटा स्निपेट  दिया हुआ है।

यह साफ है कि इन नंबर्स के बीच में कोई भी क्लियर रिलेशनशिप नहीं है। और अगर आप इस डाटा को एक ग्राफ पर प्लॉट करते हैं, तो आप पाएंगे कि जो प्राइस पॉइंट्स हैं वह पूरे ग्राफ पर बिखरे हुए मिलेंगे।  और यह एक बड़े वॉल्यूम ऑफ डाटा के लिए और ज्यादा सही होगा।

किसी ग्राफिकल प्लेन पर अनरिलेटेड डाटा कैसा दिखता है, इसका बेटर आईडिया देने के लिए यहां पर एक पिक्चर है।

रेड लाइन जो आप देख रहे हैं, यह लिनियर रिग्रेशन का रिजल्ट है।  यह एक स्ट्रेट लाइन इक्वेशन को फाइंड करने की कोशिश कर रही है, जो कि एक बड़े सेट ऑफ डाटा प्वाइंट्स के लिए सही हो।  यह स्ट्रेट लाइन रेड लाइन है, जैसा कि इमेज में दिख रहा है। 

लिनियर रिग्रेशन को कैलकुलेट करना

लीनियर इक्वेशन को कैलकुलेट करने का कोई फार्मूला है?  बिल्कुल है! और आपने इसे स्कूल में भी सीखा होगा।  लेकिन जब आप एक बड़े वॉल्यूम ऑफ डाटा के साथ डील कर रहे हैं तो मैनुअल कैलकुलेशंस करना बहुत कठिन हो जाता है।  फॉर्चुनेट्ली हमारे पास एम एस एक्सेल में एक प्लगइन होता है जो इसे बड़ी ही आसानी से करता है।  कुछ क्लिक्स की मदद से, आप एक बड़ी रिग्रेशन एनालिसिस को देख सकते हैं। 

चलिए देखते हैं यह कैसा है।

रिग्रेशन  फंक्शन को रन करना

एक्सेल शीट में डाटा टाइप के नीचे डाटा एनालिस्ट ऑप्शन को क्लिक करें,  और रिग्रेशन ऑप्शन चुनें। आप एक विंडो देखेंगे, जो आपसे एक्स और वाई वैरियेबल्स के इनपुट देने के लिए कहेगा।  जो कि इस केस में दोनों प्राइस का स्टॉक ही होगा।   टीसीएस और इंफोसिस के उसी 1 साल के पीरियड के डाटा को जिसे हम डीलकर रहे हैं, चीजों को आगे बढ़ाने के लिए ले लेते हैं। 

यहां पर आप देख पाएंगे कि लीनियर  रिग्रेशन फंक्शन का इनपुट कैसा दिखता है।

कुछ चीजें जो नोट करने लायक है

• इनपुट वाई  रेंज के कॉलम में टीसीएस का शेयर प्राइस है। 
• इनपुट एक्स रेंज के कॉलम में इंफोसिस का शेयर प्राइस है। 

क्या इससे यह पता चलता है कि टीसीएस का शेयर प्राइस इंफोसिस के शेयर प्राइस पर डिपेंड करता है ? नहीं, इसका यह मतलब नहीं है। हमने सामान्यतया इसे इस तरीके से लिया है। क्योंकि इसी आर्डर में डाटा को अरेंज किया गया है। इसे इंफोसिस शेयर प्राइस को वाई  इनपुट की रेंज में और टीसीएस शेयर प्राइस को एक्स इनपुट की रेंज में रखकर बिल्कुल दूसरी तरफ भी लिया जा सकता है।

लेकिन किस शेयर को  डिपेंडेंट की तरह कंसीडर करेंगे और किसको इंडिपेंडेंट की तरह, इसके बारे में हम थोड़ी देर में जानेंगे।  अभी के लिए चलिए रिग्रेशन एनालिसिस पर चलते हैं।

जैसे ही आप रेसिडुअल्स  एंड स्टैंडर्डाइज्ड रेसिडुअल्स बॉक्स को चेक करते हैं, ओके कर दीजिए।

लिनियर रिग्रेशन फंक्शन :आउटपुट

आउटपुट इस तरह का दिखेगा।

यहां पर बहुत सारी इंफॉर्मेशन है। इसमें कोई डाउट नहीं है, लेकिन अभी के लिए हम उन दो वैरियेबल्स के बारे में बात करेंगे जिनकी जरूरत हमें स्ट्रेट लाइन इक्वेशन बनाने के लिए है।  (जोकि इस फंक्शन को रन करने का मेन पॉइंट है) 

हमें स्लोप और इंटरसेप्ट को आईडेंटिफाई करना होगा।  फॉर्चूनेटली आपको बहुत ज्यादा सर्च करना नहीं पड़ेगा। 

आउटपुट आपको इंटरसेप्ट और स्लोप सीधा दिखाएगा।  यहां देखिए।

इस डाटा सेट का इंटरसेप्ट हम देख रहे हैं 626.74.

स्लोप है 1.8766.

तो, एक्वेशन जो हम देखना चाहते हैं: y = 1.8766x + 626.74

रेसिडुअल्स

एक्वेशन को फिगर आउट करने पर सिर्फ एक चीज मिलती है।  तो क्या इसका मतलब यह है की टीसीएस और इंफोसिस के शेयर प्राइस का प्रत्येक पेअर इक्वेशन में फिट बैठेगा? बिलकुल नहीं, बल्कि यह तो बिलकुल नहीं होगा की  प्राइस का कोई पेअर एक्वेशन बिलकुल फिट आजाये।   इसका कारण लिनियर रिग्रेशन की एसेंस में है। 

इस चैप्टर की शुरुआत में हमने देखा कि लिनियर रिग्रेशन एक टेक्निक है, जो किसी दिए हुए डाटा के लिए, 2 वैरियेबल्स को एक लीनियर इक्वेशन में फिट करने के लिए, रिलेशनशिप को फिगर आउट करती है।  दोबारा फिर से ध्यान दीजिए “फिटिंग ऑन लीनियर इक्वेशन” इसका वास्तविक मतलब यह है, कि यह तकनीक मौजूदा डाटा को लेती है और इसे एक कॉमन स्ट्रेट लाइन इक्वेशन में फिट करने का प्रयास करती है। 

चलीये एक रिलेटेबल उदाहरण  लेकर इसे और अच्छी तरह से समझते हैं।  मान लीजिए आप क्ले के साथ खेल रहे हैं।  आपके पास 1 स्टार के शेप का सांचा है और आप उसे यूज करके स्टार के शेप का क्ले मॉडल बनाना चाहते हैं।  तो आप मुट्ठी भर क्ले लेंगे और उसे उस सांचे में फिट करने की कोशिश करेंगे।   अब क्योंकि क्ले का अपना कोई शेप नहीं होता इसलिए आप उसे एक पहले से तय किए हुए पैटर्न में फिट करने की कोशिश करेंगे।  उसमें से कुछ क्ले सांचे के बाहर भी गिरेगी, आप एक्स्ट्रा क्ले को निकाल देंगे और सिर्फ वही रखेंगे जिसकी जरूरत आपको स्टार बनाने में है। 

लिनियर रिग्रेशन में रेसिडुअल्स ही वह सारा एक्सेस मटेरियल है।  यह वेरिएबल के उस पार्ट को रिप्रेजेंट करता है जो कि स्ट्रेट लाइन में फिट नहीं होता।  दूसरे तरीके से कहें तो यह दिखाता है कि कोई पार्टिकुलर डाटा प्वाइंट रिग्रेशन लाइन से कितना दूर है।

ग्रीन वर्टिकल लाइंस को देखिए।  जो रिग्रेशन लाइन को कुछ डाटा डॉट से कनेक्ट कर रही है ? रेसिडुअल्स को इसी प्रकार ग्राफ पर रिप्रेजेंट किया जाता है।  लिनियर रिग्रेशन फंक्शन के आउटपुट में आप इन्हें यहां देख पाते हैं।

क्योंकि हमने 1 साल का टीसीएस और इंफोसिस शेयर का डाटा लिया है।  हमारे पास लगभग 249 स्टॉक प्राइसेज के पेअर हैं।  हर पेअर में एक  रेसिडुअल्स होगा बजाय इसके कि एक्जेक्टली रिग्रेशन लाइन पर ना हो क्योंकि उस केस में हो जाएगा। 

रैपिंग अप

तो हम  रेसिडुअल्स को क्यों कैलकुलेट करते हैं? जैसा कि आपने ऊपर के इमेज में देखा  रेसिडुअल्स आपको  वैरियेबल्स और रिग्रेशन लाइन के बीच की डिस्टेंस के बारे में बताते हैं। जितना ज्यादा रेसीडुएल होगा वेरिएबल एवरेज से उतना ज्यादा दूर होगा तो उतनी ही इसके मीन की ओर रिवर्ट करने के चांसेस होंगे।  जैसा कि हमने पेअर  ट्रेडिंग के फर्स्ट मेथड में देखा था।  दूसरी तरह से बोले तो जब रेसिडुअल्स -3SD और -2SD के बीच में होता है या 2SD और 3SD के बीच में होता है तो एक पेअर ट्रेड ट्रिगर हो सकती है। 

क्विक रिकैप

• लीनियर रिग्रेसन  स्टेट ऑफ लीनियर्टी की तरफ जाने के एक्ट को पॉइंट करता है, पैटर्न की तरह एक स्टेट ऑफ़ लाइन। 
• यह एक टेक्निक है जो दिए हुए डाटा में लीनियर इक्वेशन को फिट करके 2 वैरियेबल्स के बीच में रिलेशनशिप को फिगर आउट करने का अटेम्प्ट  करती है। 
• हमारे पास एक एम एस एक्सेल का प्लगइन है जो इसे बहुत अच्छी तरीके से करता है।  कुछ ही क्लिक्स के मदद से आप रिग्रेशन एनालिसिस परफॉर्म कर सकते हैं। 
• लीनियर रिग्रेसन का आउटपुट आपको स्लोप और इंटरसेप्ट को डायरेक्ट ही दिखा देता है। 
• यह आपको रेसिडुअल्स भी दिखाता है जो आपको यह बताते हैं कि कोई पर्टिकुलर डाटा पॉइंट रिग्रेशन लाइन से कितना दूर है। 
• जितना ज्यादा रेसीडुएल होगा वेरिएबल एवरेज  से उतना ज्यादा दूर होगा तो उतनी ही इसके मीन की ओर रिवर्ट  करने के चांसेस होंगे। 
• जब रेसिडुअल्स -3SD और -2SD के बीच में होता है या 2SD और 3SD के बीच में होता है तो एक पेअर ट्रेड ट्रिगर हो सकती है।