5 เมนู Regression

Modified

5 ตุลาคม 2569

ผู้อ่านสามารถโหลดข้อมูลได้จาก Google Drive นี้

Regression เป็นวิธีการทางสถิติที่ใช้ศึกษาความสัมพันธ์ระหว่าง ตัวแปรตาม (dependent variable) กับ ตัวแปรอิสระหรือตัวแปรทำนาย (independent variables / predictors) และใช้สร้างแบบจำลองสำหรับการอธิบายหรือพยากรณ์ค่าของตัวแปรตาม

วิธี Regression ที่ใช้บ่อย ได้แก่

Linear Regression
Multiple Linear Regression
Binary Logistic Regression
Multinomial Logistic Regression
Ordinal Logistic Regression

การเลือกวิธีวิเคราะห์ขึ้นอยู่กับชนิดของตัวแปรตามและวัตถุประสงค์ของการศึกษา

5.1 Correlation Matrix

ก่อนสร้างแบบจำลอง Regression ผู้วิเคราะห์มักสำรวจความสัมพันธ์ระหว่างตัวแปรด้วย Correlation Matrix เพื่อทำความเข้าใจทิศทางและความแรงของความสัมพันธ์เบื้องต้น

อย่างไรก็ตาม การคำนวณ correlation ไม่ใช่ข้อบังคับก่อนทำ regression และ correlation ไม่สามารถใช้แทนการวิเคราะห์ regression ได้

ใน jamovi สามารถเลือกค่าสหสัมพันธ์ที่ใช้บ่อยได้ 3 วิธี ได้แก่

Pearson’s correlation
Spearman’s rho
Kendall’s tau

5.1.1 Pearson’s Correlation

Pearson’s correlation coefficient ใช้วัด ความสัมพันธ์เชิงเส้น ระหว่างตัวแปรเชิงปริมาณสองตัว

\[ r= \frac{\sum (X_i-\bar X)(Y_i-\bar Y)} {\sqrt{\sum (X_i-\bar X)^2\sum(Y_i-\bar Y)^2}} \]

โดยที่

\(X_i\) และ \(Y_i\) คือค่าของตัวแปร \(X\) และ \(Y\) ของหน่วยสังเกตที่ \(i\)
\(\bar X\) และ \(\bar Y\) คือค่าเฉลี่ยของ \(X\) และ \(Y\)

ค่า \(r\) อยู่ระหว่าง \(-1\) ถึง \(1\)

\(r>0\) แสดงความสัมพันธ์เชิงบวก
\(r<0\) แสดงความสัมพันธ์เชิงลบ
\(|r|\) ยิ่งใกล้ 1 แสดงว่าความสัมพันธ์เชิงเส้นยิ่งมาก
\(r\) ใกล้ 0 หมายถึง ไม่มีหรือมีความสัมพันธ์เชิงเส้นเพียงเล็กน้อย แต่ไม่ได้หมายความว่าไม่มีความสัมพันธ์ในรูปแบบอื่น

Correlation does not imply causation

การพบว่าสองตัวแปรมี correlation สูง ไม่ได้หมายความว่าตัวแปรหนึ่งเป็นสาเหตุของอีกตัวแปรหนึ่ง

สำหรับการใช้ Pearson’s correlation ควรพิจารณา scatter plot เพื่อดูว่าความสัมพันธ์มีลักษณะเชิงเส้นหรือไม่ และควรระวังค่าสุดโต่ง (outliers) ซึ่งอาจมีอิทธิพลต่อค่า \(r\)

5.1.2 Spearman’s Rho

Spearman’s rank correlation coefficient หรือ Spearman’s rho ใช้วัดความสัมพันธ์แบบ monotonic relationship โดยอาศัยลำดับ (rank) ของข้อมูล

เหมาะสำหรับกรณี เช่น

ตัวแปรเป็นข้อมูล ordinal
ความสัมพันธ์ไม่จำเป็นต้องเป็นเส้นตรง แต่มีทิศทางเพิ่มหรือลดอย่างสม่ำเสมอ
ข้อมูลมี outliers หรือไม่เหมาะกับ Pearson’s correlation

ในกรณีที่ไม่มีอันดับซ้ำ (ties) สามารถเขียนสูตรอย่างง่ายได้เป็น

\[ \rho = 1-\frac{6\sum d_i^2}{n(n^2-1)} \]

โดยที่

\(d_i\) คือผลต่างของ rank ของข้อมูลคู่ที่ \(i\)
\(n\) คือจำนวนคู่ข้อมูล

ในทางปฏิบัติ เมื่อมี ties โปรแกรมจะคำนวณ Spearman’s rho จาก Pearson correlation ของค่า rank ที่ได้รับการปรับแล้ว

ค่า \(\rho\) อยู่ระหว่าง \(-1\) ถึง \(1\) และตีความทิศทางในลักษณะเดียวกับ Pearson’s correlation

5.1.3 Kendall’s Tau

Kendall’s tau เป็นสถิติสหสัมพันธ์แบบ rank-based อีกวิธีหนึ่ง โดยพิจารณาคู่ข้อมูลว่าเป็น

Concordant pair: ลำดับของตัวแปรทั้งสองเปลี่ยนไปในทิศทางเดียวกัน
Discordant pair: ลำดับของตัวแปรทั้งสองเปลี่ยนไปในทิศทางตรงกันข้าม

ในกรณีอย่างง่ายที่ไม่มี ties สามารถเขียนได้เป็น

\[ \tau = \frac{C-D}{\binom{n}{2}} \]

โดยที่

\(C\) คือจำนวน concordant pairs
\(D\) คือจำนวน discordant pairs

ในข้อมูลจริงที่มี ties มักใช้ Kendall’s tau-b ซึ่งมีการปรับค่าตามจำนวน ties

ค่า \(\tau\) อยู่ระหว่าง \(-1\) ถึง \(1\)

5.1.4 Correlation Matrix

Correlation matrix เป็นตารางที่แสดงค่าสหสัมพันธ์ระหว่างตัวแปรทุกคู่ในชุดข้อมูล ช่วยให้เห็น

ทิศทางของความสัมพันธ์
ความแรงของความสัมพันธ์
ตัวแปรที่อาจสัมพันธ์กันสูงมากจนควรตรวจสอบปัญหา multicollinearity ก่อนสร้าง regression model

ตัวอย่างข้อมูลสำหรับทดลอง

ตัวอย่างผลการคำนวณ correlation ทั้งสามวิธี

ค่า correlation ระหว่าง (y,x1), (y,x2) และ (x1,x2)

นอกจากตาราง correlation แล้ว ควรดู scatter plot ประกอบเพื่อพิจารณารูปแบบความสัมพันธ์และ outliers

5.2 Linear Regression

Linear Regression ใช้เมื่อเราต้องการอธิบายหรือพยากรณ์ตัวแปรตามเชิงปริมาณด้วยตัวแปรอิสระหนึ่งตัวหรือมากกว่า

5.2.1 Simple Linear Regression

เมื่อมีตัวแปรอิสระ 1 ตัว สามารถเขียนแบบจำลองได้เป็น

\[ Y=\beta_0+\beta_1X+\varepsilon \]

โดยที่

\(Y\) คือตัวแปรตาม
\(X\) คือตัวแปรอิสระ
\(\beta_0\) คือ intercept หรือค่าคาดหมายของ \(Y\) เมื่อ \(X=0\)
\(\beta_1\) คือ slope หรือการเปลี่ยนแปลงโดยเฉลี่ยของ \(Y\) เมื่อ \(X\) เพิ่มขึ้น 1 หน่วย
\(\varepsilon\) คือค่าคลาดเคลื่อน

5.2.2 Multiple Linear Regression

เมื่อมีตัวแปรอิสระหลายตัว แบบจำลองเขียนได้เป็น

\[ Y= \beta_0+\beta_1X_1+\beta_2X_2+\cdots+\beta_kX_k+\varepsilon \]

ค่าสัมประสิทธิ์ \(\beta_j\) ตีความเป็นการเปลี่ยนแปลงของ \(Y\) ที่สัมพันธ์กับการเพิ่มขึ้น 1 หน่วยของ \(X_j\) เมื่อควบคุมตัวแปรอิสระอื่นในแบบจำลองให้คงที่

5.2.3 การประมาณค่าพารามิเตอร์

ใน Linear Regression แบบมาตรฐาน พารามิเตอร์มักประมาณด้วยวิธี Ordinary Least Squares (OLS) ซึ่งเลือกค่าสัมประสิทธิ์ให้ผลรวมกำลังสองของ residuals มีค่าน้อยที่สุด

\[ \min \sum_{i=1}^{n}(y_i-\hat y_i)^2 \]

5.2.4 การประเมินแบบจำลอง

ค่าที่ควรพิจารณา ได้แก่

\(R^2\): สัดส่วนความแปรปรวนของตัวแปรตามที่แบบจำลองอธิบายได้
Adjusted \(R^2\): ค่า \(R^2\) ที่ปรับตามจำนวนตัวแปรอิสระ
\(F\)-test: ทดสอบภาพรวมของแบบจำลอง
Regression coefficients: ใช้พิจารณาทิศทางและขนาดของความสัมพันธ์
Confidence intervals
p-values
Residual diagnostics

Note

ค่า \(R^2\) สูงไม่ได้หมายความว่าแบบจำลองเป็นสาเหตุของตัวแปรตาม และไม่ได้รับประกันว่าแบบจำลองเหมาะสมในทุกด้าน

5.2.5 ข้อสมมติสำคัญของ Linear Regression

ควรตรวจสอบอย่างน้อย

ความสัมพันธ์เชิงเส้นระหว่าง predictor กับ outcome
ความเป็นอิสระของ residuals
ความแปรปรวนของ residuals ค่อนข้างคงที่ (homoscedasticity)
residuals มีการแจกแจงไม่เบี่ยงเบนจาก normality มากเกินไปเมื่อใช้การอนุมานทางสถิติ
ไม่มี multicollinearity รุนแรงระหว่าง predictors

เลือกเมนู Analyses → Regression → Linear Regression

ผลการประมาณค่าพารามิเตอร์และการตรวจสอบสมมติฐาน

การประมาณค่าพารามิเตอร์และการตรวจสอบสมมติฐานด้วย jamovi

กราฟที่เกี่ยวข้องกับการวิเคราะห์

5.2.6 แนวทางการตีความ

การอ่านผล Linear Regression ควรพิจารณาเป็นลำดับ

แบบจำลองโดยรวมมีนัยสำคัญหรือไม่
\(R^2\) และ Adjusted \(R^2\) มีค่าเท่าใด
predictor แต่ละตัวมีค่าสัมประสิทธิ์เป็นบวกหรือลบ
confidence interval และ p-value ของสัมประสิทธิ์เป็นอย่างไร
residual diagnostics สนับสนุนความเหมาะสมของแบบจำลองหรือไม่

5.3 Logistic Regression

Logistic Regression ใช้เมื่อ ตัวแปรตามเป็นตัวแปรเชิงกลุ่ม โดยรูปแบบของ logistic regression จะขึ้นอยู่กับจำนวนและลำดับของกลุ่ม

jamovi มีเมนูที่เกี่ยวข้อง ได้แก่

2 Outcomes: Binary Logistic Regression
N Outcomes: Multinomial Logistic Regression
Ordinal Outcomes: Ordinal Logistic Regression

5.4 Binary Logistic Regression

Binary Logistic Regression ใช้เมื่อตัวแปรตามมี 2 กลุ่ม เช่น

ผ่าน / ไม่ผ่าน
ซื้อ / ไม่ซื้อ
Admit / Not Admit

แบบจำลองไม่ได้ประมาณ \(Y\) โดยตรง แต่ประมาณ log odds

\[ \log\left(\frac{p}{1-p}\right) = \beta_0+\beta_1X_1+\cdots+\beta_kX_k \]

โดยที่ \(p=P(Y=1)\)

สามารถแปลงเป็นความน่าจะเป็นได้เป็น

\[ P(Y=1)= \frac{1} {1+\exp[-(\beta_0+\beta_1X_1+\cdots+\beta_kX_k)]} \]

5.4.1 Odds Ratio

เมื่อ exponentiate ค่าสัมประสิทธิ์จะได้

\[ OR=e^{\beta_j} \]

ซึ่งเรียกว่า Odds Ratio

\(OR>1\): odds ของ outcome เพิ่มขึ้นเมื่อ predictor เพิ่ม
\(OR<1\): odds ของ outcome ลดลง
\(OR=1\): ไม่มีการเปลี่ยนแปลงของ odds

Important

Odds และ probability ไม่ใช่สิ่งเดียวกัน ดังนั้นไม่ควรตีความ Odds Ratio เป็น “เปอร์เซ็นต์ความน่าจะเป็นเพิ่มขึ้น” โดยตรง

5.4.2 ตัวอย่าง Binary Logistic Regression

ใช้ข้อมูลจาก UCLA ซึ่งมีตัวแปรตาม admit และ predictors ได้แก่ gre, gpa และ rank

admit: ผลการรับเข้าศึกษาแบบ binary
gre: คะแนน GRE
gpa: เกรดเฉลี่ย
rank: อันดับของสถาบันเดิม โดย 1 แทนระดับสูงสุด และ 4 แทนระดับต่ำสุด

ตัวอย่างข้อมูลสามารถดาวน์โหลดได้จาก
UCLA Statistical Consulting

ขั้นที่ 1 นำเข้าข้อมูลและกำหนดชนิดตัวแปรให้เหมาะสม

ขั้นที่ 2 เลือกตัวแปรตามและตัวแปรทำนาย

การนำเข้าตัวแปรและการวิเคราะห์ที่ต้องการ

Note

ผู้อ่านสามารถเลือกผลลัพธ์เพิ่มเติม เช่น model fit, odds ratios, confidence intervals และ classification measures ตามวัตถุประสงค์ของการวิเคราะห์

ผลการวิเคราะห์

5.4.3 แนวทางการตีความ Binary Logistic Regression

ควรพิจารณา

model fit
coefficient หรือ odds ratio ของ predictor
confidence interval
p-value
การกำหนด reference category ของตัวแปรกลุ่ม

โดยเฉพาะตัวแปร rank ซึ่งเป็นตัวแปรกลุ่ม ควรตรวจสอบว่ากำหนดเป็น nominal หรือ ordinal ตามวัตถุประสงค์ของแบบจำลอง ไม่ควรตีความตัวเลข 1–4 เป็นระยะห่างเชิงปริมาณโดยอัตโนมัติ

5.5 Multinomial Logistic Regression

Multinomial Logistic Regression ใช้เมื่อตัวแปรตามเป็นข้อมูล nominal ที่มี มากกว่า 2 กลุ่มและไม่มีลำดับ

ตัวอย่าง เช่น

โปรแกรมการเรียน: General / Academic / Vocational
ประเภทรถยนต์: Compact / Sedan / SUV

แบบจำลองจะเลือกหนึ่งกลุ่มเป็น reference category แล้วสร้างสมการ log odds เพื่อเปรียบเทียบแต่ละกลุ่มกับกลุ่มอ้างอิง

\[ \log \left( \frac{P(Y=k)} {P(Y=\text{reference})} \right) = \beta_{k0} +\beta_{k1}X_1 +\cdots+ \beta_{kp}X_p \]

ดังนั้นการตีความ coefficient หรือ odds ratio ต้องระบุเสมอว่ากำลังเปรียบเทียบกลุ่มใดกับ reference category

5.5.1 ตัวอย่าง Multinomial Logistic Regression

ใช้ข้อมูลจาก UCLA Statistical Consulting:

Multinomial Logistic Regression

นักเรียนระดับมัธยมศึกษาต้องเลือกโปรแกรมการเรียนระหว่าง

General
Academic
Vocational

ต้องการศึกษาว่า คะแนนการเขียน (write) และ สถานะทางเศรษฐกิจและสังคม (SES) มีความสัมพันธ์กับการเลือกโปรแกรมหรือไม่

ตัวแปรประกอบด้วย

prog: ตัวแปรตามประเภทโปรแกรมการเรียน
ses: ตัวแปรทำนายเชิงกลุ่ม 3 ระดับ
write: คะแนนการเขียน ซึ่งเป็นตัวแปรเชิงปริมาณ

ขั้นที่ 1 โหลดข้อมูล multinomial.xlsx เข้า jamovi และกำหนดชนิดของตัวแปรให้ถูกต้อง

เลือกเมนู N Outcomes

5.5.2 แนวทางการตีความ

ควรตรวจสอบ

reference category ของ outcome
reference category ของ categorical predictors
coefficient / odds ratio
confidence interval
p-value
model fit

5.6 Ordinal Logistic Regression

Ordinal Logistic Regression ใช้เมื่อตัวแปรตามมี หลายระดับที่มีลำดับตามธรรมชาติ เช่น

น้อย / ปานกลาง / มาก
ไม่พึงพอใจ / ปานกลาง / พึงพอใจมาก
Unlikely / Somewhat likely / Very likely

ข้อสำคัญคือระดับของ outcome มีลำดับ แต่ ระยะห่างระหว่างระดับไม่จำเป็นต้องเท่ากัน

แบบจำลองที่ใช้บ่อยคือ proportional odds model

\[ \log \left[ \frac{P(Y\leq j)} {P(Y>j)} \right] = \alpha_j - \beta_1X_1 -\cdots -\beta_pX_p \]

โดยที่

\(P(Y\leq j)\) คือ cumulative probability
\(\alpha_j\) คือ threshold หรือ cut-point สำหรับระดับที่ \(j\)
\(\beta_p\) คือสัมประสิทธิ์ของ predictor

5.6.1 Proportional Odds Assumption

แบบจำลองมาตรฐานสมมติว่าอิทธิพลของ predictor มีค่าเหมือนกันในแต่ละ threshold หรือเรียกว่า proportional odds / parallel lines assumption

หากสมมติฐานนี้ไม่เหมาะสม การตีความ ordinal logistic regression แบบมาตรฐานควรทำด้วยความระมัดระวัง

5.6.2 ตัวอย่าง Ordinal Logistic Regression

ใช้ข้อมูล dat.xlsx

ต้องการศึกษาปัจจัยที่สัมพันธ์กับการตัดสินใจสมัครศึกษาต่อระดับปริญญาโท โดย outcome apply มี 3 ระดับ

unlikely
somewhat likely
very likely

ตัวแปรทำนาย ได้แก่

pared: 1 หมายถึงอย่างน้อยหนึ่งคนในผู้ปกครองมีการศึกษาระดับบัณฑิตศึกษา
public: 1 หมายถึงศึกษาจากสถาบันของรัฐ และ 0 หมายถึงสถาบันเอกชน
gpa: เกรดเฉลี่ยปัจจุบัน

ความแตกต่างระหว่างระดับของ apply ไม่จำเป็นต้องมีระยะห่างเท่ากัน จึงเหมาะกับการวิเคราะห์แบบ ordinal

ขั้นที่ 1 โหลดข้อมูลเข้า jamovi และกำหนดลำดับของ outcome ให้ถูกต้อง

เลือกเมนู Ordinal Logistic Regression

ผลการวิเคราะห์

5.6.3 แนวทางการตีความ

ควรพิจารณา

ทิศทางและขนาดของ coefficient หรือ odds ratio
confidence interval
p-value
ลำดับของ outcome categories
reference category ของ predictors
proportional odds assumption

5.7 สรุปการเลือก Regression

ลักษณะตัวแปรตาม	วิธีที่เหมาะสม
เชิงปริมาณต่อเนื่อง	Linear Regression
Binary 2 กลุ่ม	Binary Logistic Regression
Nominal มากกว่า 2 กลุ่ม	Multinomial Logistic Regression
Ordinal มากกว่า 2 ระดับ	Ordinal Logistic Regression

5.8 สิ่งที่ควรระวังในการตีความ Regression

Association ไม่ได้หมายถึง causation
p-value เพียงอย่างเดียวไม่เพียงพอ ควรดู confidence interval และ effect size / odds ratio
ควรตรวจสอบ coding และ reference category ของตัวแปรกลุ่ม
ควรตรวจสอบสมมติฐานและ model diagnostics ให้เหมาะกับชนิดของ regression
แบบจำลองที่สร้างจากข้อมูลชุดหนึ่งไม่ได้รับประกันว่าจะพยากรณ์ข้อมูลใหม่ได้ดีเสมอไป

5.9 Learning Check

หาก outcome เป็นคะแนนสอบ ควรเริ่มพิจารณา regression ชนิดใด?
ถ้า outcome มีเพียง “ซื้อ” และ “ไม่ซื้อ” ควรใช้ regression ชนิดใด?
ถ้า outcome คือระดับความพึงพอใจ 1–5 ที่มีลำดับ ควรใช้ regression ชนิดใด?
ถ้า Pearson’s \(r=0\) สามารถสรุปได้หรือไม่ว่าตัวแปรทั้งสองไม่มีความสัมพันธ์ทุกชนิด?
Odds Ratio เท่ากับ 1 หมายถึงอะไร?
เหตุใด Multinomial Logistic Regression จึงต้องระบุ reference category?