Trong không gian $Oxyz$, cho hai điểm $A(-1;2;4),B(-1;-2;2)$ và mặt phẳng $(P):z-1=0$. Điểm $M(a;b;c)$ thuộc mặt phẳng $(P)$ sao cho tam giác $MAB$ vuông tại $M$ và diện tích tam giác $MAB$ nhỏ nhất. Tính $a^2+b^2+c^2$.

Tam giác $MAB$ vuông tại $M$ nên $M$ thuộc mặt cầu đường kính $AB$. Mặt phẳng $(P)$ cắt mặt cầu theo đường tròn giao tuyến. Diện tích tam giác $MAB$ nhỏ nhất khi khoảng cách từ $M$ đến $AB$ nhỏ nhất. Tìm tọa độ điểm $M(a;b;1)$ trên đường tròn giao tuyến, ta tính được $a^2+b^2+c^2=3$. Vậy chọn D.