Trong không gian $Oxyz$, cho điểm $A(4;0;0)$, $B(1;2;3)$. Gọi $M$ là một điểm đi động thỏa mãn $\overrightarrow{OM}\cdot \overrightarrow{OA}=\frac{\sqrt{3}OM\cdot OA}{2}$ và $\overrightarrow{MA}\cdot \overrightarrow{MO}=0$. Gọi $p,q$ lần lượt là giá trị lớn nhất, giá trị nhỏ nhất của $BM$. Giá trị $p^2+q^2$ bằng

Ta có $\overrightarrow{OM}\cdot \overrightarrow{OA}=\frac{\sqrt{3}OM\cdot OA}{2}\iff \cos (\overrightarrow{OM},\overrightarrow{OA})=\frac{\sqrt{3}}{2}\Rightarrow (\overrightarrow{OM},\overrightarrow{OA})=30^{\circ }$.
Mặt khác $\overrightarrow{MA}\cdot \overrightarrow{MO}=0$ nên $△OMA$ vuông tại $M$ với $OA=4$.
Gọi $I$ là hình chiếu của $M$ lên $OA$, ta có $OM=OA\cos 30^{\circ }=2\sqrt{3},AM=2$, suy ra $OI=3,IA=1,r=IM=\sqrt{3}$ và $I(3;0;0)$.
Vậy $M$ thuộc đường tròn $(C)$ tâm $I(3;0;0)$, bán kính $r=\sqrt{3}$ nằm trong mặt phẳng $(P):x-3=0$.
Gọi $H$ là hình chiếu vuông góc của $B(1;2;3)$ lên mặt phẳng $(P):x-3=0$, ta có $H(3;2;3)$, suy ra $BH=2$ và $IH=\sqrt{(3-3{)}^2+2^2+3^2}=\sqrt{13}$.
Do đó:
$p=B{M}_{\max }=\sqrt{B{H}^2+(IH+r{)}^2}=\sqrt{4+(\sqrt{13}+\sqrt{3}{)}^2}=\sqrt{20+2\sqrt{39}}$,
$q=B{M}_{\min }=\sqrt{B{H}^2+(IH-r{)}^2}=\sqrt{4+(\sqrt{13}-\sqrt{3}{)}^2}=\sqrt{20-2\sqrt{39}}$.
Vậy $p^2+q^2=(20+2\sqrt{39})+(20-2\sqrt{39})=40$.