Trong không gian Oxyz, cho hai mặt phẳng (alpha): x-my + z +6m +3=0

Mặt phẳng $\left(\alpha \right):x-my+z+6m+3=0$ có một vectơ pháp tuyến là $\overrightarrow{n_1}=\left(1;-m;1\right)$, và mặt phẳng $\left(\beta \right):mx+y-mz+3m-8=0$ có một vectơ pháp tuyến là $\overrightarrow{n_2}=\left(m;1;-m\right)$.

Ta có $M\left(-3m+\frac{4}{m}-3;0;-3m-\frac{4}{m}\right)\in \Delta =\left(\alpha \right)\cap \left(\beta \right)$. 

Do đó $\Delta$ có một vectơ chỉ phương là $\overrightarrow{u}=\left[\overrightarrow{n_1};\overrightarrow{n_2}\right]=\left(m^2-1;2m;m^2+1\right)$.

Gọi (P) là mặt phẳng chứa đường thẳng $\Delta$ và vuông góc với mặt phẳng $\left(Oxy\right)$. Khi đó $\left(P\right)$ có một vectơ pháp tuyến là $\overrightarrow{n}=\left[\overrightarrow{u};\overrightarrow{k}\right]=\left(2m;1-m^2;0\right)$.

Phương trình mặt phẳng (P) là : $2mx+\left(1-m^2\right)y+6m^2+6m-8=$0.

Vì $I\left(a;b;c\right)\in \left(Oxy\right)$ nên I(a;b;0).

Theo giả thiết ta suy ra (P) là tiếp diện của mặt cầu $\left(S\right)\Rightarrow d\left(I;\left(P\right)\right)=R$

$\iff \frac{\left|2ma+\left(1-m^2\right)b+6m^2+6m-8\right|}{\sqrt{4m^2+{\left(1-m^2\right)}^2}}=R>0$

$\iff \frac{\left|2m\left(a+3\right)+\left(6-b\right)m^2+b-8\right|}{m^2+1}=R>0$

$\iff \left[\begin{array}{l}2m\left(a+3\right)+\left(6-b\right)m^2+b-8=R\left(m^2+1\right)\\ 2m\left(a+3\right)+\left(6-b\right)m^2+b-8=-R\left(m^2+1\right)\end{array}\right.$

$\iff \left[\begin{array}{l}\left\{\begin{array}{l}2\left(a+3\right)=0\\ 6-b=R\\ b-8=R\\ R>0\end{array}\right.\\ \left\{\begin{array}{l}2\left(a+3\right)=0\\ 6-b=-R\\ b-8=-R\\ R>0\end{array}\right.\end{array}\right.\iff \left[\begin{array}{l}\left\{\begin{array}{l}a=-3\\ 6-b=b-8\\ R=6-b>0\end{array}\right.\\ \left\{\begin{array}{l}a=-3=0\\ 6-b=b-8\\ -R=6-b<0\end{array}\right.\end{array}\right.\Rightarrow \left\{\begin{array}{l}a=-3\\ b=7\end{array}\right.$.

Vậy I(-3;7;0), do đó $P=10a^2-b^2+3c^2=41$.