Trong không gian Oxyz, cho hai mặt phẳng (alpha): x- my+ z+ 6m+3=0, và (beta): mx

Bước 1: Biểu diễn M và vectơ chỉ phương của $\text{Δ}$  theo m.

Mặt phẳng $\left(\alpha \right):x-my+z+6m-3z=0$ có một vectơ pháp tuyến là 

 $\overrightarrow{n_1}=(1;-m;1)$ và mặt phẳng $\left(\beta \right):mx+y-mz+3m-8=\left(\alpha \right)\cap \left(\beta \right)$

$\overrightarrow{n_1}=(1;-m;1)$ và mặt phẳng $\left(\beta \right):mx+y-mz$ có một vectơ pháp tuyến là

$\overrightarrow{n_2}=(m;1;-m).$ Ta có $M\left(-3m+\frac{4}{m}-3;0;-3m-\frac{4}{m}\right)\in \text{Δ}=\left(\alpha \right)\cap \left(\beta \right)$

Do đó $\text{Δ}$ có một vectơ chỉ phương là $\overrightarrow{u}=\left[\overrightarrow{n_1};\overrightarrow{n_2}\right]=\left(m^2-1;2m;m^2+1\right)$

Bước 2: Gọi (P) là mặt phẳng chứa đường thẳng $\text{Δ}$ và vuông góc với mặt phẳng (Oxy). Tìm c.

Gọi (P) là mặt phẳng chứa đường thẳng $\text{Δ}$ và vuông góc với mặt phẳng (Oxy). Khi đó (P) có một vectơ pháp tuyến là $\overrightarrow{n}=[\overrightarrow{u};\overrightarrow{k}]=\left(2m;1-m^2;0\right)$

Phương trình mặt phẳng (P) là $2mx+\left(1-m^2\right)y+6m^2+6m-8=0$

Vì $I(a;b;c)\in \left(Oxy\right)$ nên I(a;b;0).

Bước 3: Theo giả thiết ta suy ra (P) là tiếp diện của mặt cầu $\left(S\right)\Rightarrow d(I;(P\left)\right)=R$

Tìm a và b

Theo giả thiết ta suy ra (P) là tiếp diện của mặt cầu $\left(S\right)\Rightarrow d(I;(P\left)\right)=R$

$\iff \frac{\left|2ma+\left(1-m^2\right)b+6m^2+6m-8\right|}{\sqrt{4m^2+{\left(1-m^2\right)}^2}}=R>0$

$\iff \frac{\left|2m(a+3)+(6-b)m^2+b-8\right|}{m^2+1}=R>0$

$\iff \left[\begin{array}{c}2m(a+3)+(6-b)m^2+b-8=R(m^2+1)\\ 2m(a+3)+(6-b)m^2+b-8=-R(m^2+1)\end{array}\right.$

$\iff \left[\begin{array}{c}\left\{\begin{array}{c}2(a+3)=0\\ 6-b=R\\ b-8=R\\ R>0\end{array}\right.\\ \left\{\begin{array}{c}2(a+3)=0\\ 6-b=-R\\ b-8=-R\\ R>0\end{array}\right.\end{array}\right.\iff \left[\begin{array}{c}\left\{\begin{array}{c}a=-3=0\\ 6-b=b-8\\ -R=6-b<0\end{array}\right.\\ \left\{\begin{array}{c}a=-3\\ 6-b=b-8\\ R=6-b>0\end{array}\right.\end{array}\right.$

$\Rightarrow \left\{\begin{array}{c}a=-3\\ b=7\end{array}\right.$

Vậy I(−3;7;0), do đó $P=10a^2-b^2+3c^2=41$

Chọn đáp án C