Trong không gian với hệ toạ độ Oxyz, cho đường thẳng

Đáp án B

 $\left(\alpha \right)$ có vectơ pháp tuyến $\overrightarrow{n}=\left(1;-2;2\right).$

 $\Delta :\frac{x-1}{1}=\frac{y-1}{2}=\frac{z}{2}$ là giao tuyến của hai mặt phẳng $2x-y-1=0;y-z-1=0.$

(P) là mặt phẳng chứa $\Delta$  nên phương trình (P) có dạng $m\left(2x-y-1\right)+n\left(y-z-1\right)=0;\left(m^2+n^2>0\right).$

$\Rightarrow 2mx+\left(n-m\right)y-nz-m-n=0$

$\cos \left(\left(P\right),\left(\alpha \right)\right)=\frac{\left|4m-4n\right|}{3\sqrt{5m^2-2mn+2n^2}}.$

+ Với n = 0: $\cos \left(\left(P\right),\left(\alpha \right)\right)=\frac{\left|4m\right|}{3\sqrt{5m^2}}=\frac{4}{3\sqrt{5}}$

+ Với $n\ne 0:\cos \left(\left(P\right),\left(\alpha \right)\right)=\frac{4\left|\frac{m}{n}-1\right|}{\sqrt[3]{5{\left(\frac{m}{n}\right)}^2-2\frac{m}{n}+2}}.$

Đặt $t=\frac{m}{n},\cos \left(\left(P\right),\left(\alpha \right)\right)=\frac{4\left|t-1\right|}{3\sqrt{5t^2-2t+2}}=\frac{4}{3}\sqrt{\frac{t^2-2t+1}{5t^2-2t+2}}$

Xét $f\left(t\right)=\frac{t^2-2t+1}{5t^2-2t+2}$

$f^{\text{'}}\left(t\right)=\frac{8t^2-6t-2}{{\left(5t^2-2t+2\right)}^2};f^{\text{'}}\left(t\right)=0\iff \left[\begin{array}{l}t=1\\ t=-\frac{1}{4}\end{array}\right.$

(P) là mặt phẳng tạo với $\left(\alpha \right)$  một góc nhỏ nhất nên $\cos \left(\left(P\right),\left(\alpha \right)\right)=\frac{4}{3}\sqrt{\frac{5}{9}}=\frac{4\sqrt{5}}{9}$

Khi đó $t=-\frac{1}{4}\Rightarrow \frac{m}{n}=-\frac{1}{4}.$

Chọn $m=1;n=-4$  ta được phương trình mặt phẳng $\left(P\right):2x-5y+4z+3=0.$