Cho hình lăng trụ ABC.A'B'C' có đáy ABC là tam giác vuông tại A

Kẻ $B\text{'}H\perp BC$ tại H (do $\widehat{BB\text{'}C}$ là góc nhọn nên H thuộc đoạn $BC),HK\perp AB$ tại K và giả sử B'H = x với x > 0.

Ta có: $\left\{\begin{array}{l}\left(BCC\text{'}B\text{'}\right)\perp \left(ABC\right)\\ \left(BCC\text{'}B\text{'}\right)\cap \left(ABC\right)=BC\\ B\text{'}H\subset \left(BCC\text{'}B\text{'}\right),B\text{'}H\perp BC\end{array}\right.\Rightarrow B\text{'}H\perp \left(ABC\right).$

Do $\left\{\begin{array}{l}AB\perp HK\\ AB\perp B\text{'}H\end{array}\right.$ nên $AB\perp \left(B\text{'}HK\right)\Rightarrow AB\perp B\text{'}K$.

Từ đó suy ra $\widehat{\left(\left(ABB\text{'}A\text{'}\right),\left(ABC\right)\right)}=\widehat{\left(B\text{'}K,HK\right)}=\widehat{B\text{'}KH}={45}^0\Rightarrow \Delta B\text{'}HK$ vuông cân tại H.

$\Rightarrow HK=B\text{'}H=x.$

Trong tam giác BKH vuông tại K có: $BH=\frac{HK}{\sin \widehat{ABC}}=\frac{2x\sqrt{3}}{3}.$

Do tứ giác BCC'B' là hình thoi nên BB' = BC = 2a

Trong tam giác B'HB vuông tại H có: $B{H}^2+B\text{'}{H}^2=BB{\text{'}}^2\iff \frac{4x^2}{3}+x^2=4a^2\iff x=\frac{2a\sqrt{21}}{7}.$

Trong tam giác ABC vuông tại A có: $AC=BC.\sin {60}^0=a\sqrt{3};AB=BC.\cos {60}^0=a.$

$\Rightarrow S_{ABC}=\frac{1}{2}AB.AC=\frac{a^2\sqrt{3}}{2}.$

Vậy thể tích khối lăng trụ ABC.A'B'C' là $V=B\text{'}H.S_{ABC}=\frac{2a\sqrt{21}}{7}.\frac{a^2\sqrt{3}}{2}=\frac{3\sqrt{7}{a}^3}{7}.$

Chọn D.