Cho hai số thực dương a, b thỏa mãn a + b + 3ab = 1. Tìm giá trị lớn nhất của biểu thức

Ta có: ${(a-b)}^2\ge 0\iff a^2+b^2\ge 2ab\iff {(a+b)}^2\ge 4ab;$$a^2+b^2\ge \frac{{(a+b)}^2}{2}$

Từ giả thiết $a+b+3ab=1\Rightarrow a+b=1-3ab\ge 1-\frac{3}{4}{\left(a+b\right)}^2$

$$\begin{gathered} \iff 3{\left(a+b\right)}^2+4\left(a+b\right)-4\ge 0\iff \left[a+b+2\right]\left[3\left(a+b\right)-2\right]\ge 0\iff a+b\ge \frac{2}{3}. \\ \frac{3ab}{a+b}=\frac{1-(a+b)}{a+b}=\frac{1}{a+b}-1\le \frac{3}{2}-1=\frac{1}{2}. \\ {a}^2+b^2\ge \frac{{\left(a+b\right)}^2}{2}\ge \frac{2}{9}\Rightarrow -\left(a^2+b^2\right)\le -\frac{2}{9}. \\ P=\frac{12ab}{a+b}-a^2-b^2=4.\frac{3ab}{a+b}-\left(a^2+b^2\right)\le 2-\frac{2}{9}=\frac{16}{9}. \end{gathered}$$

Giá trị lớn nhất của P bằng $\frac{16}{9}$ khi $\left\{\begin{array}{l}a=b\\ a+b+3ab=1\end{array}\right.\iff a=b=\frac{1}{3}$.