c) Tìm m để phương trình có hai nghiệm phân biệt x1, x2 sao cho

c) Phương trình có hai nghiệm phân biệt $\iff \Delta >0\iff {\left(-5\right)}^2-4\left(m+1\right)>0\iff 21-4m>0\iff m<\frac{21}{4}$

Áp dụng định lí Vi-ét, ta có: $\left\{\begin{array}{l}{x}_1+x_2=5\\ x_1{x}_2=m+1\end{array}\right.$

Theo đề bài ta có:

$\left|x_1-x_2\right|<5\iff {\left(x_1-x_2\right)}^2<25\iff {x_1}^2+{x_2}^2-2x_1{x}_2<25\iff {\left(x_1+x_2\right)}^2-4x_1{x}_2<25$

$\iff 25-4\left(m+1\right)<25\iff -4\left(m+1\right)<0\iff m+1>0\iff m>-1$

Kết hợp hai điều kiện ta được $-1<m<\frac{21}{4}$ 

Vậy $-1<m<\frac{21}{4}$