Cho bất phương trình ${\log }_{m^2+1}[x^3+(m-3)x^2-mx-m^2+2m+1]>{\log }_{m^2+1}(1-x^2)$. Tập hợp các giá trị của $m$ để bất phương trình trên có nghiệm là khoảng $(a;b)$. Giá trị của biểu thức $a^2+b^2$ là

Chọn D.
Vì $m^2+1>1$ với mọi $m\ne 0$, bất phương trình tương đương với:
$x^3+(m-3)x^2-mx-m^2+2m+1>1-x^2>0$
Điều kiện: $1-x^2>0\iff -1<x<1$.
Bất phương trình trở thành:
$x^3+(m-2)x^2-mx-m^2+2m>0\iff (x-1)(x+m)(x+2-m)>0.$
Phân tích điều kiện để có nghiệm thuộc khoảng $(-1;1)$, ta tìm được tập hợp giá trị của $m$ là khoảng $(-3;0)$, tức $a=-3,b=0$.
Vậy $a^2+b^2=(-3{)}^2+0^2=9$.