Cho $n$ là một số nguyên dương lẻ. Xét các hàm $f:\mathbb{R}\to \mathbb{R}$ thỏa mãn $$f(x)f(y+x)=x^{n}f(f(y))+{\left(f(x)\right)}^2,\forall x,y\in \mathbb{R}(1).$$

a) Giả sử $f$ không là hàm hằng. Chứng minh rằng:

i) $f(x)=0$ khi và chỉ khi $x=0$.

ii) $f$ là một đơn ánh.

b) Tìm tất cả các hàm số $f:\mathbb{R}\to \mathbb{R}$ thoả mãn (1).

(Lời giải của bạn Trí Dũng)

Kí hiệu mệnh đề $P(x,y):f(x)f(x+y)=x^{n}f(f(y))+f(x{)}^2$.

Trước hết, nếu $f\equiv c$ là hàm hằng thì từ $P(x,y)$ ta có $c^2=x^{n}c+c^2$ với mọi $x\in \mathbb{R}$, suy ra $c=0$.

Vậy $f\equiv 0$ là một nghiệm. Sau đây ta sẽ giả sử $f$ không hằng.

a) Từ $P(0,y)$, ta có $f(0)f(y)=f(0{)}^2$ với mọi $y\in \mathbb{R}$.

Vì $f$ không hằng nên suy ra $f(0)=0$.

Giả sử tồn tại $a\ne 0$ sao cho $f(a)=0$.

Khi đó từ $P(a,y)$, $a^{n}f(f(y))=0$ với mọi $y$, nên $f(f(y))=0$ với mọi $y\in \mathbb{R}$.

Vì $f$ không hằng nên tồn tại $c$ sao cho $f(c)\ne 0$. Từ $P(c,y)$, ta được $f(c)f(c+y)=f(c{)}^2$, hay $f(c+y)=f(c)$ với mọi $y\in \mathbb{R}$, mâu thuẫn với giả thiết $f$ không hằng.

Vậy $f(x)=0⟺x=0$.

b) Giả sử $f(a)=f(b)$. Lấy $P(x,a)-P(x,b)$, ta được $f(x)(f(x+a)-f(x+b))=0$.

Theo câu trên, với mọi $x\ne 0$ ta có $f(x)\ne 0$, nên $f(x+a)=f(x+b)$.

Với $x=0$ thì đẳng thức trên cũng đúng do $f(a)=f(b)$.

Vậy $f(x+a)=f(x+b)$ với mọi $x\in \mathbb{R}$.

Do đó $b-a$ là một chu kì của $f$, suy ra $f(b-a)=f(0)=0$.

Theo câu trên, $b-a=0$, tức là $a=b$. Vậy $f$ là đơn ánh.

Với $x\ne 0$, từ $P(x,-x)$ và $P(-x,x)$, do $n$ lẻ, ta có
$$f(f(-x))=-\frac{f(x{)}^2}{x^n},f(f(x))=\frac{f(-x{)}^2}{x^n}.\text{\hspace{1em}(2)}$$

Mặt khác, từ $P(x,x)$ và $P(-x,-x)$, kết hợp với (2), ta được
$$f(x)f(2x)=f(x{)}^2+f(-x{)}^2,$$
$$f(-x)f(-2x)=f(x{)}^2+f(-x{)}^2.\text{\hspace{1em}(3)}$$

Từ $P(x,-2x)$ và $P(-x,2x)$, kết hợp với (2), ta có
$$f(x)(f(x)-f(-x))=\frac{f(2x{)}^2}{2^n},$$
$$f(-x)(f(-x)-f(x))=\frac{f(-2x{)}^2}{2^n}.\text{\hspace{1em}(4)}$$

Vì $x\ne 0$ nên $f(x),f(-x),f(2x),f(-2x)$ đều khác 0. Chia hai đẳng thức trong (4), ta được
$$-\frac{f(x)}{f(-x)}=\frac{f(2x{)}^2}{f(-2x{)}^2}.\text{\hspace{1em}(5)}$$

Từ (3) ta có $\frac{f(2x)}{f(-2x)}=\frac{f(-x)}{f(x)}$ và thay vào (5), ta được $-\frac{f(x)}{f(-x)}=\frac{f(-x{)}^2}{f(x{)}^2}$ suy ra $f(-x{)}^3=-f(x{)}^3$.

Do đó $f(-x)=-f(x)$ với mọi $x\ne 0$.

Đẳng thức cũng đúng với $x=0$, nên $f$ là hàm lẻ. Từ (2), suy ra với mọi $x\ne 0$,
$$f(f(x))=\frac{f(x{)}^2}{x^n}.\text{\hspace{1em}(6)}$$

Với $x,y\ne 0$, từ $P(x,y)$ và (6), ta được
$$f(x+y)=f(x)+\frac{x^{n}f(y{)}^2}{y^{n}f(x)}.\text{\hspace{1em}(7)}$$

Đổi vai trò $x,y$ trong (7) rồi so sánh hai biểu thức của $f(x+y)$, ta có
$$\left(\frac{f(x)}{x^n}-\frac{f(y)}{y^n}\right)\left(\frac{f(x{)}^2}{x^n}+\frac{f(y{)}^2}{y^n}\right)=0.\text{\hspace{1em}(8)}$$

Với $x,y>0$, thừa số thứ hai trong (8) dương, nên $\frac{f(x)}{x^n}=\frac{f(y)}{y^n}$.

Lấy $y=1$ và đặt $c=f(1)\ne 0$, ta được $f(x)=c{x}^n$ với mọi $x>0$.

Vì $f$ là hàm lẻ và $n$ lẻ nên
$$f(x)=c{x}^n,\forall x\in \mathbb{R}.\text{\hspace{1em}(9)}$$

Thay (9) vào phương trình ban đầu, với $x,y\ne 0$, rồi rút gọn, ta được
$$(x+y{)}^n=x^n+c^{n-1}{y}^{n^2}.\text{\hspace{1em}(10)}$$

Nếu $n>1$, cho $y=1$ trong (10), ta có $(x+1{)}^n-x^n=c^{n-1}$ với mọi $x\ne 0$. Vế trái không thể là một hằng số khi $n>1$, chẳng hạn, lần lượt lấy $x=1$ và $x=-1$, ta được
$$2^n-1=c^{n-1},-(-1{)}^n=c^{n-1}.$$

Vì $n$ lẻ nên đẳng thức thứ hai cho $c^{n-1}=1$, trong khi đẳng thức thứ nhất cho $c^{n-1}=2^n-1>1$, mâu thuẫn. Vậy với $n\ge 3$ lẻ, không tồn tại nghiệm không hằng. Do đó chỉ có nghiệm $f\equiv 0$.

Nếu $n=1$, trực tiếp kiểm tra thấy $f(x)=cx$ thỏa mãn phương trình với mọi $c\in \mathbb{R}$.

Vậy tất cả các nghiệm cần tìm là
$$\{\begin{array}{ll}f(x)=cx,& c\in \mathbb{R},n=1,\\ f(x)=0,& n\ge 3\text{ lẻ}.\end{array}$$