(Lời giải của bạn Trí Dũng)
Kí hiệu mệnh đề P(x,y):f(x)f(x+y)=xnf(f(y))+f(x)2.
Trước hết, nếu f≡c là hàm hằng thì từ P(x,y) ta có c2=xnc+c2 với mọi x∈R, suy ra c=0.
Vậy f≡0 là một nghiệm. Sau đây ta sẽ giả sử f không hằng.
a) Từ P(0,y), ta có f(0)f(y)=f(0)2 với mọi y∈R.
Vì f không hằng nên suy ra f(0)=0.
Giả sử tồn tại a=0 sao cho f(a)=0.
Khi đó từ P(a,y), anf(f(y))=0 với mọi y, nên f(f(y))=0 với mọi y∈R.
Vì f không hằng nên tồn tại c sao cho f(c)=0. Từ P(c,y), ta được f(c)f(c+y)=f(c)2, hay f(c+y)=f(c) với mọi y∈R, mâu thuẫn với giả thiết f không hằng.
Vậy f(x)=0⟺x=0.
b) Giả sử f(a)=f(b). Lấy P(x,a)−P(x,b), ta được f(x)(f(x+a)−f(x+b))=0.
Theo câu trên, với mọi x=0 ta có f(x)=0, nên f(x+a)=f(x+b).
Với x=0 thì đẳng thức trên cũng đúng do f(a)=f(b).
Vậy f(x+a)=f(x+b) với mọi x∈R.
Do đó b−a là một chu kì của f, suy ra f(b−a)=f(0)=0.
Theo câu trên, b−a=0, tức là a=b. Vậy f là đơn ánh.
Với x=0, từ P(x,−x) và P(−x,x), do n lẻ, ta có
f(f(−x))=−xnf(x)2,f(f(x))=xnf(−x)2.(2)
Mặt khác, từ P(x,x) và P(−x,−x), kết hợp với (2), ta được
f(x)f(2x)=f(x)2+f(−x)2,
f(−x)f(−2x)=f(x)2+f(−x)2.(3)
Từ P(x,−2x) và P(−x,2x), kết hợp với (2), ta có
f(x)(f(x)−f(−x))=2nf(2x)2,
f(−x)(f(−x)−f(x))=2nf(−2x)2.(4)
Vì x=0 nên f(x),f(−x),f(2x),f(−2x) đều khác 0. Chia hai đẳng thức trong (4), ta được
−f(−x)f(x)=f(−2x)2f(2x)2.(5)
Từ (3) ta có f(−2x)f(2x)=f(x)f(−x) và thay vào (5), ta được −f(−x)f(x)=f(x)2f(−x)2 suy ra f(−x)3=−f(x)3.
Do đó f(−x)=−f(x) với mọi x=0.
Đẳng thức cũng đúng với x=0, nên f là hàm lẻ. Từ (2), suy ra với mọi x=0,
f(f(x))=xnf(x)2.(6)
Với x,y=0, từ P(x,y) và (6), ta được
f(x+y)=f(x)+ynf(x)xnf(y)2.(7)
Đổi vai trò x,y trong (7) rồi so sánh hai biểu thức của f(x+y), ta có
(xnf(x)−ynf(y))(xnf(x)2+ynf(y)2)=0.(8)
Với x,y>0, thừa số thứ hai trong (8) dương, nên xnf(x)=ynf(y).
Lấy y=1 và đặt c=f(1)=0, ta được f(x)=cxn với mọi x>0.
Vì f là hàm lẻ và n lẻ nên
f(x)=cxn,∀x∈R.(9)
Thay (9) vào phương trình ban đầu, với x,y=0, rồi rút gọn, ta được
(x+y)n=xn+cn−1yn2.(10)
Nếu n>1, cho y=1 trong (10), ta có (x+1)n−xn=cn−1 với mọi x=0. Vế trái không thể là một hằng số khi n>1, chẳng hạn, lần lượt lấy x=1 và x=−1, ta được
2n−1=cn−1,−(−1)n=cn−1.
Vì n lẻ nên đẳng thức thứ hai cho cn−1=1, trong khi đẳng thức thứ nhất cho cn−1=2n−1>1, mâu thuẫn. Vậy với n≥3 lẻ, không tồn tại nghiệm không hằng. Do đó chỉ có nghiệm f≡0.
Nếu n=1, trực tiếp kiểm tra thấy f(x)=cx thỏa mãn phương trình với mọi c∈R.
Vậy tất cả các nghiệm cần tìm là
{f(x)=cx,f(x)=0,c∈R,n=1,n≥3 lẻ.