Tìm tất cả các hàm số $f:\mathbb{R}\to \mathbb{R}$ thỏa mãn
$$f(xy+f(x))+f(y)=xf(y)+f(x+y)\text{ với mọi }x,y\in \mathbb{R}.$$

Lời giải.

Kí hiệu $P(x,y)$ là mệnh đề $f(xy+f(x))+f(y)=xf(y)+f(x+y)$.

Từ $P(0,0)$ suy ra $f(f(0))=0$. Thay $x=f(0)$, $y=0$, ta được $2f(0)=f(0{)}^2$, nên $f(0)\in \{0,2\}$.

Trước hết, xét $f(0)=2$. Khi đó $f(2)=0$. Từ $P(x,0)$, ta có
$$f(f(x))+2=2x+f(x),\forall x\in \mathbb{R}.$$
Từ đó ta suy ra được $f$ là đơn ánh.

Với $x\ne 1$, xét $P(x,y)$ với $y=\frac{f(x)-x}{1-x}$. Khi đó $xy+f(x)=x+y$, do đó $(x-1)f(y)=0$.

Suy ra $f(y)=0=f(2)$. Vì $f$ đơn ánh nên $y=2$, tức là $f(x)=2-x$ với mọi $x\ne 1$.

Mặt khác, $P(1,x)$ cho $f(x+f(1))=f(x+1)$ nên $f(1)=1$. Vậy $f(x)=2-x$ với mọi $x\in \mathbb{R}$.

Tiếp theo, xét $f(0)=0$. Giả sử $f(a)=f(b)=c$. Lấy $P(a,b)$ trừ $P(b,a)$, ta được $c(a-b)=0$.

Vì thế nếu $f(a)=f(b)\ne 0$ thì $a=b$.

Từ $P(x,0)$ suy ra $f(f(x))=f(x)$. Do đó, với mỗi $x$, nếu $f(x)\ne 0$ thì $f(f(x))=f(x)\ne 0$, nên theo nhận xét trên thì $f(x)=x$. Vậy $f(x)\in \{0,x\}$ với mọi $x\in \mathbb{R}$.

Nếu $f(1)=0$ thì $P(1,x)$ cho $f(x)=f(x+1)$ với mọi $x$. Nếu tồn tại $x\ne 0$ sao cho $f(x)=x$, thì $f(x)=f(x+1)\ne 0$, suy ra $x=x+1$, vô lý. Do đó $f\equiv 0$.

Nếu $f(1)=1$, giả sử tồn tại $x\ne 0$ sao cho $f(x)=0$. Từ $P(1-x,x)$ suy ra
$$f\left(x-x^2+f(1-x)\right)=1.$$
Vì $f(t)\in \{0,t\}$ với mọi $t$, ta có $x-x^2+f(1-x)=1$.

- Nếu $f(1-x)=0$ thì $x-x^2=1$, vô nghiệm.
- Nếu $f(1-x)=1-x$ thì $x-x^2+1-x=1$, suy ra $x=0$, mâu thuẫn.

Vậy không tồn tại $x\ne 0$ sao cho $f(x)=0$, nên $f(x)=x$ với mọi $x$.

Thử lại, cả ba hàm $f(x)=0$, $f(x)=x$ và $f(x)=2-x$ đều thỏa mãn và đây là các nghiệm hàm cần tìm.

Nhận xét. Ta cũng có thể giải bài toán trên khi đổi từ $\mathbb{R}$ thành ${\mathbb{R}}^{+}$. Bài toán: Tìm tất cả các hàm số $f:{\mathbb{R}}^{+}\to {\mathbb{R}}^{+}$ thỏa mãn $f(xy+f(x))+f(y)=xf(y)+f(x+y)$ với mọi $x,y>0$.