Gọi $\mathcal{F}$ là tập hợp tất cả các đa thức $P(x)$ với hệ số thực thỏa mãn
$$P(P(x)+x+1)=P(x)P(x+1)+P(x)+P(x+1)$$
với mọi số thực $x$.
a) Tìm tất cả các đa thức $P(x)$ thuộc $\mathcal{F}$.
b) Tìm tất cả các đa thức $P(x)$ với hệ số nguyên, thuộc $\mathcal{F}$ và thỏa mãn đồng thời hai điều kiện sau:
i. $P(x)$ có nghiệm thực;
ii. Tồn tại đa thức $Q(x)$ với hệ số nguyên sao cho đa thức $P(x)Q(x)$ có tất cả các hệ số thuộc tập hợp $\{-2;-1;1;2\}$.

a) Từ giả thiết ta suy ra
$$P(P(x)+1+x)+1=(P(x)+1)(P(x+1)+1),\forall x\in \mathbb{R}.$$
Đặt $Q(x)=P(x)+1$, khi đó ta có
$$Q(Q(x)+x)=Q(x)\cdot Q(x+1),\forall x\in \mathbb{R}(\star ).$$
Nếu $Q(x)=c$ là hàm hằng, suy ra $c=c^2\Rightarrow \{\begin{array}{l}c=0\\ c=1\end{array}\Rightarrow \{\begin{array}{l}P(x)\equiv -1\\ P(x)=0\end{array}$. Cả hai đa thức này thỏa mãn yêu cầu đề bài.
Nếu $\mathrm{deg}Q=1$ thì $Q(Q(x)+x)$ là hàm hằng hoặc là hàm bậc nhất, nhưng $\mathrm{deg}(Q\cdot Q(x+1))=2$, mâu thuẫn.
Nếu $n=\mathrm{deg}Q\ge 2$, so sánh bậc 2 vế ta được $n^2=2n\Rightarrow n=2$. Đặt $Q(x)=a{x}^2+bx+k$, so sánh hệ số bậc cao nhất 2 vế, ta suy ra $a^3=a^2\Rightarrow a=1$.
Vậy $Q(x)=x^2+bx+k$, với $b,k\in \mathbb{R}$. Thử lại, ta thấy đa thức này thỏa mãn $(\star )$, suy ra $P(x)=x^2+bx+c$, với $b,c\in \mathbb{R}$ thỏa đề.
Kết luận: $\mathcal{F}=\{0;-1\}\cup \{P(x)=x^2+bx+c\mid b,c\in \mathbb{R}\}$.

b) Trước hết $P(x)\equiv -1$ không thỏa mãn điều kiện $(i)$, trong khi với $P(x)\equiv 0$ thì $\forall Q(x)\in \mathbb{R}[x]$ thì $P(x)\cdot Q(x)\equiv 0$, không thỏa mãn $(ii)$. Do đó ta xét $P(x)=x^2+bx+c$ thỏa mãn yêu cầu đề bài.
Ta đi chứng minh bổ đề sau: Cho đa thức $P(x)=\sum _{i=0}^n{a}_i{x}^i$ có nghiệm thực $x_0$. Khi đó
$$|x_0|<1+\underset{0\le i\le n}{\max }\left|\frac{a_i}{a_n}\right|.$$
Chứng minh. Ta có $P(x)=a_n{x}^n\left(1+{\sum }_{i=0}^{n-1}\frac{a_i}{a_n{x}^{n-i}}\right)$. Với $x$ là nghiệm khác 0 của $P(x)$ thì
$$-1=\sum _{i=0}^{n-1}\frac{a_i}{a_n}\cdot \frac{1}{x^{n-i}}\Rightarrow 1\le A\cdot \left(\sum _{i=1}^n\frac{1}{|x{|}^i}\right)=\frac{A}{|x|}\cdot \frac{1-\frac{1}{x^n}}{1-\frac{1}{x}}<\frac{A}{|x|-1}\text{ với }A=\underset{0\le i\le n}{\max }\left|\frac{a_i}{a_n}\right|$$
Từ đó suy ra $|x|<1+A$.
Trở lại bài toán, do $x^2+bx+c$ là một đa thức thỏa đề nên gọi $c_0\in \mathbb{Z}$ là hệ số tự do của đa thức $Q(x)\in \mathbb{Z}[x]$ thỏa $(x^2+bx+c)\cdot Q(x)$ có tất cả hệ số thuộc tập $\{\pm 1;\pm 2\}$. Khi đó $c{c}_0\in \{\pm 1;\pm 2\}$ nên ta suy ra $c\in \{\pm 1;\pm 2\}$. Mặt khác, để $P(x)$ có nghiệm thực thì $b^2\ge 4c$, và khi đó nghiệm thực của $P(x)$ là $\frac{-b\pm \sqrt{b^2-4c}}{2}$. Vì nghiệm của $P(x)$ cũng là nghiệm của $P(x)\cdot Q(x)$ nên áp dụng bổ đề trên cho ta
$$\left|\frac{-b\pm \sqrt{b^2-4c}}{2}\right|<3(\ast )$$
Ta xét các trường hợp:
Trường hợp 1: $c=1\Rightarrow b^2\ge 4\Rightarrow |b|\ge 2$. Nếu $b\ge 4$ thì $\frac{-b-\sqrt{b^2-4}}{2}<-3$, mâu thuẫn với $(\ast )$. tương tự nếu $b\le -4$. Vậy $b\in \{\pm 2;\pm 3\}$.
$b=\pm 2$, tồn tại $Q(x)=1$ thỏa mãn.
$b=\pm 3$, tồn tại $Q(x)=x\mp 1$ thỏa mãn.
Trường hợp 2: $c=2\Rightarrow b^2\ge 8\Rightarrow |b|\ge 3$. Nếu $|b|\ge 4$ thì tương tự trường hợp 1, ta cũng có điều mâu thuẫn, vậy $b=\pm 3$. Với $b=\pm 3$, tồn tại $Q(x)=x\mp 1$ thỏa mãn.
Trường hợp 3. $c=-1$ thì $P(x)$ có nghiệm thực. Nếu $b\ge 3$ thì $\frac{-b-\sqrt{b^2+4}}{2}<-3$, mâu thuẫn với $(\ast )$, vương tự với $b\le -3$. Vậy $b\in \{0;\pm 1;\pm 2\}$.
$b=0$, tồn tại $Q(x)=x+1$ thỏa mãn.
$b=\pm 1;\pm 2$, tồn tại $Q(x)=1$ thỏa mãn.
Trường hợp 4. $c=-2$ thì $P(x)$ có nghiệm thực. Tương tự như trường hợp 3, ta cũng suy ra $b\in \{0;\pm 1;\pm 2\}$.
$b=0$, tồn tại $Q(x)=x+1$ thỏa mãn.
$b=\pm 1;\pm 2$, tồn tại $Q(x)=1$ thỏa mãn.
Kết luận: tập tất cả đa thức thỏa đề là
$$\{x^2+3x+2;x^2+2x+1;x^2-2x+1;x^2+3x+1;x^2-3x+1;x^2-1;x^2+x-1;x^2-x-1$$
$$x^2-3x+2;x^2+2x-1;x^2-2x-1;x^2-2;x^2+x-2;x^2-x-2;x^2+2x-2;x^2-2x-2\}.$$