数と式の問題

$s=a+b+c,q=ab+bc+ca,p=abc$ とおく。

鍵になる恒等式　
$$(a^2+1)(b^2+1)(c^2+1)=(q-1{)}^2+(s-p{)}^2(1)$$
が成り立つ。実際、左辺を展開すると
$$a^2{b}^2{c}^2+(a^2{b}^2+b^2{c}^2+c^2{a}^2)+(a^2+b^2+c^2)+1$$
である。一方、
$$q^2=a^2{b}^2+b^2{c}^2+c^2{a}^2+2abc(a+b+c)=(a^2{b}^2+b^2{c}^2+c^2{a}^2)+2ps,$$
$$s^2=a^2+b^2+c^2+2q$$
より、右辺は
$$q^2-2q+1+s^2-2sp+p^2=(a^2{b}^2+b^2{c}^2+c^2{a}^2)+2ps-2q+1+(a^2+b^2+c^2)+2q-2sp+p^2$$
となり、左辺と一致する。

条件 $q=2$ を $(1)$ に代入すると
$$(a^2+1)(b^2+1)(c^2+1)=1+(s-p{)}^2$$
なので、$|s-p|$ の最小値を調べればよい。

2 つの不等式　
$$s^2-3q=\frac{1}{2}\{(a-b{)}^2+(b-c{)}^2+(c-a{)}^2\}\geqq 0(2)$$
$$q^2-3ps=\frac{1}{2}\{(ab-bc{)}^2+(bc-ca{)}^2+(ca-ab{)}^2\}\geqq 0(3)$$
（$(3)$ は $q^2=(ab{)}^2+(bc{)}^2+(ca{)}^2+2ps$ と $(ab)(bc)+(bc)(ca)+(ca)(ab)=ps$ から確かめられる。）

$(2)$ より $s^2\geqq 6$、すなわち $s\geqq \sqrt{6}$ または $s\leqq -\sqrt{6}$。$(3)$ より $3ps\leqq 4$。

(i) $s\geqq \sqrt{6}$ のとき、$p\leqq \frac{4}{3s}$ なので
$$s-p\geqq s-\frac{4}{3s}.$$
$f(s)=s-\frac{4}{3s}$ は $s>0$ で $s$ が増えると増加するから
$$s-p\geqq \sqrt{6}-\frac{4}{3\sqrt{6}}=\frac{18-4}{3\sqrt{6}}=\frac{14}{3\sqrt{6}}>0.$$

(ii) $s\leqq -\sqrt{6}$ のとき、$s<0$ で割って $p\geqq \frac{4}{3s}$ なので $s-p\leqq s-\frac{4}{3s}$。$s-\frac{4}{3s}$ は $s<0$ でも $s$ が増えると増加するから
$$s-p\leqq -\sqrt{6}+\frac{4}{3\sqrt{6}}=-\frac{14}{3\sqrt{6}}.$$

いずれの場合も $|s-p|\geqq \frac{14}{3\sqrt{6}}$ なので
$$(s-p{)}^2\geqq \frac{196}{54}=\frac{98}{27},(a^2+1)(b^2+1)(c^2+1)\geqq 1+\frac{98}{27}=\frac{125}{27}.$$

等号　$a=b=c=\sqrt{\frac{2}{3}}$ のとき $q=3\cdot \frac{2}{3}=2$ で条件を満たし、$(2),(3)$ の等号が成り立ち、$s=\sqrt{6}$ である。このとき
$$(a^2+1)(b^2+1)(c^2+1)={\left(\frac{2}{3}+1\right)}^3=\frac{125}{27}$$
となり、下限が実際にとられる。

よって最小値は $\frac{125}{27}$ である。

$i$ を虚数単位とし、$(a+i)(b+i)(c+i)=(abc-(a+b+c))+i(ab+bc+ca-1)$ の絶対値の 2 乗をとると
$$(a^2+1)(b^2+1)(c^2+1)=(abc-a+-b-c{)}^2+(ab+bc+ca-1{)}^2$$
（式を整理すると）$ab+bc+ca=2$ より
$$P=1+(a+b+c-abc{)}^2.$$
$g=a+b+c-abc$ の $g^2$ の最小値を求める。
$u=a+b$, $v=ab$ とおくと $u^2\ge 4v$。$c=\frac{2-v}{u}$（$u\ne 0$）で、
$$g=u+\frac{(2-v)(1-v)}{u}=u+\frac{k}{u},k=(v-1)(v-2).$$
$u=0$ のときは $v=2$ が必要となるが $u^2\ge 4v$ に反するので $u\ne 0$。符号の対称性から $u>0$ としてよい。

(i) $k\ge 0$ で $u=\sqrt{k}$ が許される（$k\ge 4v$、すなわち $v\le \frac{7-\sqrt{41}}{2}$ または $v\ge \frac{7+\sqrt{41}}{2}$）とき $g^2\ge 4k$。$v=\frac{7-\sqrt{41}}{2}$ で最小となり $g^2=4k=4\cdot 4v=8(7-\sqrt{41})\cdot \frac{1}{2}\cdot 1=2\cdot 2(7-\sqrt{41})\approx 4.78$（$v\le 0$ などではさらに大きい）。

(ii) それ以外のときは $u+\frac{k}{u}$ が $u\ge 2\sqrt{v}$ の範囲で増加するので、最小は $u=2\sqrt{v}$（$a=b$）のとき。
$$g=\frac{4v+k}{2\sqrt{v}}=\frac{v^2+v+2}{2\sqrt{v}},g^2=\frac{(v^2+v+2{)}^2}{4v}.$$
$\log$ の微分から $\frac{2(2v+1)}{v^2+v+2}=\frac{1}{v}⟺3v^2+v-2=0⟺v=\frac{2}{3}$。このとき
$$g^2=\frac{(4/9+2/3+2{)}^2}{8/3}=\frac{(28/9{)}^2\cdot 3}{8}=\frac{98}{27}\approx \mathrm{3.63.}$$
これは (i) の $4.78$ より小さい。

よって $g^2$ の最小値は $\frac{98}{27}$、
$$P_{\min }=1+\frac{98}{27}=\frac{125}{27}.$$

検算: $a=b=\sqrt{2/3}$, $c=\frac{2}{3a}$ とすると $ab+bc+ca=\frac{2}{3}+2\cdot \frac{2}{3}\cdot ...$ すなわち $ab=\frac{2}{3}$, $c(a+b)=\frac{2}{3a}\cdot 2a=\frac{4}{3}$ で合計 $2$。$a^2+1=\frac{5}{3}$, $c^2=\frac{4}{9a^2}=\frac{2}{3}$ より $c^2+1=\frac{5}{3}$。積は ${\left(\frac{5}{3}\right)}^3=\frac{125}{27}$。一致する。