ベクトルの問題

$\mathrm{P}(x,y)$ とおく。

条件を式にする. $\overrightarrow{\mathrm{PA}}=(1-x,5-y)$, $\overrightarrow{\mathrm{PB}}=(5-x,3-y)$ より
$$\overrightarrow{\mathrm{PA}}\cdot \overrightarrow{\mathrm{PB}}=(1-x)(5-x)+(5-y)(3-y)=x^2-6x+5+y^2-8y+15=x^2+y^2-6x-8y+20.$$
これが $20$ に等しいので
$$x^2+y^2-6x-8y=0\cdots (1)$$
すなわち $(x-3{)}^2+(y-4{)}^2=25$ であり、$\mathrm{P}$ は中心 $\mathrm{M}(3,4)$、半径 $5$ の円周上を動く(逆に、この円周上のどの点も条件を満たす)。

求める内積を計算する. $\overrightarrow{\mathrm{PO}}=(-x,-y)$, $\overrightarrow{\mathrm{PC}}=(6-x,-8-y)$ より
$$\overrightarrow{\mathrm{PO}}\cdot \overrightarrow{\mathrm{PC}}=-x(6-x)-y(-8-y)=x^2+y^2-6x+8y.$$
$(1)$ より $x^2+y^2=6x+8y$ なので
$$\overrightarrow{\mathrm{PO}}\cdot \overrightarrow{\mathrm{PC}}=(6x+8y)-6x+8y=16y.$$

$y$ の範囲. 円 $(x-3{)}^2+(y-4{)}^2=25$ 上で $y$ のとりうる値の範囲は $4-5\le y\le 4+5$、すなわち $-1\le y\le 9$ である。$y=9$ となるのは $\mathrm{P}(3,9)$、$y=-1$ となるのは $\mathrm{P}(3,-1)$ のとき。

よって最大値は $16\cdot 9=144$、最小値は $16\cdot (-1)=-16$。

(確認: $\mathrm{P}(3,9)$ のとき $\overrightarrow{\mathrm{PO}}=(-3,-9)$, $\overrightarrow{\mathrm{PC}}=(3,-17)$ で内積は $-9+153=144$。$\mathrm{P}(3,-1)$ のとき $\overrightarrow{\mathrm{PO}}=(-3,1)$, $\overrightarrow{\mathrm{PC}}=(3,-7)$ で内積は $-9-7=-16$。)

別解(中点を用いる). 線分 $\mathrm{OC}$ の中点を $\mathrm{N}(3,-4)$ とすると、$\overrightarrow{\mathrm{PO}}\cdot \overrightarrow{\mathrm{PC}}=|\overrightarrow{\mathrm{PN}}{|}^2-|\overrightarrow{\mathrm{NO}}{|}^2=|\overrightarrow{\mathrm{PN}}{|}^2-25$。$\mathrm{MN}=8>5$ より $\mathrm{N}$ は円の外部にあり、$|\overrightarrow{\mathrm{PN}}|$ は $8-5=3$ から $8+5=13$ まで動く。よって最大値 $169-25=144$、最小値 $9-25=-16$。

答え: 最大値 $144$、最小値 $-16$

P=(x,y) とおく。$\overrightarrow{PA}\cdot \overrightarrow{PB}=(1-x)(5-x)+(5-y)(3-y)=x^2+y^2-6x-8y+20$ なので、条件は $x^2+y^2-6x-8y=0$、すなわち $(x-3{)}^2+(y-4{)}^2=25$ である。P は中心 (3,4)、半径 5 の円上を動く。

一方、$\overrightarrow{PO}\cdot \overrightarrow{PC}=(-x)(6-x)+(-y)(-8-y)=x^2+y^2-6x+8y$ である。

円の方程式より $x^2+y^2=6x+8y$ なので、$\overrightarrow{PO}\cdot \overrightarrow{PC}=6x+8y-6x+8y=16y$ となる。

P は円上を動くので $4-5\le y\le 4+5$、すなわち $-1\le y\le 9$ である。よって $16y$ の最大値は $y=9$ のとき 144、最小値は $y=-1$ のとき $-16$ である。

検算：P=(3,9) のとき $\overrightarrow{PO}\cdot \overrightarrow{PC}=(-3,-9)\cdot (3,-17)=-9+153=144$。P=(3,-1) のとき $(-3,1)\cdot (3,-7)=-9-7=-16$。ともに一致する。