ベクトルの問題

$\vec{a}=\overrightarrow{\mathrm{OA}}=(3,4)$, $\vec{p}=\overrightarrow{\mathrm{OP}}$, $\vec{q}=\overrightarrow{\mathrm{OQ}}$ とおく。$|\vec{a}|=5$, $|\vec{p}|=2$, $|\vec{q}|=4$ である。

式の変形
$$\overrightarrow{\mathrm{AP}}\cdot \overrightarrow{\mathrm{AQ}}=(\vec{p}-\vec{a})\cdot (\vec{q}-\vec{a})=\vec{p}\cdot \vec{q}-\vec{a}\cdot (\vec{p}+\vec{q})+|\vec{a}{|}^2=\vec{p}\cdot \vec{q}-\vec{a}\cdot (\vec{p}+\vec{q})+25.$$
ここで $\vec{s}=\vec{p}+\vec{q}$, $u=|\vec{s}|$ とおくと
$$u^2=|\vec{p}{|}^2+2\vec{p}\cdot \vec{q}+|\vec{q}{|}^2=20+2\vec{p}\cdot \vec{q}\text{より}\vec{p}\cdot \vec{q}=\frac{u^2-20}{2}.$$

$u$ の範囲
$\vec{p}\cdot \vec{q}$ は $-8$ 以上 $8$ 以下のすべての値をとり得るので、$u^2=20+2\vec{p}\cdot \vec{q}$ は $4\le u^2\le 36$、すなわち $2\le u\le 6$ の範囲を動く。

評価
内積の性質より $\vec{a}\cdot \vec{s}\le |\vec{a}||\vec{s}|=5u$ であるから
$$\overrightarrow{\mathrm{AP}}\cdot \overrightarrow{\mathrm{AQ}}=\frac{u^2-20}{2}-\vec{a}\cdot \vec{s}+25\ge \frac{u^2-20}{2}-5u+25=\frac{1}{2}{u}^2-5u+15=\frac{1}{2}(u-5{)}^2+\frac{5}{2}.$$
$u=5$ は $2\le u\le 6$ の範囲に含まれるので、右辺の最小値は $\frac{5}{2}$ である。よって常に $\overrightarrow{\mathrm{AP}}\cdot \overrightarrow{\mathrm{AQ}}\ge \frac{5}{2}$。

等号の成立
等号は「$u=5$」かつ「$\vec{s}$ が $\vec{a}$ と同じ向き」のとき、すなわち $\vec{p}+\vec{q}=\vec{a}$ のときに成り立つ。3 辺の長さが $2,4,5$ の三角形は $2+4>5$ より存在するので、$|\vec{p}|=2$, $|\vec{q}|=4$, $\vec{p}+\vec{q}=\vec{a}$ を満たす $\vec{p},\vec{q}$ が存在する（O, P, A を頂点とし $\mathrm{OP}=2$, $\mathrm{PA}=4$, $\mathrm{OA}=5$ の三角形をつくり、$\vec{q}=\overrightarrow{\mathrm{PA}}$ とすればよい）。このとき $\vec{p}\cdot \vec{q}=\frac{25-20}{2}=\frac{5}{2}$, $\vec{a}\cdot (\vec{p}+\vec{q})=25$ で、実際に
$$\overrightarrow{\mathrm{AP}}\cdot \overrightarrow{\mathrm{AQ}}=\frac{5}{2}-25+25=\frac{5}{2}.$$

したがって、求める最小値は $\frac{5}{2}$ である。

$\overrightarrow{AP}\cdot \overrightarrow{AQ}=(P-A)\cdot (Q-A)=P\cdot Q-A\cdot (P+Q)+25$ である（$|A{|}^2=25$）。
$P=2u,Q=4v$（$u,v$ は単位ベクトル）、$A=5a$（$a$ は単位ベクトル）とおくと、
$f=8u\cdot v-10a\cdot u-20a\cdot v+25$。

$v$ を固定して $u$ を動かすと、$u\cdot (8v-10a)$ の最小値は $-|8v-10a|$ である。
$c=a\cdot v(-1\le c\le 1)$ とおくと $|8v-10a{|}^2=64+100-160c=164-160c$ なので、
$f(c)=-\sqrt{164-160c}-20c+25$。

$f^{\prime }(c)=\frac{80}{\sqrt{164-160c}}-20$。
$f^{\prime }(c)=0$ となるのは $\sqrt{164-160c}=4$ のときで、$c=\frac{148}{160}=\frac{37}{40}$。
$c<\frac{37}{40}$ では $f^{\prime }<0$、$c>\frac{37}{40}$ では $f^{\prime }>0$ なので、ここで最小となる。

最小値は $f=-4-20\cdot \frac{37}{40}+25=-4-18.5+25=\frac{5}{2}$。

検算：$c=1$（$u=v=a$）のとき $f=8-10-20+25=3>\frac{5}{2}$ で矛盾しない。また $c=\frac{37}{40}$ のとき $u$ は $10a-8v$ の向きにとれるので、等号は成立する。

答え：$\frac{5}{2}$