ベクトルの問題

$\vec{a}=\overrightarrow{\mathrm{OA}}$, $\vec{b}=\overrightarrow{\mathrm{OB}}$, $\vec{c}=\overrightarrow{\mathrm{OC}}$ とおく。

四面体 $\mathrm{OABC}$ の体積 $V$

$|\vec{a}|=|\vec{b}|=|\vec{c}|=2$ と角の条件から
$$\vec{a}\cdot \vec{b}=2\cdot 2\cos \frac{\pi }{3}=2,\vec{b}\cdot \vec{c}=2,\vec{c}\cdot \vec{a}=0$$
座標空間で $\mathrm{O}(0,0,0)$, $\mathrm{A}(2,0,0)$, $\mathrm{B}(1,\sqrt{3},0)$ とおける（$|\vec{b}|=2$, $\vec{a}\cdot \vec{b}=2$ を満たす）。$\mathrm{C}(x,y,z)$ $(z>0)$ とすると
$$\vec{c}\cdot \vec{a}=2x=0,\vec{b}\cdot \vec{c}=x+\sqrt{3}y=2,x^2+y^2+z^2=4$$
より $x=0$, $y=\frac{2}{\sqrt{3}}$, $z^2=4-\frac{4}{3}=\frac{8}{3}$ で $z=\frac{2\sqrt{6}}{3}$。
$△\mathrm{OAB}$ の面積は $\frac{1}{2}\cdot 2\cdot \sqrt{3}=\sqrt{3}$、高さは $z=\frac{2\sqrt{6}}{3}$ なので
$$V=\frac{1}{3}\cdot \sqrt{3}\cdot \frac{2\sqrt{6}}{3}=\frac{2\sqrt{18}}{9}=\frac{2\sqrt{2}}{3}$$

平面 $\mathrm{PQR}$ が $\mathrm{X}$ を通る条件

$\overrightarrow{\mathrm{OP}}=p\vec{a}$, $\overrightarrow{\mathrm{OQ}}=q\vec{b}$, $\overrightarrow{\mathrm{OR}}=r\vec{c}$ $(0<p,q,r\leqq 1)$ とおく。$\mathrm{X}$ が平面 $\mathrm{PQR}$ 上にあるのは、
$$\overrightarrow{\mathrm{OX}}=s\overrightarrow{\mathrm{OP}}+t\overrightarrow{\mathrm{OQ}}+u\overrightarrow{\mathrm{OR}},s+t+u=1$$
となる実数 $s$, $t$, $u$ があるときである。$\vec{a}$, $\vec{b}$, $\vec{c}$ は同じ平面上にないので係数を比べて $sp=\frac{1}{8}$, $tq=\frac{1}{4}$, $ur=\frac{3}{8}$。よって条件は
$$\frac{1}{8p}+\frac{1}{4q}+\frac{3}{8r}=1(1)$$
である。また、四面体 $\mathrm{OPQR}$ の体積は、$△\mathrm{OPQ}=pq△\mathrm{OAB}$、高さが $r$ 倍になることから $pqrV$ である。したがって $(1)$ と $0<p,q,r\leqq 1$ のもとで $pqr$ の最小値を求めればよい。

$r$ を固定して $pq$ を評価する

$(1)$ より $\frac{1}{8p}+\frac{1}{4q}=1-\frac{3}{8r}$ で、左辺は正なので $r>\frac{3}{8}$。相加平均と相乗平均の大小関係より
$$1-\frac{3}{8r}=\frac{1}{8p}+\frac{1}{4q}\geqq 2\sqrt{\frac{1}{32pq}}$$
両辺を 2 乗して整理すると
$$pq\geqq \frac{1}{8}\cdot \frac{1}{{\left(1-\frac{3}{8r}\right)}^2}=\frac{8r^2}{(8r-3{)}^2}$$
よって
$$pqr\geqq f(r)=\frac{8r^3}{(8r-3{)}^2}\left(\frac{3}{8}<r\leqq 1\right)$$

$f(r)$ の最小値

$$f^{\prime }(r)=\frac{24r^2(8r-3{)}^2-8r^3\cdot 2(8r-3)\cdot 8}{(8r-3{)}^4}=\frac{8r^2\{3(8r-3)-16r\}}{(8r-3{)}^3}=\frac{8r^2(8r-9)}{(8r-3{)}^3}$$
$\frac{3}{8}<r\leqq 1$ では $8r-9<0$, $8r-3>0$ なので $f^{\prime }(r)<0$ となり、$f(r)$ は減少する。よって最小値は
$$f(1)=\frac{8}{25}$$

等号が成り立つこと

$r=1$ のとき、等号は $\frac{1}{8p}=\frac{1}{4q}=\frac{1}{2}\left(1-\frac{3}{8}\right)=\frac{5}{16}$、すなわち $p=\frac{2}{5}$, $q=\frac{4}{5}$ のときに成り立ち、これらは $0<p,q\leqq 1$ を満たす。このとき $pqr=\frac{2}{5}\cdot \frac{4}{5}\cdot 1=\frac{8}{25}$。

以上より、四面体 $\mathrm{OPQR}$ の体積の最小値は
$$\frac{8}{25}\cdot \frac{2\sqrt{2}}{3}=\frac{16\sqrt{2}}{75}$$

$\overrightarrow{\mathrm{OP}}=p\overrightarrow{\mathrm{OA}}$, $\overrightarrow{\mathrm{OQ}}=q\overrightarrow{\mathrm{OB}}$, $\overrightarrow{\mathrm{OR}}=r\overrightarrow{\mathrm{OC}}$ とおく（$0<p,q,r\le 1$）。

$\overrightarrow{\mathrm{OX}}=\frac{1}{8p}\overrightarrow{\mathrm{OP}}+\frac{1}{4q}\overrightarrow{\mathrm{OQ}}+\frac{3}{8r}\overrightarrow{\mathrm{OR}}$。X が平面 PQR 上にある条件は係数の和が 1：
$$\frac{1}{8p}+\frac{1}{4q}+\frac{3}{8r}=1$$

四面体の体積比より $V=pqr{V}_0$（$V_0$ は四面体 OABC の体積）。

$V_0$：$\vec{a}=\overrightarrow{\mathrm{OA}}$ などとすると $\vec{a}\cdot \vec{b}=2$, $\vec{b}\cdot \vec{c}=2$, $\vec{c}\cdot \vec{a}=0$、各大きさ 2。グラム行列式は
$\left|\begin{array}{ccc}4& 2& 0\\ 2& 4& 2\\ 0& 2& 4\end{array}\right|=4(16-4)-2(8)=32$、$V_0=\frac{\sqrt{32}}{6}=\frac{2\sqrt{2}}{3}$。

$pqr$ の最小値：
相加相乗平均だけを使うと $\frac{1}{8p}=\frac{1}{4q}=\frac{3}{8r}=\frac{1}{3}$、すなわち $p=\frac{3}{8},q=\frac{3}{4},r=\frac{9}{8}$ で等号になるが、$r>1$ で条件に反する。そこで $r$ を固定して考える。

$r$ を固定すると $\frac{1}{8p}+\frac{1}{4q}=1-\frac{3}{8r}=k>0$。相加相乗平均より $k\ge 2\sqrt{\frac{1}{32pq}}$、よって $pq\ge \frac{1}{8k^2}$（等号は $\frac{1}{8p}=\frac{1}{4q}=\frac{k}{2}$ のとき）。
$pqr\ge \frac{r}{8k^2}=\frac{8r^3}{(8r-3{)}^2}=:g(r)$。
$\frac{g^{\prime }(r)}{g(r)}=\frac{3}{r}-\frac{16}{8r-3}=\frac{9-8r}{r(8r-3)}$ より、$g$ は $\frac{3}{8}<r<\frac{9}{8}$ で減少。$r\le 1$ なので $g$ は $r=1$ で最小、$g(1)=\frac{8}{25}$。

$r=1$ のとき $\frac{1}{8p}=\frac{1}{4q}=\frac{5}{16}$ より $p=\frac{2}{5},q=\frac{4}{5}$（どちらも $0<\cdot \le 1$ を満たす）。このとき $pqr=\frac{8}{25}$ で達成できる。

検算：$\frac{1}{8\cdot \frac{2}{5}}+\frac{1}{4\cdot \frac{4}{5}}+\frac{3}{8}=\frac{5}{16}+\frac{5}{16}+\frac{3}{8}=1$。

最小体積 $=\frac{8}{25}\cdot \frac{2\sqrt{2}}{3}=\frac{16\sqrt{2}}{75}$。