ベクトルの問題

$\vec{a}=\overrightarrow{\mathrm{OA}}$, $\vec{b}=\overrightarrow{\mathrm{OB}}$, $\vec{c}=\overrightarrow{\mathrm{OC}}$ とおく。条件より
$$|\vec{a}{|}^2=1,|\vec{b}{|}^2=4,|\vec{c}{|}^2=9,\vec{a}\cdot \vec{b}=1\cdot 2\cdot \frac{1}{2}=1,\vec{b}\cdot \vec{c}=2\cdot 3\cdot \frac{1}{2}=3,\vec{c}\cdot \vec{a}=3\cdot 1\cdot \frac{1}{2}=\frac{3}{2}$$

点 H の位置 　H は平面 ABC 上にあるので、$\overrightarrow{\mathrm{OH}}=s\vec{a}+t\vec{b}+u\vec{c}$, $s+t+u=1$ と表せる。$\mathrm{OH}\perp$ 平面 ABC より $\overrightarrow{\mathrm{OH}}\cdot \overrightarrow{\mathrm{AB}}=0$, $\overrightarrow{\mathrm{OH}}\cdot \overrightarrow{\mathrm{AC}}=0$。

$\overrightarrow{\mathrm{OH}}\cdot (\vec{b}-\vec{a})=s(\vec{a}\cdot \vec{b}-|\vec{a}{|}^2)+t(|\vec{b}{|}^2-\vec{a}\cdot \vec{b})+u(\vec{b}\cdot \vec{c}-\vec{c}\cdot \vec{a})=0\cdot s+3t+\frac{3}{2}u=0$ より $u=-2t$。

$\overrightarrow{\mathrm{OH}}\cdot (\vec{c}-\vec{a})=s(\vec{c}\cdot \vec{a}-|\vec{a}{|}^2)+t(\vec{b}\cdot \vec{c}-\vec{a}\cdot \vec{b})+u(|\vec{c}{|}^2-\vec{c}\cdot \vec{a})=\frac{1}{2}s+2t+\frac{15}{2}u=0$ より $s+4t+15u=0$。$u=-2t$ を代入して $s=26t$。

$s+t+u=26t+t-2t=25t=1$ より $t=\frac{1}{25}$, $s=\frac{26}{25}$, $u=-\frac{2}{25}$。よって
$$\overrightarrow{\mathrm{OH}}=\frac{26\vec{a}+\vec{b}-2\vec{c}}{25}$$

OH の長さ 　$\overrightarrow{\mathrm{AH}}=\overrightarrow{\mathrm{OH}}-\vec{a}$ は平面 ABC 上のベクトルなので $\overrightarrow{\mathrm{OH}}\cdot (\overrightarrow{\mathrm{OH}}-\vec{a})=0$、すなわち $|\overrightarrow{\mathrm{OH}}{|}^2=\overrightarrow{\mathrm{OH}}\cdot \vec{a}$。
$$|\overrightarrow{\mathrm{OH}}{|}^2=\frac{26|\vec{a}{|}^2+\vec{a}\cdot \vec{b}-2\vec{c}\cdot \vec{a}}{25}=\frac{26+1-3}{25}=\frac{24}{25}$$
よって $\mathrm{OH}=\frac{2\sqrt{6}}{5}$。

三角形 ABC の面積 　$|\overrightarrow{\mathrm{AB}}{|}^2=4-2+1=3$, $|\overrightarrow{\mathrm{AC}}{|}^2=9-3+1=7$, $\overrightarrow{\mathrm{AB}}\cdot \overrightarrow{\mathrm{AC}}=\vec{b}\cdot \vec{c}-\vec{a}\cdot \vec{b}-\vec{c}\cdot \vec{a}+|\vec{a}{|}^2=3-1-\frac{3}{2}+1=\frac{3}{2}$ より
$$△\mathrm{ABC}=\frac{1}{2}\sqrt{3\cdot 7-{\left(\frac{3}{2}\right)}^2}=\frac{1}{2}\sqrt{\frac{75}{4}}=\frac{5\sqrt{3}}{4}$$

三角形 HAB の面積 　$s=1-t-u$ より $\overrightarrow{\mathrm{AH}}=t\overrightarrow{\mathrm{AB}}+u\overrightarrow{\mathrm{AC}}$。$t\overrightarrow{\mathrm{AB}}$ は直線 AB 方向の成分なので、H と直線 AB の距離は C と直線 AB の距離の $|u|=\frac{2}{25}$ 倍である。したがって
$$△\mathrm{HAB}=\frac{2}{25}\cdot \frac{5\sqrt{3}}{4}=\frac{\sqrt{3}}{10}$$

体積 　OH は平面 ABC（三角形 HAB を含む平面）に垂直なので、四面体 OHAB の高さは OH である。
$$V=\frac{1}{3}\cdot \frac{\sqrt{3}}{10}\cdot \frac{2\sqrt{6}}{5}=\frac{2\sqrt{18}}{150}=\frac{6\sqrt{2}}{150}=\frac{\sqrt{2}}{25}$$

$\vec{a}=\overrightarrow{OA},\vec{b}=\overrightarrow{OB},\vec{c}=\overrightarrow{OC}$ とおく。内積は $\vec{a}\cdot \vec{b}=1,\vec{b}\cdot \vec{c}=3,\vec{c}\cdot \vec{a}=\frac{3}{2}$、大きさは $|\vec{a}|=1,|\vec{b}|=2,|\vec{c}|=3$ である。

$\overrightarrow{OH}=s\vec{a}+t\vec{b}+u\vec{c}$ とおくと、H は平面 ABC 上にあるので $s+t+u=1$。

OH は平面 ABC に垂直なので $\overrightarrow{OH}\cdot (\vec{b}-\vec{a})=0,\overrightarrow{OH}\cdot (\vec{c}-\vec{a})=0$ となり、$\overrightarrow{OH}\cdot \vec{a}=\overrightarrow{OH}\cdot \vec{b}=\overrightarrow{OH}\cdot \vec{c}$ が成り立つ。

これを成分で書くと
$s+t+\frac{3}{2}u=s+4t+3u=\frac{3}{2}s+3t+9u$

1 式目と 2 式目の差から $-3t-\frac{3}{2}u=0$ なので $t=-\frac{u}{2}$。
2 式目と 3 式目の差から $-\frac{s}{2}+t-6u=0$ なので $s=2t-12u=-13u$。

$s+t+u=-13u-\frac{u}{2}+u=-\frac{25}{2}u=1$ より $u=-\frac{2}{25}$。このとき $t=\frac{1}{25},s=\frac{26}{25}$。

四面体 OHAB の体積は、行列式 $\det (\overrightarrow{OH},\vec{a},\vec{b})$ の絶対値の $\frac{1}{6}$ である。
$\det (\overrightarrow{OH},\vec{a},\vec{b})=u\det (\vec{c},\vec{a},\vec{b})$ なので、$V(\mathrm{OHAB})=|u|V(\mathrm{OABC})=\frac{2}{25}V(\mathrm{OABC})$。

四面体 OABC の体積は、3 辺の長さと辺どうしのなす角がすべて $\frac{\pi }{3}$ であることから
$V=\frac{1\cdot 2\cdot 3}{6}\sqrt{1+2\cdot \frac{1}{8}-3\cdot \frac{1}{4}}=\sqrt{\frac{1}{2}}=\frac{\sqrt{2}}{2}$。

よって $V(\mathrm{OHAB})=\frac{2}{25}\cdot \frac{\sqrt{2}}{2}=\frac{\sqrt{2}}{25}$。

検算：$s,t,u$ を $\overrightarrow{OH}\cdot \vec{a}$ に代入すると $\frac{26}{25}+\frac{1}{25}-\frac{3}{25}=\frac{24}{25}$。$\overrightarrow{OH}\cdot \vec{b}=\frac{26}{25}+\frac{4}{25}-\frac{6}{25}=\frac{24}{25}$。$\overrightarrow{OH}\cdot \vec{c}=\frac{39}{25}+\frac{3}{25}-\frac{18}{25}=\frac{24}{25}$。3 つが一致するので、垂直の条件を満たしている。