空間図形の問題

底面の正方形の $1$ 辺の長さを $a\text{cm}$（$a>0$）とします。

側面の三角形の高さを $a$ で表す

底面の正方形の対角線の交点を $\mathrm{H}$、辺 $\mathrm{AB}$ の中点を $\mathrm{M}$ とします。正四角錐なので $\mathrm{OH}$ は底面に垂直で $\mathrm{OH}=4$、また $\mathrm{HM}=\frac{a}{2}$ です。$△\mathrm{OHM}$ は $\angle \mathrm{OHM}=90^{\circ }$ の直角三角形なので、三平方の定理より
$${\mathrm{OM}}^2=4^2+{\left(\frac{a}{2}\right)}^2=16+\frac{a^2}{4}$$
$△\mathrm{OAB}$ は $\mathrm{OA}=\mathrm{OB}$ の二等辺三角形なので、$\mathrm{OM}$ は $△\mathrm{OAB}$ の底辺 $\mathrm{AB}$ に対する高さです。

表面積の式をつくる

側面は合同な $4$ つの三角形なので、表面積は
$$a^2+4\times \frac{1}{2}\times a\times \mathrm{OM}=a^2+2a\cdot \mathrm{OM}$$
これが $96$ なので
$$a^2+2a\cdot \mathrm{OM}=96\text{より}2a\cdot \mathrm{OM}=96-a^2$$
両辺を $2$ 乗すると
$$4a^2\cdot {\mathrm{OM}}^2=(96-a^2{)}^2$$
左辺に ${\mathrm{OM}}^2=16+\frac{a^2}{4}$ を代入すると
$$4a^2\left(16+\frac{a^2}{4}\right)=(96-a^2{)}^2$$
$$64a^2+a^4=9216-192a^2+a^4$$
$$256a^2=9216$$
$$a^2=36$$
$a>0$ より $a=6$ です。

（確かめ：$a=6$ のとき ${\mathrm{OM}}^2=16+9=25$ より $\mathrm{OM}=5$ で、表面積は $36+4\times \frac{1}{2}\times 6\times 5=36+60=96$ となり、条件に合います。）

体積を求める

$$\frac{1}{3}\times 6^2\times 4=48({\text{cm}}^3)$$

底面の正方形の 1 辺を $a$ cm とする。頂点 O から底面に下ろした垂線の足は正方形の中心で、底辺から中心までの距離は $\frac{a}{2}$ cm。側面の二等辺三角形の高さ（斜高）は三平方の定理より $\sqrt{4^2+{\left(\frac{a}{2}\right)}^2}$ cm。
表面積は $a^2+4\times \frac{1}{2}\times a\times \sqrt{16+\frac{a^2}{4}}=96$。
$a=6$ を試すと、斜高は $\sqrt{16+9}=5$ で、表面積は $36+2\times 6\times 5=96$ となり条件を満たす。
左辺は $a$ が大きいほど大きくなる（$a>0$ で単調増加）ので、$a=6$ だけが条件を満たす。
体積は $\frac{1}{3}\times 6^2\times 4=48$ (${\text{cm}}^3$)。
検算: 底面積 36、側面積 $4\times \frac{1}{2}\times 6\times 5=60$、合計 96。