極限の問題

$x\to 0$ のとき、分子は $\sqrt{1}-1=0$、分母も $0\cdot 0=0$ に近づくので、式を変形してから極限を考える。

分子の有理化

分子と分母に $\sqrt{1+x\sin 2x}+\cos x$ を掛けると、分子は
$${\left(\sqrt{1+x\sin 2x}\right)}^2-{\cos }^{2}x=1+x\sin 2x-{\cos }^{2}x=x\sin 2x+{\sin }^{2}x$$
となる（$1-{\cos }^{2}x={\sin }^{2}x$ を用いた）。よって
$$\frac{\sqrt{1+x\sin 2x}-\cos x}{x(e^{3x}-1)}=\frac{x\sin 2x+{\sin }^{2}x}{x(e^{3x}-1)}\cdot \frac{1}{\sqrt{1+x\sin 2x}+\cos x}$$
である。

前半の因数の極限

$x\ne 0$ として、分子と分母を $x^2$ で割ると
$$\frac{x\sin 2x+{\sin }^{2}x}{x(e^{3x}-1)}=\frac{\frac{\sin 2x}{x}+{\left(\frac{\sin x}{x}\right)}^2}{\frac{e^{3x}-1}{x}}=\frac{2\cdot \frac{\sin 2x}{2x}+{\left(\frac{\sin x}{x}\right)}^2}{3\cdot \frac{e^{3x}-1}{3x}}$$
となる。$x\to 0$ のとき $2x\to 0$, $3x\to 0$ であり、
$$\underset{\theta \to 0}{\lim }\frac{\sin \theta }{\theta }=1,\underset{t\to 0}{\lim }\frac{e^t-1}{t}=1$$
を用いると、この式は
$$\frac{2\cdot 1+1^2}{3\cdot 1}=1$$
に収束する。

後半の因数の極限

$x\to 0$ のとき $x\sin 2x\to 0$, $\cos x\to 1$ なので
$$\frac{1}{\sqrt{1+x\sin 2x}+\cos x}\to \frac{1}{\sqrt{1}+1}=\frac{1}{2}$$

結論

2 つの因数の極限の積をとって
$$\underset{x\to 0}{\lim }\frac{\sqrt{1+x\sin 2x}-\cos x}{x\left(e^{3x}-1\right)}=1\cdot \frac{1}{2}=\frac{1}{2}$$

分子を $x\to 0$ のまわりで展開する。$x\sin 2x=2x^2+O(x^4)$ より、$\sqrt{1+x\sin 2x}=1+\frac{1}{2}\cdot 2x^2+O(x^4)=1+x^2+O(x^4)$。また $\cos x=1-\frac{x^2}{2}+O(x^4)$。よって分子は $\frac{3}{2}{x}^2+O(x^4)$。分母は $e^{3x}-1=3x+O(x^2)$ より $x(e^{3x}-1)=3x^2+O(x^3)$。したがって極限は $\frac{3/2}{3}=\frac{1}{2}$。検算として、$x=0.1$ では $x\sin 2x=0.1\sin 0.2\approx 0.0198669$、$\sqrt{1.0198669}\approx 1.009884$、$\cos 0.1\approx 0.995004$ なので分子は約 $0.014880$。分母は $0.1(e^{0.3}-1)\approx 0.1\times 0.349859=0.0349859$。比は約 $0.4253$ で、$x$ を小さくすると $0.5$ に近づく傾向と矛盾しない（$x=0.1$ では高次項の影響が残る）。