集合と位相の問題

極座標で書き直す。 $x=r\cos \theta ,y=r\sin \theta$ $(r\ge 0)$ とおくと
$$x^4+a{x}^2{y}^2+y^4=r^{4}g(\theta ),$$
$$g(\theta )={\cos }^4\theta +a{\cos }^2\theta {\sin }^2\theta +{\sin }^4\theta =({\cos }^2\theta +{\sin }^2\theta {)}^2+(a-2){\cos }^2\theta {\sin }^2\theta =1+\frac{a-2}{4}{\sin }^{2}2\theta$$
である。したがって $X_a=\{(r\cos \theta ,r\sin \theta )\mid r\ge 1,r^{4}g(\theta )\le 1\}$ である。なお $(1,0)\in X_a$ なので $X_a$ は空でない。

閉集合であること。 $X_a$ は連続関数 $x^4+a{x}^2{y}^2+y^4$ による閉集合 $(-\infty ,1]$ の逆像と、連続関数 $x^2+y^2$ による閉集合 $[1,\infty )$ の逆像の共通部分なので、すべての $a$ について ${\mathbb{R}}^2$ の閉集合である。ハイネ・ボレルの定理より、$X_a$ がコンパクトであることと有界であることは同値である。

(i) $a\le -2$ のとき。 直線 $y=x$ 上の点 $(t,t)$ $(t\ge 1)$ を考えると、$x^4+a{x}^2{y}^2+y^4=(2+a)t^4\le 0\le 1$、$x^2+y^2=2t^2\ge 1$ なので $(t,t)\in X_a$ である。よって $X_a$ は有界でなく、コンパクトでない。

(ii) $-2<a\le 2$ のとき。 $0\le {\sin }^{2}2\theta \le 1$ と $a-2\le 0$ より
$$\frac{2+a}{4}\le g(\theta )\le 1$$
であり、$g(\theta )>0$ である。$h(\theta )=g(\theta {)}^{-1/4}$ とおくと $1\le h(\theta )\le {\left(\frac{4}{2+a}\right)}^{1/4}$ で、
$$X_a=\{(r\cos \theta ,r\sin \theta )\mid 0\le \theta \le 2\pi ,1\le r\le h(\theta )\}$$
となる。よって $X_a$ は半径 ${\left(\frac{4}{2+a}\right)}^{1/4}$ の円板に含まれて有界であり、閉集合でもあるからコンパクトである。
さらに、連続写像
$$F:[0,1]\times [0,2\pi ]\to {\mathbb{R}}^2,F(t,\theta )=((1-t)+th(\theta ))(\cos \theta ,\sin \theta )$$
を考えると、$1\le h(\theta )$ より $F$ の像はちょうど $X_a$ である。$[0,1]\times [0,2\pi ]$ は連結であり、連結集合の連続写像による像は連結なので、$X_a$ は連結である。（$a=2$ のときは $g\equiv 1$ で、$X_a$ は単位円になる。）

(iii) $a>2$ のとき。 $g(\theta )\ge 1$ であり、等号は $\sin 2\theta =0$ のときに限る。$r\ge 1$ なので $r^{4}g(\theta )\ge 1$ で、$r^{4}g(\theta )\le 1$ となるのは $r=1$ かつ $\sin 2\theta =0$ のときだけである。よって
$$X_a=\{(1,0),(0,1),(-1,0),(0,-1)\}$$
となる。これはコンパクトだが、4 点からなる離散空間なので連結でない（連結成分は 4 個）。

以上より、$X_a$ がコンパクトかつ連結となるのは $-2<a\le 2$ のときである。

極座標 $x=r\cos \theta ,y=r\sin \theta$ を用いる。$u={\cos }^2\theta {\sin }^2\theta \in [0,1/4]$ とおくと、$x^4+a{x}^2{y}^2+y^4=r^{4}g(\theta )$、ただし $g(\theta )=1+(a-2)u$ である。$X_a$ は $r\ge 1$ かつ $r^{4}g(\theta )\le 1$ で表される。

(コンパクト性) $X_a$ は閉集合なので、有界であることがコンパクトであることと同値になる。ある $\theta$ で $g(\theta )\le 0$ なら、その方向で $r\ge 1$ はいくらでも大きくとれるので非有界である。$g$ は $u$ の一次関数で、$u=0$ のとき $g=1$、$u=1/4$ のとき $g=(a+2)/4$ である。したがって、すべての $\theta$ で $g>0$ となるのは $a>-2$ のときで、このとき $r\le g^{-1/4}$ となり有界。$a\le -2$ では $u=1/4$ で $g\le 0$ となるため非有界である。

(連結性)
- $a>2$: $u>0$ のとき $g>1$ なので $g^{-1/4}<1$ となり、$r\ge 1$ を満たす点がない。$u=0$（座標軸方向）では $g=1$ で $r=1$ のみ。よって $X_a=\{(\pm 1,0),(0,\pm 1)\}$ の 4 点となり、非連結。
- $a=2$: $g\equiv 1$ より $X_a$ は単位円周で、連結かつコンパクト。
- $-2<a<2$: $g\le 1$ であり、各 $\theta$ で $1\le r\le g(\theta {)}^{-1/4}$。単位円周 $r=1$ は $X_a$ に含まれて連結で、各方向の線分 $r\in [1,g^{-1/4}]$ はその円周上の点とつながっている。よって $X_a$ は連結。

以上より、求める範囲は $-2<a\le 2$。

(検算) $a=0$: $x^4+y^4\le 1\le x^2+y^2$ は、単位円の外側で $x^4+y^4=1$ の内側の帯状領域で、連結かつ有界。$a=3$: $x=y=1/\sqrt{2}$ のとき $1/4+3/4\cdot \dots$、すなわち $x^4+3x^2{y}^2+y^4=1/4+3/4+1/4=5/4>1$ で、確かに除外される。