図形と方程式の問題

円 $C$ の方程式

中心は直線 $y=x$ 上にあるので、中心を $(a,a)$ とおく。中心から $\mathrm{A}$, $\mathrm{B}$ までの距離が等しいから
$$a^2+(a-4{)}^2=(a-6{)}^2+(a-2{)}^2$$
左辺は $2a^2-8a+16$、右辺は $2a^2-16a+40$ である。よって $8a=24$ となり、$a=3$。

中心は $(3,3)$ で、半径の 2 乗は $(0-3{)}^2+(4-3{)}^2=10$ である。したがって
$$C:(x-3{)}^2+(y-3{)}^2=10$$

弦の長さの条件

直線 $\ell$ は $mx-y=0$ と書ける。中心 $(3,3)$ から $\ell$ までの距離を $d$ とすると
$$d=\frac{|3m-3|}{\sqrt{m^2+1}}$$
半径を $r=\sqrt{10}$ とする。弦の中点と中心、弦の端点でできる直角三角形に三平方の定理を用いると、弦の長さは $2\sqrt{r^2-d^2}$ である（$d<r$ のとき）。これが $4$ であるから
$$2\sqrt{10-d^2}=4⟺10-d^2=4⟺d^2=6$$
このとき $d=\sqrt{6}<\sqrt{10}$ なので、$\ell$ は確かに $C$ と異なる 2 点で交わる。

$m$ を求める

$$\frac{9(m-1{)}^2}{m^2+1}=6$$
分母を払うと $9(m^2-2m+1)=6(m^2+1)$ となり、整理すると $3m^2-18m+3=0$、すなわち
$$m^2-6m+1=0$$
これを解いて
$$m=3\pm \sqrt{9-1}=3\pm 2\sqrt{2}$$

(確認) $m=3+2\sqrt{2}$ のとき、$(m-1{)}^2=(2+2\sqrt{2}{)}^2=12+8\sqrt{2}$、$m^2+1=18+12\sqrt{2}$ である。よって $d^2=\frac{9(12+8\sqrt{2})}{18+12\sqrt{2}}=\frac{108+72\sqrt{2}}{18+12\sqrt{2}}=6$ となり、条件を満たす。$m=3-2\sqrt{2}$ も同様に確かめられる。

よって $m=3-2\sqrt{2},3+2\sqrt{2}$。

円 $C$ の中心を $(t,t)$ とおく。$|CA{|}^2=|CB{|}^2$ より $t^2+(t-4{)}^2=(t-6{)}^2+(t-2{)}^2$。整理すると $2t^2-8t+16=2t^2-16t+40$ なので $t=3$。よって中心は $(3,3)$、半径の2乗は $3^2+(3-4{)}^2=10$。

弦の長さが $4$ なので、中心から直線までの距離 $d$ は $d^2=10-2^2=6$。直線 $mx-y=0$ と中心 $(3,3)$ の距離は $\frac{|3m-3|}{\sqrt{m^2+1}}$。

これが $\sqrt{6}$ に等しいので $9(m-1{)}^2=6(m^2+1)$。整理して $3(m-1{)}^2=2(m^2+1)$、すなわち $m^2-6m+1=0$。したがって $m=3\pm 2\sqrt{2}$。

検算：$m=3+2\sqrt{2}$ のとき $(m-1{)}^2=12+8\sqrt{2}$ なので左辺は $9(12+8\sqrt{2})=108+72\sqrt{2}$。右辺は $m^2+1=18+12\sqrt{2}$ より $6(18+12\sqrt{2})=108+72\sqrt{2}$ で一致する。$d^2=6<10$ なので2点で交わる。$m=3-2\sqrt{2}$ も同様に成り立つ。