極限の問題

$[x]$ は $x$ が整数でない点では連続であり、$[x^2]$ は $x^2$ が整数でない点では連続である。よって、$0<x<n$ において $f(x)$ が連続でない可能性があるのは、$x^2$ が整数となる点、すなわち $x=\sqrt{m}$（$m$ は $1\leqq m\leqq n^2-1$ を満たす整数）だけである（$x$ が整数なら $x^2$ も整数なので、整数の点もこれに含まれる）。

(i) $\sqrt{m}$ が整数でないとき

$x=\sqrt{m}$ の近くでは $[x]$ は一定の値をとり連続である。一方、$x<\sqrt{m}$ で $\sqrt{m}$ に十分近いとき $[x^2]=m-1$、$x\geqq \sqrt{m}$ で $\sqrt{m}$ に十分近いとき $[x^2]=m$ だから
$$\underset{x\to \sqrt{m}-0}{\lim }[x^2]=m-1,\underset{x\to \sqrt{m}+0}{\lim }[x^2]=m$$
となり、$f(x)$ は $x=\sqrt{m}$ で連続でない。

(ii) $\sqrt{m}$ が整数 $k$ $(1\leqq k\leqq n-1)$ のとき

$x\to k-0$ のとき、$k-1<x<k$ だから $[x]=k-1$、また $(k-1{)}^2<x^2<k^2$ で $x^2$ は $k^2$ に左から近づくので $[x^2]=k^2-1$ となり
$$\underset{x\to k-0}{\lim }f(x)=(k^2-1)-(k-1{)}^2=2k-2$$
である。一方、$x$ が $k\leqq x<k+\frac{1}{3k}$ を満たすとき $k^2\leqq x^2<k^2+1$ だから $[x^2]=k^2$, $[x]=k$ となり
$$f(k)=0,\underset{x\to k+0}{\lim }f(x)=k^2-k^2=0$$
である。よって $f(x)$ が $x=k$ で連続であるのは $2k-2=0$、すなわち $k=1$ のときだけである。

個数を数える

(i) の点の個数は、$1\leqq m\leqq n^2-1$ を満たす整数 $m$ のうち平方数でないものの個数である。この範囲の平方数は $1^2,2^2,\dots ,(n-1{)}^2$ の $n-1$ 個だから
$$(n^2-1)-(n-1)=n^2-n\text{個}$$
である。

(ii) の点は $x=2,3,\dots ,n-1$ の $n-2$ 個である（$x=1$ では連続）。

したがって、連続でない点の個数は
$$(n^2-n)+(n-2)=n^2-2$$
である。

（確認：$n=2$ のとき、連続でない点は $x=\sqrt{2},\sqrt{3}$ の $2$ 個で、$2^2-2=2$ と一致する。）

$[x^2]$ は $x^2$ が整数になる点、すなわち $x=\sqrt{k}$（$k=1,2,\dots ,n^2-1$）で不連続になり、$0<x<n$ ではそれ以外で連続。$[x{]}^2$ は $x=m$（$m=1,\dots ,n-1$）で不連続になり、それ以外で連続。よって $f$ の不連続点の候補は $x=\sqrt{k}$（$1\le k\le n^2-1$）の $n^2-1$ 個。

(i) $k$ が平方数でない場合：$[x]$ は $x=\sqrt{k}$ の近くで連続（定数）で、$[x^2]$ だけが $k-1$ から $k$ へ 1 だけ跳ぶ。よって $f$ は不連続。個数は $(n^2-1)-(n-1)=n^2-n$ 個（$1\le k\le n^2-1$ の平方数は $1,4,\dots ,(n-1{)}^2$ の $n-1$ 個）。

(ii) $x=m$（$1\le m\le n-1$）の場合：$x=m$ で $[x^2]$ は $m^2-1$ から $m^2$ へ $+1$ 跳ぶ。$[x{]}^2$ は $(m-1{)}^2$ から $m^2$ へ $2m-1$ 跳ぶ。$f$ の跳びは $1-(2m-1)=2-2m$。これが 0 になるのは $m=1$ のみ。$m=1$ では実際に $x$ が 1 の左側で $f=0-0=0$、$x=1$ とその右側で $f=1-1=0$ となり連続。$m=2,\dots ,n-1$ では不連続で、個数は $n-2$ 個（$n=2$ のとき 0 個）。

合計 $(n^2-n)+(n-2)=n^2-2$ 個。

検算：$n=2$ のとき区間 $0<x<2$ で不連続点は $\sqrt{2},\sqrt{3}$ の 2 個で、$n^2-2=2$ と一致。$n=3$ では $\sqrt{2},\sqrt{3},\sqrt{5},\sqrt{6},\sqrt{7},\sqrt{8}$ と $x=2$ の 7 個で、$9-2=7$ と一致。