(1) P は第1象限の単位円上にあるので P=(cosα,sinα) である。これを y=x2+2kx に代入すると sinα=cos2α+2kcosα である。cosα>0 だから k=2cosαsinα−cos2α である。
(2) Q は第3象限にあり,β=∠BOQ であるから Q=(−cosβ,−sinβ) である。求める図形は放物線の上側にあり,単位円の上側の弧を上端にもつので,面積は S(k)=∫−cosβcosα{1−x2−(x2+2kx)}dx である。
まず円の部分を求める。単位円で,x=−cosβ から x=cosα までの上半分の面積は,扇形と直角三角形の面積を用いて 21{π−α−β+sinαcosα+sinβcosβ} である。一方,放物線の部分は∫−cosβcosα(x2+2kx)dx=3cos3α+cos3β+k(cos2α−cos2β)である。したがってS(k)=21{π−α−β+sinαcosα+sinβcosβ}−3cos3α+cos3β−k(cos2α−cos2β)である。
(3)
(1)より 2kcosα=sinα−cos2α である。右辺は1以下なので 0<cosα≦2k1 であり,k→∞ のとき cosα→0,すなわち α→π/2 である。
また,Q=(−cosβ,−sinβ) を曲線に代入すると −sinβ=cos2β−2kcosβ であるから 2kcosβ=sinβ+cos2β である。右辺は2以下なので 0<cosβ≦k1 であり,k→∞ のとき cosβ→0,すなわち β→π/2 である。
さらに0≦k∣cos2α−cos2β∣≦k(cos2α+cos2β)≦4k1+k1であるから k(cos2α−cos2β)→0 である。
以上を(2)の式に代入すると,π−α−β→0,sinαcosα→0,sinβcosβ→0,また3乗の項も0へ近づく。したがって limk→∞S(k)=0 である。
図は一例(k=3/2)。求める領域は Q から P まで、円の上側の弧と放物線にはさまれる。