新宿御苑の謎

地図で新宿御苑を見ていたら不思議なことに気付きました。
新宿御苑の南西の一角に外側の市街地がわずかに食い込んでいる部分があります。(地図1の赤枠内、新井白石終焉の地と書いてある箇所のそば)
Googleストリートビューで見ると今ここには五棟の住宅らしき建物が建っています。それもわりと古そうな洋風の建物で同じ形状のものが何棟も建っています。しかも人が現に住んでいるような様子ではありません。
新宿御苑は、江戸時代に信濃高遠藩内藤家の下屋敷のあった敷地に 1879年(明治12年)に新宿植物御苑が開設されたのが始まりだそうですが、その時からここが欠けた状態だったのか、後に何かの理由でこの一角が住宅地になったのか、どういうことなのでしょうか。新井白石終焉の地が何か関係しているのでしょうか。あるいは新宿御苑の関係者のための住宅なのでしょうか。不思議です。
昭和22年の航空写真を見てもこうなっています。


地図1. 赤枠内、新宿御苑に外の敷地が食い込んでいる部分


地図2. 拡大図