C# detección de bordes (5 / 7 paso)

Paso 5: Limpieza sin usar puntos

En las imágenes de arriba se puede ver que hay un montón de puntos perdidos después de la detección de bordes. Me gustaría quitarlos.

Esto es en teoría pero creo que puedo quitar puntos sin necesaria mediante un formulario de la siguiente ecuación. Básicamente comprobar para ver si está conectado un sistema de coordenadas a otro, utilizando una función recursiva y crear matrices de pares conectados hasta que termine teniendo el conjunto más grande.

x1, y1
x2, y2

x1 == x2 & (y1 == y2 || y1 == (y2-1) || y1 == (y2 + 1)
Y1 == y2 & x1 == x2 || x1 == (x2-1) || x1 == (x 2 + 1)