Legenda głosi, że pewnego razu nad jedną z lip rosnącą w gaju przy strumieniu zwanym Sandelą, ukazać miała się wielka jasność, po czym znaleźć miano cudowną figurkę Matki Bożej. Ponieważ w pobliżu miała rosnąć lipa, pod którą pogańscy Prusowie składali swoje ofiary i urządzali biesiady, mieszkańcy zabrali figurkę i w uroczystej procesji przenieśli ją do lubawskiej fary. Figura Matki Bożej nie pozostała w lubawskiej farze, lecz w cudowny sposób ponownie pojawić się miała w Lipach. Wtedy wszyscy zrozumieli, że Matka Boża chce, aby oddawano jej cześć w tym właśnie miejscu. Postanowiono w tym miejscu wybudować kaplicę, wcześniej przewracając starą, pogańską lipę. Dokonać miał tego sam biskup Chrystian, który jako pierwszy miał uderzyć siekierą w drzewo, miejsce pogańskich nabożeństw.