Chợ chỉ họp duy nhất một lần trong năm vào đêm mồng 4, rạng sáng mùng 5 tháng Giêng, mang đầy vẻ huyền bí, "ma mị", trở thành hình thức sinh hoạt văn hóa mang đậm màu sắc tín ngưỡng dân gian của người dân tại làng Ó (nay là làng Xuân Ổ, phường Võ Cường, TP Bắc Ninh)
Theo truyền thuyết, nơi họp chợ Âm Dương được hình thành giữa một khu đất có tên Bãi Hồ (là một bãi cái nằm giữa vùng hồ Lãng Bạc)- là chiến trường giữa nghĩa quân của Hai Bà Trưng và quân xâm lược. Nhiều binh sĩ đã hy sinh ở trận chiến.
Sau trận chiến, thân nhân của những người lính tử trận đã về chiến trường tìm kiếm người thân vào dịp sau Tết. Họ đến chiến trường để thắp hương và đốt vàng mã cho người thân. Dần dần, người dân quan niệm, cửa âm phủ một năm chỉ mở một lần vào đêm mùng 4, rạng ngày mùng 5 tháng Giêng cho người dưới âm lên gặp người thân của mình trên trần gian. Từ đó, hình thành chợ Âm dương. Từ năm 2022, tỉnh Bắc Ninh phục dựng lại chợ Âm dương. Bên cạnh ý nghĩa “mua may bán rủi” mang tính thương mại, phiên chợ Âm dương còn mang ý nghĩa tâm linh.