[pyspark] StreamingQueryException: Writing job aborted. 오류

 

저 같은 초보는 방대한 오류메시지에 겁부터 먹죠

Pyspark 통해 Structured Streaming을 구현하다보면 이런 오류가 날때가 있습니다.

이는 Batch Queries 로 구현할 때가 아닌 Streaming Queries로 구현할 때 이런 오류가 발생합니다. 

간단합니다.

readStream 을 read로 바꾸고 writeStream 앞쪽에서 show() 한번 써보시면 됩니다.

그러면 어느 부분에서 에러가 발생했는지 아실 수 있습니다.

 

다만 이렇게 해도 오류가 발견 되지 않는 경우가 있습니다. 

이 경우에는 offset 관련 오류로 체크포인트 폴더를 지워주시면 해결 됩니다.

참조 : https://stackoverflow.com/questions/63191950/how-to-resolve-current-committed-offsets-differing-from-current-available-offset