Я использую синтаксический анализатор expat для анализа XML-файла размером около 15 ГБ. Проблема в том, что выдает ошибку "Недостаточно памяти" и программа прерывается.
Я хочу знать, сталкивался ли кто-нибудь с подобной проблемой с парсером expat или это известная ошибка, которая была исправлена в более поздних версиях?
Раньше я использовал expat для анализа больших файлов, и у меня никогда не было проблем. Я предполагаю, что вы используете SAX, а не одну из внешних оболочек DOM. Если вы используете DOM, то это ваша проблема - по сути, это будет попытка загрузить весь файл в память.
Вы выделяете объекты при разборе XML и, возможно, не освобождаете их? Это первое, что я бы проверил. Один из способов проверить, действительно ли проблема связана с expat или нет - если вы уменьшите программу до простой версии с пустыми обработчиками тегов (т.е. она просто анализирует файл и ничего не делает с результатами), не заканчивается ли она по-прежнему? память?
Я вообще не знаю expat, но я предполагаю, что по какой-то причине ему приходится хранить слишком много состояний в памяти. Является ли XML каким-то образом неверным? Есть ли у вас зарегистрированные обработчики конечных тегов больших блоков?
Я думаю, что если у вас есть обработчик, зарегистрированный для конца большого блока, и ожидается, что expat передаст блок обработчику, то expat может не хватать памяти, прежде чем он сможет полностью собрать этот блок. Как я уже сказал, я не знаю экспатов, так что это может быть невозможно, я просто спрашиваю.
С другой стороны, вы уверены, что потеря памяти связана с эмигрантами? Я мог бы представить себе ситуацию, когда вы храните некоторую информацию о содержимом файла XML и ваших собственных структурах данных либо из-за того, что данные были слишком большими, либо из-за утечек памяти в вашем коде, что вызвало состояние нехватки памяти.
Expat — это парсер, управляемый событиями, который не создает больших структур в памяти. Так что, вероятно, проблема не в expat (который очень широко используется для анализа больших файлов) - гораздо более вероятно, что это ваш собственный код.
У Expat есть утечки - я начал использовать его на долго работающем сервере и обнаружил, что он постоянно пропускает память, независимо от того, освобожден парсер или нет. Более поздние версии xmlparse.c не решают эту проблему, а только скрывают существующие утечки.
