검색
검색 팝업 닫기

Ex) Article Title, Author, Keywords

Article

Split Viewer

Original Article

J Environ Health Sci. 2022; 48(3): 159-166

Published online June 30, 2022 https://doi.org/10.5668/JEHS.2022.48.3.159

Copyright © The Korean Society of Environmental Health.

Applicability of QSAR Models for Acute Aquatic Toxicity under the Act on Registration, Evaluation, etc. of Chemicals in the Republic of Korea

화평법에 따른 급성 수생독성 예측을 위한 QSAR 모델의 활용 가능성 연구

Dongjin Kang , Seok-Won Jang, Si-Won Lee, Jae-Hyun Lee, Sang Hee Lee, Pilje Kim, Hyen-Mi Chung, Chang-Ho Seong*

강동진, 장석원, 이시원, 이재현, 이상희, 김필제, 정현미, 성창호*

Chemicals Registration & Evaluation Team, Risk Assessment Division, Environmental Health Research Department, National Institute of Environmental Research

국립환경과학원 환경건강연구부 위해성평가연구과 화학물질등록평가팀

Correspondence to:Chemicals Registration & Evaluation Team, Risk Assessment Division, Environmental Health Research Department, National Institute of Environmental Research, Hwangyeong-ro 42, Seo-gu, Incheon 22689, Republic of Korea
Tel: +82-32-560-7212
Fax: +82-32-568-2038
E-mail: chsung@korea.kr

Received: May 20, 2022; Revised: May 31, 2022; Accepted: June 8, 2022

This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Highlights

ㆍ QSAR data can be acceptable for conventional toxicity data under AREC regulations when registering.
ㆍ TOPKAT, ECOSAR and T.E.S.T. were compared for acute ecotoxicity in this study.
ㆍ Multiple modeling is necessary for reliability of toxicity predictions for chemical control.

Background: A quantitative structure-activity relationship (QSAR) model was adopted in the Registration, Evaluation, Authorization, and Restriction of Chemicals (REACH, EU) regulations as well as the Act on Registration, Evaluation, etc. of Chemicals (AREC, Republic of Korea). It has been previously used in the registration of chemicals.
Objectives: In this study, we investigated the correlation between the predicted data provided by three prediction programs using a QSAR model and actual experimental results (acute fish, daphnia magna toxicity). Through this approach, we aimed to effectively conjecture on the performance and determine the most applicable programs when designating toxic substances through the AREC.
Methods: Chemicals that had been registered and evaluated in the Toxic Chemicals Control Act (TCCA, Republic of Korea) were selected for this study. Two prediction programs developed and operated by the U.S. EPA – the Ecological Structure-Activity Relationship (ECOSAR) and Toxicity Estimation Software Tool (T.E.S.T.) models – were utilized along with the TOPKAT (Toxicity Prediction by Komputer Assisted Technology) commercial program. The applicability of these three programs was evaluated according to three parameters: accuracy, sensitivity, and specificity.
Results: The prediction analysis on fish and daphnia magna in the three programs showed that the TOPKAT program had better sensitivity than the others.
Conclusions: Although the predictive performance of the TOPKAT program when using a single predictive program was found to perform well in toxic substance designation, using a single program involves many restrictions. It is necessary to validate the reliability of predictions by utilizing multiple methods when applying the prediction program to the regulation of chemicals.

KeywordsAcute fish toxicity, acute invertebrate toxicity, QSAR, Act on Registration, Evaluation, etc. of Chemicals

대한민국 환경부에서 2014년까지 화학물질 안전성 평가 및 관리는 ‘유해화학물질관리법(이하 유해법)’에 의해 이루어지고 있었다. 유해법에서는 크게 ‘화학물질의 유해성 및 위해성평가’ 및 ‘유해화학물질의 안전관리’ 두 부분으로 구성되어 있으며, 관리대상 화학물질을 신규화학물질, 유독물질, 취급제한물질, 취급금지물질, 관찰물질 및 사고대비물질로 구분하고 관리하고 있었다.1) 2015년부터 유해법의 ‘유해성 및 위해성평가’ 부분은 ‘화학물질의 등록 및 평가 등에 관한 법률(이하 화평법)’으로 세분화되어 새롭게 제정되었다. 화평법 제정에 따라 연간 10톤 미만의 화학물질 등록 건에 대해 기존 유해성시험자료(생체내(in-vivo), 생체외(in-vitro) 방식 시험결과) 대신 국제적으로 인정된 Quantitative Structure-Activity Relationship (이하 QSAR) 모델로부터 얻어진 결과 제출이 가능하게 되었다.2) 또한 기존 유해법과 더불어 화평법에서 중요한 요소 중 하나는 유해성자료에 대한 심사 결과 유해성이 크다고 인정되는 화학물질을 ‘유독물질’로 지정하는 것이다.2)

화학물질 규제 목적에서의 in-silico 방식 중 화학물질의 물리화학적특성 및 구조특성에 기반을 두는 QSAR 모델을 활용한 예측 툴에는 미국 EPA (Environmental Protection Agency)에서 제공하고 있는 ECOSAR (Ecological Structure Activity Relationships), T.E.S.T. (Toxicity Estimation Software Tool) 및 OncoLogic 등이 있으며, BIOVIA사의 TOPKAT (Toxicity Prediction by Komputer Assisted Technology), Lhasa Limited사의 Derek Nexus 및 Multicase사의 CASE Ultra 등 상용 예측 툴을 포함하여 그 종류가 매우 다양하게 존재한다. QSAR 모델을 활용한 예측 툴 별 예측 독성항목 및 분석기반(적용가능 영역(Applicability Domain, AD) 및 통계분석방법), 데이터베이스 등의 특성이 다르기 때문에 분석 대상물질의 특성 및 분석 목적에 따라 특정 예측 툴을 선택하여 예측분석을 할 수 있다.3-5) QSAR 모델을 활용한 예측 툴에는 급성경구독성, 돌연변이유발성, 피부과민성 등 인체영향과 관련된 여러 독성항목들이 있는 반면, 급성어류독성, 급성물벼룩독성, 이분해성 등 환경영향과 관련된 독성항목들도 있다.6-8)

환경유해성 평가를 위해 화학물질의 옥탄올/물 분배계수(log Kow)를 분자표현자(molecular descriptor)로 선형회귀(linear regression)방식을 통해 예측분석이 진행되는 ECOSAR가 많은 연구에서 활용되고 있으며,8,9) 계층적 군집화(hierarchical clustering) 등의 합의형성적 방식(consensus method) 기반의 T.E.S.T.도 상당히 적용되고 있다.6,10,11) 미국 EPA의 ECOTOX 단일 데이터베이스 기반의 두 예측 툴과 달리 ECOTOX 데이터베이스 기반과 더불어 전문가 검토를 받은 문헌자료에서 독성 데이터베이스 기반으로 하는 TOPKAT 툴은 최적예측공간(Optimum Prediction Space, OPS) 및 2차원적 분자구조 기반으로 예측분석이 수행된다.12-15) 이와 같이 서로 다른 예측분석 특성을 지닌 예측 툴들을 대상으로 많은 비교 연구가 보고되고 있으나3,6,10,12,15-18) 예측분석 대상물질이 연구마다 다르고 예측기반이 다르기 때문에 정확도(accuracy), 민감도(sensitivity) 및 결정계수(R2) 등의 예측결과 지표는 일관성 있게 어느 예측 툴의 예측력이 더 나은지 나타내기 어렵다. 따라서 화학물질 규제 기준에 부합하는 예측결과를 도출하기 위해서는 다양한 모델들을 적용하여 도출된 예측 값에 대한 면밀한 검토 및 고찰이 필요한 실정이다.

본 연구에서는 널리 사용되고 있는 예측 툴인 ECOSAR, T.E.S.T. 및 상용모델 중 다양한 독성항목을 보유하고 있는 TOPKAT을 연구대상 예측 툴로 선정하였다. 유해법에 의해 등록 및 심사가 완료된 화학물질 중 유해법 및 화평법에서의 유독물질 지정기준을 고려하여, 유독물질 지정 시 위 세 가지 각기 다른 특성을 지닌 예측 툴에 대한 예측력을 비교하였으며 화평법에서의 적용가능성에 대해 평가하였다.

1. 연구대상물질 및 실제 독성실험값 확보

유해법에서 등록 및 유해성심사가 완료되었던 화학물질 중 실험데이터가 확보된 4,963종 중에서 급성어류독성 및 급성물벼룩독성 데이터가 없는 화학물질(급성어류독성 1,006종, 급성물벼룩독성 1,010종)들은 제외하였다. 고분자, 염류, 금속류 등 QSAR 모델에 적용할 수 없는 물질(3,246종)들은 분석대상에서 제외하였으며, SMILES (Simplified Molecular Input Line Entry System)가 확보되지 않은 물질(542종) 또한 분석대상에서 제외하였다. 이렇게 선별된 데이터 중 QSAR 분석에 적용할 수 있는 어류 및 물벼룩독성에 대한 화학물질 수는 각각 169종과 165종으로 최종 결정되었다. 본 연구에서 QSAR 분석 대상 물질 선정 시 화학물질 카테고리는 고려하지 않았다.

2. 독성 예측에 사용한 QSAR 프로그램

본 연구에서는 선정한 3가지 QSAR 모델을 활용한 예측 툴 중 하나인 미국 EPA에서 개발되어 급성 수생생태 독성 예측분석에 널리 사용되고 있는 ECOSAR (ver. 2.0, Oct. 2017)를 적용하였으며, 다른 예측 툴은 ECOSAR와 동일하게 미국 EPA에서 개발 및 운영 중에 있는 T.E.S.T.를 적용하였다. 이 두 예측 툴 모두 미국 EPA에서 개발된 점, 같은 database를 활용한다는 점은 일치하지만, 분자표현자 및 통계방식 등 적용되는 예측 분석기반이 다르다. 다양한 상용화 예측 툴 중 어류(Fathead minnow, LC50)와 물벼룩(Daphnia magna, EC50)에 대한 독성항목을 모두 포함하고 있는 TOPKAT (Discovery Studio Visualizer Ver.18.) 예측 툴을 본 연구에 적용하였다. ECOSAR, T.E.S.T. 및 TOPKAT 툴에 대한 기본 정보 및 비교 자료는 Table 1에 나타내었다.

Table 1 Summary of properties for predictive tools using QSAR models

ItemsTOPKAT (ver. 18)15)ECOSAR (ver. 2.0)10)T.E.S.T. (ver. 4.2)20)
Statistical methodMultivariate regression,
2D descriptor
Class-specific linear regressionConsensus method
Applicability domain; ADOPSa)Log Kowb)Quantitative AD measurement
DatabaseUS EPA ECOTOX, open literature for critical reviewUS EPA ECOTOXUS EPA ECOTOX
Test organism and outputFishFathead minnow, LC50 (96 h)Several fish, LC50 (96 h)Fathead minnow, LC50 (96 h)
InvertebrateDaphnia magna, EC50Daphnia magna, LC50Daphnia magna, LC50
EndpointAll tools predict short-term toxicity for endpoint
Freely availableNoYesYes

a)OPS: optimum predictive space, b)Log Kow: octanol–water partition coefficient


3. QSAR 데이터의 예측력 확인법

어류 및 물벼룩의 실험데이터에 대한 세 가지 예측 툴의 예측 결과적합성은 정확도(accuracy), 민감도(sensitivity) 및 특이도(specificity)의 세 가지 척도를 이용하여 평가하였으며 관련 산출식을 (1)~(3)에 나타내었다. 본 연구에서 화평법의 유독물질 지정기준(LC50 또는 EC50≤ 1 mg/L, 어류, 물벼룩 또는 조류의 급성독성기준, Table 2)에 해당하는 결과는 양성(positive), 유독물질 지정 기준에 해당하지 않는 경우(LC50 또는 EC50> 1 mg/L)는 음성(negative)으로 각각 표현하고, 이들의 관계는 혼동행렬(confusion matrix)에 나타내었다(Table 3). 정확도(accuracy)는 전체 시험값(total number of substances) 대비 예측값의 일치되는 정도를 나타내는 척도이다. 민감도(sensitivity) 및 특이도(specificity)는 일반적으로 QSAR 모델을 활용한 예측 툴에서 각각 양성인 시험값을 양성으로 올바르게 예측하고(진양성, Ture positive, TP), 음성인 시험값을 음성으로 올바르게 예측하는(진음성, True negative, TN)지에 대한 평가 지표로써 적용된다. 본 연구에서 민감도(sensitivity)는 유독물질을 유독물질로 올바르게 예측한 정도를, 특이도(specificity)는 비유독물질을 비유독물질로 올바르게 예측한 경우를 의미한다.

Table 2 Criteria for designation of toxic substances by acute aquatic toxicity in AREC

· Chemical substance with LC50 is equal to or less than 1.0 mg/L in fish acute toxicity test
· Chemical substance with EC50 is equal to or less than 1.0 mg/L in Daphnia magna acute toxicity test
· Chemical substance with EC50 (reduction in growth) is equal to or less than 1.0 mg/L in algae acute toxicity test

Table 3 Confusion matrix for prediction performance

ClassPredicted

TSn-TS
ExperimentalTSTP (toxic substances correctly classified as toxic substances)FN (toxic substances wrongly classified as non-toxic substances)
n-TSFP (non-toxic substances wrongly classified as toxic substances)TN (non-toxic substances correctly classified as non-toxic substances)

TS: toxic substances, n-TS: non-toxic substances, TP: True positive, TN: True negative, FP: False positive, FN: False negative


Accuracy%=TN+TPTN+TP+FN+FP×100

Sensitivity%=TPTP+FN×100

Specificity%=TNTN+FP×100

환경부는 화평법에 따라 등록된 화학물질에 대해 유해성심사를 수행하고 있다.2) 등록된 화학물질에 대해 급성경구독성, 급성흡입독성, 피부 자극성/부식성, 발암성 및 생식독성 등의 인체 유해성 자료를 비롯한 급성어류독성, 급성물벼룩독성 및 담수조류 성장저해 등의 수생환경 유해성 자료에 근거하여 유해성이 높은 화학물질을 화평법에 정해진 기준(Table 2)에 따라 ‘유독물질(toxic substances)’로 지정하여 관리하고 있다.2) 본 연구에서는 TOPKAT, ECOSAR 및 T.E.S.T. 세 가지 예측 툴의 예측값과 어류 및 물벼룩 시험 결과값 간의 비교를 통해 유독물질 지정 시 활용될 수 있는 예측 툴의 적합성을 분석하였다.

1. 급성어류독성

급성 어류 독성 시험값 대상 정확도(accuracy), 민감도(sensitivity) 및 특이도(specificity) 세 가지 척도를 이용한 비교, 평가결과를 Fig. 1 (A)에 나타내었다. 정확도(Accuracy)의 경우 TOPKAT (69.8%)과 T.E.S.T. (71.0%) 예측 툴이 약 1.2%의 근소한 차이로 유사한 결과를 나타내었지만, ECOSAR의 경우 65.7%로 앞의 두 모델에 비해 4.1~5.3% 낮은 것으로 나타났다. 진양성(TP)의 비율을 나타내는 민감도(sensitivity)는 TOPKAT이 72.3%로 ECOSAR, T.E.S.T. 두 예측 툴(59.6%, 63.8%)에 비하여 상대적으로 높은 것으로 나타난 반면 진음성(TN)의 비율을 나타내는 특이도(specificity)의 경우 T.E.S.T.가 73.8%로 TOPKAT, ECOSAR (68.9%, 68.0%)에 비해 높게 나타났다. 실험값과 예측값의 전체적인 일치율을 나타내는 정확도(accuracy)와 양성 예측율을 나타내는 민감도(sensitivity)를 고려할 때, TOPKAT 툴이 다른 두 예측 툴에 비해 다소 예측정확도가 높은 것으로 파악되었다.

Figure 1.Results of accuracy, sensitivity and specificity of TOPKAT, ECOSAR and T.E.S.T. prediction tools for acute fish (A) and Daphnia magna (B) toxicity

화학물질 관리목적 관점에서 예측결과를 나타내는 지표 중 민감도(sensitivity)는 유독물질 지정 기준에 해당하는 물질을 유독물질로써 일치하게 예측한 지표를 나타내기 때문에 비유독물질 일치율을 나타내는 특이도(specificity)보다 더 중요한 지표로 다루어진다.

ECOSAR (A), T.E.S.T. (B), TOPKAT (C) 각각의 예측 툴을 이용한 급성어류독성 예측결과(LC50)를 실험값과 비교하여 log scale로 Fig. 2 (A)~(C)에 나타내었다. Fig. 2에 유독물질 기준을 X, Y축에 추가하여 실험값과 예측값을 비교하였다. 실험값이 1 mg/L 이하에 해당하여 유독물질 지정 기준에 해당하지만 예측값은 1 mg/L를 초과한 결과는 위음성(False negative, FN)를 의미하고, 그래프의 좌측 상단에 분포한다. 대상 물질(n=169)에 대한 위음성(FN)은 TOPKAT, ECOSAR 및 T.E.S.T. 예측 툴 별 각각 7.7%, 11.2% 및 10.1%로 TOPKAT이 다른 두 예측 툴에 비해 가장 낮게 나타났다. 반면, 실험값이 1 mg/L를 초과하여 비유독물질에 해당하지만 예측값이 유독물질 지정 기준(≤1 mg/L)에 해당하는 위양성(False positive, FP)는 그래프의 우측 하단에 분포한다. 위양성(FP)은 T.E.S.T.가 18.9%로 TOPKAT (22.5%) 및 ECOSAR (23.1%)에 비해 낮게 나타났다. 예측결과의 오류를 나타내는 위음성(FN), 위양성(FP)는 세 모델 중 ECOSAR가 다른 두 예측 툴과의 차이가 크지 않지만 가장 높게 나타났다.

Figure 2.Comparison of experimental and predicted acute fish LC50 (mg/L) and Daphnia magna EC50 (mg/L) for the substances (n=169 and n=165) using predictive tools; (A, D) ECOSAR (v.2.0), (B, E) T.E.S.T., (C, F) TOPKAT. The central crossed solid lines indicate the standards for toxic substances based on the LC50 and EC50 (1 mg/L). The designation criteria of “Toxic chemical substance” by acute fish toxicity is less than or equal to 1 mg/L in AREC.

TOPKAT, ECOSAR 및 T.E.S.T. 예측 툴을 이용한 어류급성독성 예측 연구는 그 동안 각종 생활화학제품, 산업용화학제품 등 다양한 화학물질을 대상으로 예측정확도의 비교 및 향상, 예측값의 검증, 다중 QSAR 모델링과 같은 다양한 주제들에 대해 많은 보고들이 이루어져 왔다. Tunkel et al.19)은 OECD HPV (High Production Volume, 대량생산화학물질)에 대한 예측 툴 별 어류급성독성 예측연구에서 정확도(accuracy)가 ECOSAR는 74%, TOPKAT은 52%로 ECOSAR가 TOPKAT에 비해 22% 높은 것으로 나타내었으며, 또한 de Roode et al.8)의 QSAR 예측 툴을 활용한 수생생태독성 유해성평가연구에서는 ECOSAR의 정확도(accuracy)가 78%로 54%를 나타낸 TOPKAT보다 높은 정확도를 나타내었다(Table 4).

Table 4 Comparison results of references predictive models

Test organismTOPKATECOSART.E.S.T.References



Accuracy (%)Number of chemicalsAccuracy (%)Number of chemicalsAccuracy (%)Number of chemicals
Fish (fathead minnow)5221742719)
543955~771208)
15115115122)
5181486011)
6542531)
Daphnia magna1088)
5645310612)
5249231)

TOPKAT의 경우 2차원 분자구조에 기반하여 다변량회귀분석(multivariate regression analysis) 통계시스템을 적용하는 모델로써 FHM (Fathead minnow)에 대한 급성어류독성 데이터는 미국 EPA의 ECOTOX 데이터베이스 및 검토가 완료된 문헌자료로부터 확보되고, optimum prediction space (OPS)가 예측된 결과의 선택 및 신뢰도 확보에 핵심적인 역할을 하고 있다.6,10,12,20-22) ECOSAR는 선형회귀(linear regression) 방식 모델로써 예측 적용대상 화학물질의 log Kow값이 분자표현자로 예측에 기본적으로 적용되고, 111개의 화학물질범주(chemical class)에 의해 구분되어 예측분석이 진행된다.8,10,15,16,20) 회귀분석방식의 앞의 두 예측 툴(TOPKAT, ECOSAR)과 달리 T.E.S.T. 는 hierarchical clustering, Food and Drug Administration (FDA) method, single model 및 nearest neighbor 등 다양한 방식을 기반으로 한 합의형성적 방식를 적용하여 예측값이 도출된다.6,10,11,19,22,23) 이 툴에 적용되는 데이터베이스는 ECOSAR 모델과 동일한 미국 EPA의 ECOTOX이나 적용되는 분자표현자는 log Kow 단일 기반의 ECOSAR와 다르게 분자량을 비롯한 화학물질의 여러 물리화학적 특성을 적용한다.11) 이와 같이 예측분석에 적용되는 데이터베이스의 공통적인 부분이 존재하지만 예측값이 계산되고 도출되는 과정은 예측 툴 별로 상당한 차이가 존재한다. 본 연구에서 예측값 비교에 있어 중요지표로 사용된 정확도, 민감도 및 위음성(FN)을 모델 별로 비교해 볼 때, 세 가지 예측 툴 중 T.E.S.T.를 제외한 TOPKAT과 ECOSAR 두 예측 툴이 앞서 언급한 세 가지 비교 지표가 많은 차이를 나타내어 TOPKAT과 ECOSAR를 중점으로 설명한다. ECOSAR 에서는 물질의 log Kow 값이 5.0 이상일 경우 용해도가 48~96시간의 실험시간 동안 감소하여 “no effects at saturation” 결과를 초래할 수 있기 때문에 이를 고려하여 급성독성예측에 적용될 수 있는 log Kow기준을 5.0으로 제시하고 있다.8) 그러나 본 연구에 적용된 데이터에서는 모든 실험값에 대해 log Kow를 확보할 수 없었기 때문에 ECOSAR에서 제시한 log Kow 기준을 충족시킬 수 없었다. 화학물질을 작용기에 따라 분류하고 이들 화학물질범주를 기반으로 log Kow를 표현자로 하여 선형회귀분석을 통해 데이터를 예측하는 ECOSAR에서는 화학물질범주가 분류되지 않는 물질에 대해서는 중성유기물(neutral organics)에 기초하여 보수적인 기준독성값을 제시한다.11,15,24,25)

예측에 대한 전체적인 정확도의 경우 같은 데이터베이스를 기반으로 하는 ECOSAR와 T.E.S.T.가 약 8%의 차이(ECOSAR<T.E.S.T.)를 나타내었다. Melnikov et al.11), Sheffield et al.26)의 연구에서는 예측정확도가 T.E.S.T.에 비해 ECOSAR가 더 나은 예측력을 보였으며, 이와 같은 이유는 log Kow의 단일 표현자를 적용하여 예측값을 도출하는 ECOSAR에 비해 T.E.S.T.와 같이 다양한 분자매개변수 및 통계방식을 적용한 합의형성적 알고리즘(consensus algorithm)이 오히려 화학물질 범주 분류의 오류, 예측분석방식의 오류 등을 쉽게 유발하여 정확도를 감소시킬 수 있는 것으로 언급하고 있다. 그러나 본 연구에 적용된 test set (n=169) 중에서 ECOSAR에서 제공되는 화학물질범주에 적용되지 않는 물질들이 많은 것으로 나타나(neutral organics: 45%) 이에 따라 상당히 많은 보수적인 예측값이 적용되어 시험값과의 차이가 발생한 것으로 보인다. 따라서 이러한 요인에 의해 본 연구에서의 ECOSAR에 대한 정확도가 다른 두 모델에 비해 낮게 나타난 것으로 판단된다.

2. 급성물벼룩독성

급성물벼룩 독성시험값 또한 화평법에서 유독물질 지정을 위한 중요한 시험항목 중 하나이다. 시험값과 예측값을 비교한 그래프를 Fig. 1 (B)에 나타내었다. 정확도는 TOPKAT이 68.5%로 세 가지 예측 툴 중 가장 높게 나타났지만 ECOSAR (66.7%) 및 T.E.S.T. (64.8%)와 큰 차이를 나타내지 않았다. 민감도는 TOPKAT이 70.5%로 ECOSAR 및 T.E.S.T. (61.4%, 45.5%)에 비해 높게 나타났으나 T.E.S.T.의 경우 다른 두 예측 툴에 비해 현저히 낮은 결과를 나타내었다. 그러나 특이도의 경우 T.E.S.T.는 71.9%로 다른 두 예측 툴 TOPKAT 및 ECOSAR (67.8%, 68.6%)에 비해 다소 높게 나타났다.

물벼룩 시험값과 세 가지 예측 툴에 대한 예측값 분포 및 유독물질 지정 기준과 비교 결과는 그래프 Fig. 2. ((D); ECOSAR, (E); T.E.S.T., (F); TOPKAT)에 나타내었다. 위음성(FN)은 전체 물벼룩 대상 물질 중(n=165) TOPKAT, ECOSAR 및 T.E.S.T. 모델 별 각각 7.9%, 10.3% 및 14.5%로 TOPKAT이 다른 두 예측 툴에 비해 가장 낮게 나타났다. 위양성(FP)의 경우 세 가지 예측 툴 중 TOPKAT이 23.6%로 가장 높게 나타났으나 ECOSAR (22.5%) 및 T.E.S.T. (20.6%)와 큰 차이를 나타내지 않았다. 세 가지 예측 툴 별 정확도 및 위양성(FP)는 큰 차이를 나타내지 않았지만, 민감도 및 위음성(FN)의 경우 T.E.S.T.에 비해 TOPKAT이 더 나은 예측력을 보였다.

Golbamaki et al.12)의 물벼룩을 이용한 예측 툴 별 비교 연구에 따르면 TOPKAT이 ECOSAR에 비해 정확도 등 여러 척도에서 우수한 예측력을 나타내는 것으로 나타났으며, 예측 툴 별 예측력 차이가 발생하는 이유는 적용가능 영역 및 분자표현자의 차이에 의한 것으로 언급하고 있다.10,27-30) 앞서 3.1.에서 언급하였듯이 ECOSAR의 경우 log Kow만을 표현자로써 1차 회귀분석을 하고 있지만, TOPKAT의 경우 2차원모델 기반의 OPS를 기반으로 다중회귀분석을 하여 예측이 수행되고 있어 ECOSAR에 비해 TOPKAT이 조금 더 나은 예측력을 보인 것으로 판단된다.

이전 연구결과에서 수생생태 종별 예측력이 다른 것으로 보고되고 있다. Reuschenbach et al.31) 및 Golbamaki et al.12)에 따르면 어류급성독성에 비해 물벼룩급성독성의 예측력이 낮은 것으로 보고되고 있으며, 이는 ECOSAR, TOPKAT 및 T.E.S.T. 예측 툴이 보유하고 있는 database가 어류급성독성에 비해 물벼룩급성독성이 적은 것에 기인한 것으로 언급하고 있으며10,24) 또한 ECOSAR를 활용한 급성수생생태독성예측 결과는 물벼룩 및 조류에 비해 어류의 예측력 우수한 것으로 보고되고 있다.24)

본 연구를 통해 유독물질을 지정할 수 있는 기준 적용에 밀접한 관련이 있는 지표인 정확도, 민감도 및 위음성(FN)은 세 예측 툴 중 TOPKAT의 예측력이 다소 높은 것으로 나타났다. 그러나 이러한 몇 가지 예측 툴의 예측지표 비교만으로는 규제 목적에서 단일 예측 툴 적용 여부를 결정하기에는 한계점이 존재한다.32,33) 정확한 예측값을 요구하는 화학물질 규제 목적에서의 QSAR 적용에 대한 노력은 단일 예측 툴의 사용이 아닌 여러 예측 툴의 복수 적용을 통한 예측 신뢰도 향상에 주안점을 두고 다중 QSAR 모델링에 대한 연구가 최근 들어 활발히 이루어 지고 있는 실정이다.17,31,34-36) 따라서 단일 예측 툴로만 유독물질 지정을 위한 활용에 있어 여러 제한점이 수반될 수 있기 때문에 최근 연구동향과 같이 예측기반 및 예측특성이 다른 다중 예측 툴을 적용하여 단일 예측 툴을 통한 예측값의 한계점 극복을 위한 연구가 필요할 것으로 판단된다.18,37-40)

본 연구에서는 유해법에 의해 환경부에 등록 및 평가가 완료된 화학물질 중 어류 급성독성 데이터(n=169) 및 물벼룩 급성독성 데이터(n=165)에 대해 상용예측 툴인 TOPKAT과 미국 EPA에서 배포하는 ECOSAR, T.E.S.T.를 적용하여 유독물질 지정 기준을 바탕으로 예측력 비교연구를 수행하였다.

어류독성에 대한 예측결과 정확도, 위음성(FN) 및 민감도 등의 척도를 비교했을 때 ECOSAR 및 T.E.S.T.에 비해 TOPKAT이 다소 나은 예측력을 보였다. 특히, 유독물질 지정기준(LC50 또는 EC50≤ 1.0 mg/L)과 긴밀한 관계를 나타내는 민감도의 경우 TOPKAT이 가장 높은 예측력을 보였다. 이러한 차이는 화학물질범주 분류 없이 예측분석을 수행했을 경우 TOPKAT의 OPS 시스템이 다른 두 예측 툴의 분석기반 보다 정확히 작용하는 것으로 판단되었다. 물벼룩독성예측 또한 어류독성예측의 경우와 전체적으로 유사한 경향을 나타내었다.

각 예측 툴들이 보유하고 있는 database는 물벼룩독성에 비해 어류독성의 데이터가 더 많이 확보되어 있는 것으로 여러 문헌들을 통해 나타나 있으며, 따라서 유독물질 지정을 위한 예측 분석 시 물벼룩독성을 활용한 것 보다 어류독성을 적용할 경우 예측 신뢰도가 더 향상 될 수 있을 것으로 예상된다. 그러나 어류 및 물벼룩독성에 대한 예측 툴 별 예측결과 비교 연구는 여러 문헌들을 통해 보고되어왔지만 예측 적용 대상 화학물질, 기준 독성값 분류(classification for narcosis), MOA (mode of action) 및 검증 등 연구목적과 방법에 따라 적용 예측 툴 별 전체적인 예측 결과가 다른 것으로 나타난다. 따라서 어류와 물벼룩의 독성 결과에 대해 단순히 어떤 한 특정 예측 툴의 예측결과가 우수하다고 단정짓기 어려운 것으로 판단된다.

유해법 및 화평법을 통해 환경부에 등록된 화학물질들은 55가지 용도분류체계에 따라 다양한 용도로 분류되어 있다. 각 화학물질들의 용도에 따라 등록된 화학물질들은 물질의 구조, 분자량, 용해도 등 특성이 모두 다르고 따라서 화학물질범주 또한 매우 다양하다. 본 연구를 통해 이렇게 다양한 용도의 다양한 특성을 지닌 등록물질의 유독물질 지정을 위한 평가를 위해 단일 예측 툴 적용 시 TOPKAT 예측력이 더 나은 것으로 나타났지만, 이 예측 툴 만으로 유독물질 지정 평가와 같은 화학물질 규제 목적에 적용할 수 있는 단일 예측 툴 선정에는 많은 제약이 수반될 수 있다. 이에 따라 등록물질의 평가에 적용될 수 있는 본 연구보다 다양한 물질종수로 각기 다른 예측 특성을 지닌 여러 예측 툴의 복수 적용 가능성 연구 및 더 발전된 화학물질 규제목적에 적용할 수 있는 QSAR 지침 확립이 필요한 것으로 판단된다.

본 논문은 환경부의 재원으로 국립환경과학원의 지원을 받아 수행하였습니다(NIER-2019-01-01-012).

No potential conflict of interest relevant to this article was reported.

강동진(전문위원), 장석원(환경연구사), 이시원(전문위원),

이재현(전문위원), 이상희(환경연구관), 김필제(과장),

정현미(부장), 성창호(팀장)

  1. Ministry of Environment. Toxic Chemicals Control Act, Rep. Sejong: Ministry of Environment; 2012.
  2. Ministry of Environment. Act on Registration, Evaluation, ETC. of Chemicals. Sejong: Ministry of Environment; 2018.
  3. Pizzo F, Lombardo A, Manganaro A, Benfenati E. In silico models for predicting ready biodegradability under REACH: a comparative study. Sci Total Environ. 2013; 463-464: 161-168.
    Pubmed CrossRef
  4. Dearden J. Prediction of environmental toxicity and fate using quantitative structure-activity relationships (QSARs). J Braz Chem Soc. 2002; 13(6): 754-762. https://www.researchgate.net/publication/26363837_Prediction_of_environmental_toxicity_and_fate_using_quantitative_structure-activity_relationships_QSARs
    CrossRef
  5. Ock HS. Developing trend of QSAR modeling and pesticides. Korean J Pestic Sci. 2011; 15(1): 68-85. https://www.koreascience.or.kr/article/JAKO201120661416295.view?orgId=anpor&hide=breadcrumb,journalinfo
  6. Lozano S, Lescot E, Halm MP, Lepailleur A, Bureau R, Rault S. Prediction of acute toxicity in fish by using QSAR methods and chemical modes of action. J Enzyme Inhib Med Chem. 2010; 25(2): 195-203.
    Pubmed CrossRef
  7. Kim J, Seo J, Kim T, Kim HK, Park S, Kim PJ. Prediction of human health and ecotoxicity of chemical substances using the OECD QSAR application toolbox. J Environ Health Sci. 2013; 39(2): 130-137. https://doi.org/10.5668/JEHS.2013.39.2.130
    CrossRef
  8. de Roode D, Hoekzema C, de Vries-Buitenweg S, van de Waart B, van der Hoeven J. QSARs in ecotoxicological risk assessment. Regul Toxicol Pharmacol. 2006; 45(1): 24-35.
    Pubmed CrossRef
  9. Khan K, Khan PM, Lavado G, Valsecchi C, Pasqualini J, Baderna D, et al. QSAR modeling of Daphnia magna and fish toxicities of biocides using 2D descriptors. Chemosphere. 2019; 229: 8-17. Erratum in: Chemosphere. 2019; 237: 124397.
    Pubmed CrossRef
  10. US EPA. Ecological Structure-Activity Relationships Program (ECOSAR) Methodology Document v2.0. Available: https://epa.gov/tsca-screening-tools/ecological-structure-activity-relationships-program-ecosar-methodology-document [accessed 8 April 2019]. https://epa.gov/tsca-screening-tools/ecological-structure-activity-relationships-program-ecosar-methodology-document
  11. Melnikov F, Kostal J, Voutchkova-Kostal A, Zimmerman JB, Anastas PT. Assessment of predictive models for estimating the acute aquatic toxicity of organic chemicals. Green Chem. 2016; 18: 4432-4445. https://doi.org/10.1039/C6GC00720A
    CrossRef
  12. Golbamaki A, Cassano A, Lombardo A, Moggio Y, Colafranceschi M, Benfenati E. Comparison of in silico models for prediction of Daphnia magna acute toxicity. SAR QSAR Environ Res. 2014; 25(8): 673-694.
    Pubmed CrossRef
  13. Kim HK, Kim JY, Park MY, Sung CH, Doo YK, Ki PJ. A Study on Structural Alerts and Application of (Q)SARs for Mutagenicity Screening. Incheon: National Institute of Environmental Research; 2011. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201300007514
  14. Lee JW, Park S, Jang SW, Lee S, Moon S, Kim H, et al. Toxicity prediction using three quantitative structure-activity relationship(QSAR) programs (TOPKAT®, Derek®, OECD toolbox). J Environ Health Sci. 2019; 45(5): 457-464.
  15. BIOVIA. Predictive Toxicology in Discovery Studio, Accelrys. Available: http://www.accelrys.com [accessed 12 April 2019].
  16. Netzeva T, Worth A. Classification of Phthalates According to Their (Q)SAR Predicted Acute Toxicity to Fish: A Case Study. Ispra: European Commission Directorate General Joint Research Centre; 2007. https://doi.org/10.2788/10931
  17. Rorije E, Loonen H, Müller M, Klopman G, Peijnenburg WJ. Evaluation and application of models for the prediction of ready biodegradability in the MITI-I test. Chemosphere. 1999; 38(6): 1409-1417.
    CrossRef
  18. Sung CH, Park SY, Choi YS, Kim HK, Sung MH, Moon SA, et al. Study on the Improvement of Genotoxicity Prediction Using QSARs Models. Incheon: National Institute of Environmental Research; 2017. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201900002677
  19. Tunkel J, Mayo K, Austin C, Hickerson A, Howard P. Practical considerations on the use of predictive models for regulatory purposes. Environ Sci Technol. 2005; 39(7): 2188-2199.
    Pubmed CrossRef
  20. US EPA. User’s Guide for T.E.S.T. 2016, Ver.4.2. Available: https://www.epa.gov/chemical-research/toxicity-estimation-software-tool-test [accessed 8 April 2019]. https://www.epa.gov/chemical-research/toxicity-estimation-software-tool-test
  21. Moore DR, Breton RL, MacDonald DB. A comparison of model performance for six quantitative structure-activity relationship packages that predict acute toxicity to fish. Environ Toxicol Chem. 2003; 22(8): 1799-1809.
    Pubmed CrossRef
  22. Cappelli CI, Cassano A, Golbamaki A, Moggio Y, Lombardo A, Colafranceschi M, et al. Assessment of in silico models for acute aquatic toxicity towards fish under REACH regulation. SAR QSAR Environ Res. 2015; 26(12): 977-999.
    Pubmed CrossRef
  23. Burden N, Maynard SK, Weltje L, Wheeler JR. The utility of QSARs in predicting acute fish toxicity of pesticide metabolites: a retrospective validation approach. Regul Toxicol Pharmacol. 2016; 80: 241-246.
    Pubmed CrossRef
  24. Talapatra SN, Konar S. Predictive acute toxicity comparison in Daphnia magna for common organic chemicals present in cosmetics by using two QSAR modeling softwares. World Sci News. 2016; 42: 101-118. http://www.worldscientificnews.com/wp-content/uploads/2015/10/WSN-42-2016-101-1181.pdf
  25. Schüürmann G, Ebert RU, Kühne R. Quantitative read-across for predicting the acute fish toxicity of organic compounds. Environ Sci Technol. 2011; 45(10): 4616-4622.
    Pubmed CrossRef
  26. Sheffield TY, Judson RS. Ensemble QSAR modeling to predict multispecies fish toxicity lethal concentrations and points of departure. Environ Sci Technol. 2019; 53(21): 12793-12802.
    Pubmed KoreaMed CrossRef
  27. Ferrari T, Lombardo A, Benfenati E. QSARpy: a new flexible algorithm to generate QSAR models based on dissimilarities. The log Kow case study. Sci Total Environ. 2018; 637-638: 1158-1165.
    Pubmed CrossRef
  28. Zuriaga E, Giner B, Valero MS, Gómez M, García CB, Lomba L. QSAR modelling for predicting the toxic effects of traditional and derived biomass solvents on a Danio rerio biomodel. Chemosphere. 2019; 227: 480-488.
    Pubmed CrossRef
  29. Di Marzio W, Saenz ME. Quantitative structure-activity relationship for aromatic hydrocarbons on freshwater fish. Ecotoxicol Environ Saf. 2004; 59(2): 256-262.
    Pubmed CrossRef
  30. Schultz TW. Relative toxicity of para-substituted phenols: log KOW and pKa-dependent structure-activity relationships. Bull Environ Contam Toxicol. 1987; 38(6): 994-999.
    Pubmed CrossRef
  31. Reuschenbach P, Silvani M, Dammann M, Warnecke D, Knacker T. ECOSAR model performance with a large test set of industrial chemicals. Chemosphere. 2008; 71(10): 1986-1995.
    Pubmed CrossRef
  32. Hrovat M, Segner H, Jeram S. Variability of in vivo fish acute toxicity data. Regul Toxicol Pharmacol. 2009; 54(3): 294-300.
    Pubmed CrossRef
  33. Devillers J, Mombelli E, Samsera R. Structural alerts for estimating the carcinogenicity of pesticides and biocides. SAR QSAR Environ Res. 2011; 22(1-2): 89-106.
    Pubmed CrossRef
  34. Cronin MT. (Q)SARs to predict environmental toxicities: current status and future needs. Environ Sci Process Impacts. 2017; 19(3): 213-220.
    Pubmed CrossRef
  35. Pradeep P, Povinelli RJ, White S, Merrill SJ. An ensemble model of QSAR tools for regulatory risk assessment. J Cheminform. 2016; 8: 48.
    Pubmed KoreaMed CrossRef
  36. Kim KY, Shin SE, No KT. Assessment of quantitative structure-activity relationship of toxicity prediction models for Korean chemical substance control legislation. Environ Health Toxicol. 2015; 30 Suppl: s2015007.
    Pubmed KoreaMed CrossRef
  37. Kim HK, Kim JY, Cha HK, Park MY, Sung CH, Kim PJ. Study on the Best Application of (Q)SARs to Predict Aquatic Toxicity of Organic Chemicals. Incheon: National Institute of Environmental Research; 2010. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201300007296
  38. Sung CH, Park SY, Kim KT, Kim KH, Sung MH, Moon SA, et al. Study on the Improvement of Mutagenicity Prediction Using QSAR Models. Incheon: National Institute of Environmental Research; 2016. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201700008027
  39. Sung CH, Park SY, Lee JW, Kim PJ, Yu SD, Sung MH, et al. A Study for the Improvement of a Prediction Using QSAR Models to Find Out Hazardous Substances(I). Incheon: National Institute of Environmental Research; 2018. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201900003829&dbt=TRKO
  40. Kim J, Choi K, Kim K, Kim D. QSAR approach for toxicity prediction of chemicals used in electronics industries. J Environ Health Sci. 2014; 40(2): 105-113. https://doi.org/10.5668/JEHS.2014.40.2.105
    CrossRef

Article

Original Article

J Environ Health Sci. 2022; 48(3): 159-166

Published online June 30, 2022 https://doi.org/10.5668/JEHS.2022.48.3.159

Copyright © The Korean Society of Environmental Health.

Applicability of QSAR Models for Acute Aquatic Toxicity under the Act on Registration, Evaluation, etc. of Chemicals in the Republic of Korea

Dongjin Kang , Seok-Won Jang, Si-Won Lee, Jae-Hyun Lee, Sang Hee Lee, Pilje Kim, Hyen-Mi Chung, Chang-Ho Seong*

Chemicals Registration & Evaluation Team, Risk Assessment Division, Environmental Health Research Department, National Institute of Environmental Research

Correspondence to:Chemicals Registration & Evaluation Team, Risk Assessment Division, Environmental Health Research Department, National Institute of Environmental Research, Hwangyeong-ro 42, Seo-gu, Incheon 22689, Republic of Korea
Tel: +82-32-560-7212
Fax: +82-32-568-2038
E-mail: chsung@korea.kr

Received: May 20, 2022; Revised: May 31, 2022; Accepted: June 8, 2022

This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Background: A quantitative structure-activity relationship (QSAR) model was adopted in the Registration, Evaluation, Authorization, and Restriction of Chemicals (REACH, EU) regulations as well as the Act on Registration, Evaluation, etc. of Chemicals (AREC, Republic of Korea). It has been previously used in the registration of chemicals.
Objectives: In this study, we investigated the correlation between the predicted data provided by three prediction programs using a QSAR model and actual experimental results (acute fish, daphnia magna toxicity). Through this approach, we aimed to effectively conjecture on the performance and determine the most applicable programs when designating toxic substances through the AREC.
Methods: Chemicals that had been registered and evaluated in the Toxic Chemicals Control Act (TCCA, Republic of Korea) were selected for this study. Two prediction programs developed and operated by the U.S. EPA – the Ecological Structure-Activity Relationship (ECOSAR) and Toxicity Estimation Software Tool (T.E.S.T.) models – were utilized along with the TOPKAT (Toxicity Prediction by Komputer Assisted Technology) commercial program. The applicability of these three programs was evaluated according to three parameters: accuracy, sensitivity, and specificity.
Results: The prediction analysis on fish and daphnia magna in the three programs showed that the TOPKAT program had better sensitivity than the others.
Conclusions: Although the predictive performance of the TOPKAT program when using a single predictive program was found to perform well in toxic substance designation, using a single program involves many restrictions. It is necessary to validate the reliability of predictions by utilizing multiple methods when applying the prediction program to the regulation of chemicals.

Keywords: Acute fish toxicity, acute invertebrate toxicity, QSAR, Act on Registration, Evaluation, etc. of Chemicals

I. 서 론

대한민국 환경부에서 2014년까지 화학물질 안전성 평가 및 관리는 ‘유해화학물질관리법(이하 유해법)’에 의해 이루어지고 있었다. 유해법에서는 크게 ‘화학물질의 유해성 및 위해성평가’ 및 ‘유해화학물질의 안전관리’ 두 부분으로 구성되어 있으며, 관리대상 화학물질을 신규화학물질, 유독물질, 취급제한물질, 취급금지물질, 관찰물질 및 사고대비물질로 구분하고 관리하고 있었다.1) 2015년부터 유해법의 ‘유해성 및 위해성평가’ 부분은 ‘화학물질의 등록 및 평가 등에 관한 법률(이하 화평법)’으로 세분화되어 새롭게 제정되었다. 화평법 제정에 따라 연간 10톤 미만의 화학물질 등록 건에 대해 기존 유해성시험자료(생체내(in-vivo), 생체외(in-vitro) 방식 시험결과) 대신 국제적으로 인정된 Quantitative Structure-Activity Relationship (이하 QSAR) 모델로부터 얻어진 결과 제출이 가능하게 되었다.2) 또한 기존 유해법과 더불어 화평법에서 중요한 요소 중 하나는 유해성자료에 대한 심사 결과 유해성이 크다고 인정되는 화학물질을 ‘유독물질’로 지정하는 것이다.2)

화학물질 규제 목적에서의 in-silico 방식 중 화학물질의 물리화학적특성 및 구조특성에 기반을 두는 QSAR 모델을 활용한 예측 툴에는 미국 EPA (Environmental Protection Agency)에서 제공하고 있는 ECOSAR (Ecological Structure Activity Relationships), T.E.S.T. (Toxicity Estimation Software Tool) 및 OncoLogic 등이 있으며, BIOVIA사의 TOPKAT (Toxicity Prediction by Komputer Assisted Technology), Lhasa Limited사의 Derek Nexus 및 Multicase사의 CASE Ultra 등 상용 예측 툴을 포함하여 그 종류가 매우 다양하게 존재한다. QSAR 모델을 활용한 예측 툴 별 예측 독성항목 및 분석기반(적용가능 영역(Applicability Domain, AD) 및 통계분석방법), 데이터베이스 등의 특성이 다르기 때문에 분석 대상물질의 특성 및 분석 목적에 따라 특정 예측 툴을 선택하여 예측분석을 할 수 있다.3-5) QSAR 모델을 활용한 예측 툴에는 급성경구독성, 돌연변이유발성, 피부과민성 등 인체영향과 관련된 여러 독성항목들이 있는 반면, 급성어류독성, 급성물벼룩독성, 이분해성 등 환경영향과 관련된 독성항목들도 있다.6-8)

환경유해성 평가를 위해 화학물질의 옥탄올/물 분배계수(log Kow)를 분자표현자(molecular descriptor)로 선형회귀(linear regression)방식을 통해 예측분석이 진행되는 ECOSAR가 많은 연구에서 활용되고 있으며,8,9) 계층적 군집화(hierarchical clustering) 등의 합의형성적 방식(consensus method) 기반의 T.E.S.T.도 상당히 적용되고 있다.6,10,11) 미국 EPA의 ECOTOX 단일 데이터베이스 기반의 두 예측 툴과 달리 ECOTOX 데이터베이스 기반과 더불어 전문가 검토를 받은 문헌자료에서 독성 데이터베이스 기반으로 하는 TOPKAT 툴은 최적예측공간(Optimum Prediction Space, OPS) 및 2차원적 분자구조 기반으로 예측분석이 수행된다.12-15) 이와 같이 서로 다른 예측분석 특성을 지닌 예측 툴들을 대상으로 많은 비교 연구가 보고되고 있으나3,6,10,12,15-18) 예측분석 대상물질이 연구마다 다르고 예측기반이 다르기 때문에 정확도(accuracy), 민감도(sensitivity) 및 결정계수(R2) 등의 예측결과 지표는 일관성 있게 어느 예측 툴의 예측력이 더 나은지 나타내기 어렵다. 따라서 화학물질 규제 기준에 부합하는 예측결과를 도출하기 위해서는 다양한 모델들을 적용하여 도출된 예측 값에 대한 면밀한 검토 및 고찰이 필요한 실정이다.

본 연구에서는 널리 사용되고 있는 예측 툴인 ECOSAR, T.E.S.T. 및 상용모델 중 다양한 독성항목을 보유하고 있는 TOPKAT을 연구대상 예측 툴로 선정하였다. 유해법에 의해 등록 및 심사가 완료된 화학물질 중 유해법 및 화평법에서의 유독물질 지정기준을 고려하여, 유독물질 지정 시 위 세 가지 각기 다른 특성을 지닌 예측 툴에 대한 예측력을 비교하였으며 화평법에서의 적용가능성에 대해 평가하였다.

II. 재료 및 방법

1. 연구대상물질 및 실제 독성실험값 확보

유해법에서 등록 및 유해성심사가 완료되었던 화학물질 중 실험데이터가 확보된 4,963종 중에서 급성어류독성 및 급성물벼룩독성 데이터가 없는 화학물질(급성어류독성 1,006종, 급성물벼룩독성 1,010종)들은 제외하였다. 고분자, 염류, 금속류 등 QSAR 모델에 적용할 수 없는 물질(3,246종)들은 분석대상에서 제외하였으며, SMILES (Simplified Molecular Input Line Entry System)가 확보되지 않은 물질(542종) 또한 분석대상에서 제외하였다. 이렇게 선별된 데이터 중 QSAR 분석에 적용할 수 있는 어류 및 물벼룩독성에 대한 화학물질 수는 각각 169종과 165종으로 최종 결정되었다. 본 연구에서 QSAR 분석 대상 물질 선정 시 화학물질 카테고리는 고려하지 않았다.

2. 독성 예측에 사용한 QSAR 프로그램

본 연구에서는 선정한 3가지 QSAR 모델을 활용한 예측 툴 중 하나인 미국 EPA에서 개발되어 급성 수생생태 독성 예측분석에 널리 사용되고 있는 ECOSAR (ver. 2.0, Oct. 2017)를 적용하였으며, 다른 예측 툴은 ECOSAR와 동일하게 미국 EPA에서 개발 및 운영 중에 있는 T.E.S.T.를 적용하였다. 이 두 예측 툴 모두 미국 EPA에서 개발된 점, 같은 database를 활용한다는 점은 일치하지만, 분자표현자 및 통계방식 등 적용되는 예측 분석기반이 다르다. 다양한 상용화 예측 툴 중 어류(Fathead minnow, LC50)와 물벼룩(Daphnia magna, EC50)에 대한 독성항목을 모두 포함하고 있는 TOPKAT (Discovery Studio Visualizer Ver.18.) 예측 툴을 본 연구에 적용하였다. ECOSAR, T.E.S.T. 및 TOPKAT 툴에 대한 기본 정보 및 비교 자료는 Table 1에 나타내었다.

Table 1 . Summary of properties for predictive tools using QSAR models.

ItemsTOPKAT (ver. 18)15)ECOSAR (ver. 2.0)10)T.E.S.T. (ver. 4.2)20)
Statistical methodMultivariate regression,
2D descriptor
Class-specific linear regressionConsensus method
Applicability domain; ADOPSa)Log Kowb)Quantitative AD measurement
DatabaseUS EPA ECOTOX, open literature for critical reviewUS EPA ECOTOXUS EPA ECOTOX
Test organism and outputFishFathead minnow, LC50 (96 h)Several fish, LC50 (96 h)Fathead minnow, LC50 (96 h)
InvertebrateDaphnia magna, EC50Daphnia magna, LC50Daphnia magna, LC50
EndpointAll tools predict short-term toxicity for endpoint
Freely availableNoYesYes

a)OPS: optimum predictive space, b)Log Kow: octanol–water partition coefficient.



3. QSAR 데이터의 예측력 확인법

어류 및 물벼룩의 실험데이터에 대한 세 가지 예측 툴의 예측 결과적합성은 정확도(accuracy), 민감도(sensitivity) 및 특이도(specificity)의 세 가지 척도를 이용하여 평가하였으며 관련 산출식을 (1)~(3)에 나타내었다. 본 연구에서 화평법의 유독물질 지정기준(LC50 또는 EC50≤ 1 mg/L, 어류, 물벼룩 또는 조류의 급성독성기준, Table 2)에 해당하는 결과는 양성(positive), 유독물질 지정 기준에 해당하지 않는 경우(LC50 또는 EC50> 1 mg/L)는 음성(negative)으로 각각 표현하고, 이들의 관계는 혼동행렬(confusion matrix)에 나타내었다(Table 3). 정확도(accuracy)는 전체 시험값(total number of substances) 대비 예측값의 일치되는 정도를 나타내는 척도이다. 민감도(sensitivity) 및 특이도(specificity)는 일반적으로 QSAR 모델을 활용한 예측 툴에서 각각 양성인 시험값을 양성으로 올바르게 예측하고(진양성, Ture positive, TP), 음성인 시험값을 음성으로 올바르게 예측하는(진음성, True negative, TN)지에 대한 평가 지표로써 적용된다. 본 연구에서 민감도(sensitivity)는 유독물질을 유독물질로 올바르게 예측한 정도를, 특이도(specificity)는 비유독물질을 비유독물질로 올바르게 예측한 경우를 의미한다.

Table 2 . Criteria for designation of toxic substances by acute aquatic toxicity in AREC.

· Chemical substance with LC50 is equal to or less than 1.0 mg/L in fish acute toxicity test
· Chemical substance with EC50 is equal to or less than 1.0 mg/L in Daphnia magna acute toxicity test
· Chemical substance with EC50 (reduction in growth) is equal to or less than 1.0 mg/L in algae acute toxicity test


Table 3 . Confusion matrix for prediction performance.

ClassPredicted

TSn-TS
ExperimentalTSTP (toxic substances correctly classified as toxic substances)FN (toxic substances wrongly classified as non-toxic substances)
n-TSFP (non-toxic substances wrongly classified as toxic substances)TN (non-toxic substances correctly classified as non-toxic substances)

TS: toxic substances, n-TS: non-toxic substances, TP: True positive, TN: True negative, FP: False positive, FN: False negative.



Accuracy%=TN+TPTN+TP+FN+FP×100

Sensitivity%=TPTP+FN×100

Specificity%=TNTN+FP×100

Ⅲ. 결과 및 고찰

환경부는 화평법에 따라 등록된 화학물질에 대해 유해성심사를 수행하고 있다.2) 등록된 화학물질에 대해 급성경구독성, 급성흡입독성, 피부 자극성/부식성, 발암성 및 생식독성 등의 인체 유해성 자료를 비롯한 급성어류독성, 급성물벼룩독성 및 담수조류 성장저해 등의 수생환경 유해성 자료에 근거하여 유해성이 높은 화학물질을 화평법에 정해진 기준(Table 2)에 따라 ‘유독물질(toxic substances)’로 지정하여 관리하고 있다.2) 본 연구에서는 TOPKAT, ECOSAR 및 T.E.S.T. 세 가지 예측 툴의 예측값과 어류 및 물벼룩 시험 결과값 간의 비교를 통해 유독물질 지정 시 활용될 수 있는 예측 툴의 적합성을 분석하였다.

1. 급성어류독성

급성 어류 독성 시험값 대상 정확도(accuracy), 민감도(sensitivity) 및 특이도(specificity) 세 가지 척도를 이용한 비교, 평가결과를 Fig. 1 (A)에 나타내었다. 정확도(Accuracy)의 경우 TOPKAT (69.8%)과 T.E.S.T. (71.0%) 예측 툴이 약 1.2%의 근소한 차이로 유사한 결과를 나타내었지만, ECOSAR의 경우 65.7%로 앞의 두 모델에 비해 4.1~5.3% 낮은 것으로 나타났다. 진양성(TP)의 비율을 나타내는 민감도(sensitivity)는 TOPKAT이 72.3%로 ECOSAR, T.E.S.T. 두 예측 툴(59.6%, 63.8%)에 비하여 상대적으로 높은 것으로 나타난 반면 진음성(TN)의 비율을 나타내는 특이도(specificity)의 경우 T.E.S.T.가 73.8%로 TOPKAT, ECOSAR (68.9%, 68.0%)에 비해 높게 나타났다. 실험값과 예측값의 전체적인 일치율을 나타내는 정확도(accuracy)와 양성 예측율을 나타내는 민감도(sensitivity)를 고려할 때, TOPKAT 툴이 다른 두 예측 툴에 비해 다소 예측정확도가 높은 것으로 파악되었다.

Figure 1. Results of accuracy, sensitivity and specificity of TOPKAT, ECOSAR and T.E.S.T. prediction tools for acute fish (A) and Daphnia magna (B) toxicity

화학물질 관리목적 관점에서 예측결과를 나타내는 지표 중 민감도(sensitivity)는 유독물질 지정 기준에 해당하는 물질을 유독물질로써 일치하게 예측한 지표를 나타내기 때문에 비유독물질 일치율을 나타내는 특이도(specificity)보다 더 중요한 지표로 다루어진다.

ECOSAR (A), T.E.S.T. (B), TOPKAT (C) 각각의 예측 툴을 이용한 급성어류독성 예측결과(LC50)를 실험값과 비교하여 log scale로 Fig. 2 (A)~(C)에 나타내었다. Fig. 2에 유독물질 기준을 X, Y축에 추가하여 실험값과 예측값을 비교하였다. 실험값이 1 mg/L 이하에 해당하여 유독물질 지정 기준에 해당하지만 예측값은 1 mg/L를 초과한 결과는 위음성(False negative, FN)를 의미하고, 그래프의 좌측 상단에 분포한다. 대상 물질(n=169)에 대한 위음성(FN)은 TOPKAT, ECOSAR 및 T.E.S.T. 예측 툴 별 각각 7.7%, 11.2% 및 10.1%로 TOPKAT이 다른 두 예측 툴에 비해 가장 낮게 나타났다. 반면, 실험값이 1 mg/L를 초과하여 비유독물질에 해당하지만 예측값이 유독물질 지정 기준(≤1 mg/L)에 해당하는 위양성(False positive, FP)는 그래프의 우측 하단에 분포한다. 위양성(FP)은 T.E.S.T.가 18.9%로 TOPKAT (22.5%) 및 ECOSAR (23.1%)에 비해 낮게 나타났다. 예측결과의 오류를 나타내는 위음성(FN), 위양성(FP)는 세 모델 중 ECOSAR가 다른 두 예측 툴과의 차이가 크지 않지만 가장 높게 나타났다.

Figure 2. Comparison of experimental and predicted acute fish LC50 (mg/L) and Daphnia magna EC50 (mg/L) for the substances (n=169 and n=165) using predictive tools; (A, D) ECOSAR (v.2.0), (B, E) T.E.S.T., (C, F) TOPKAT. The central crossed solid lines indicate the standards for toxic substances based on the LC50 and EC50 (1 mg/L). The designation criteria of “Toxic chemical substance” by acute fish toxicity is less than or equal to 1 mg/L in AREC.

TOPKAT, ECOSAR 및 T.E.S.T. 예측 툴을 이용한 어류급성독성 예측 연구는 그 동안 각종 생활화학제품, 산업용화학제품 등 다양한 화학물질을 대상으로 예측정확도의 비교 및 향상, 예측값의 검증, 다중 QSAR 모델링과 같은 다양한 주제들에 대해 많은 보고들이 이루어져 왔다. Tunkel et al.19)은 OECD HPV (High Production Volume, 대량생산화학물질)에 대한 예측 툴 별 어류급성독성 예측연구에서 정확도(accuracy)가 ECOSAR는 74%, TOPKAT은 52%로 ECOSAR가 TOPKAT에 비해 22% 높은 것으로 나타내었으며, 또한 de Roode et al.8)의 QSAR 예측 툴을 활용한 수생생태독성 유해성평가연구에서는 ECOSAR의 정확도(accuracy)가 78%로 54%를 나타낸 TOPKAT보다 높은 정확도를 나타내었다(Table 4).

Table 4 . Comparison results of references predictive models.

Test organismTOPKATECOSART.E.S.T.References



Accuracy (%)Number of chemicalsAccuracy (%)Number of chemicalsAccuracy (%)Number of chemicals
Fish (fathead minnow)5221742719)
543955~771208)
15115115122)
5181486011)
6542531)
Daphnia magna1088)
5645310612)
5249231)


TOPKAT의 경우 2차원 분자구조에 기반하여 다변량회귀분석(multivariate regression analysis) 통계시스템을 적용하는 모델로써 FHM (Fathead minnow)에 대한 급성어류독성 데이터는 미국 EPA의 ECOTOX 데이터베이스 및 검토가 완료된 문헌자료로부터 확보되고, optimum prediction space (OPS)가 예측된 결과의 선택 및 신뢰도 확보에 핵심적인 역할을 하고 있다.6,10,12,20-22) ECOSAR는 선형회귀(linear regression) 방식 모델로써 예측 적용대상 화학물질의 log Kow값이 분자표현자로 예측에 기본적으로 적용되고, 111개의 화학물질범주(chemical class)에 의해 구분되어 예측분석이 진행된다.8,10,15,16,20) 회귀분석방식의 앞의 두 예측 툴(TOPKAT, ECOSAR)과 달리 T.E.S.T. 는 hierarchical clustering, Food and Drug Administration (FDA) method, single model 및 nearest neighbor 등 다양한 방식을 기반으로 한 합의형성적 방식를 적용하여 예측값이 도출된다.6,10,11,19,22,23) 이 툴에 적용되는 데이터베이스는 ECOSAR 모델과 동일한 미국 EPA의 ECOTOX이나 적용되는 분자표현자는 log Kow 단일 기반의 ECOSAR와 다르게 분자량을 비롯한 화학물질의 여러 물리화학적 특성을 적용한다.11) 이와 같이 예측분석에 적용되는 데이터베이스의 공통적인 부분이 존재하지만 예측값이 계산되고 도출되는 과정은 예측 툴 별로 상당한 차이가 존재한다. 본 연구에서 예측값 비교에 있어 중요지표로 사용된 정확도, 민감도 및 위음성(FN)을 모델 별로 비교해 볼 때, 세 가지 예측 툴 중 T.E.S.T.를 제외한 TOPKAT과 ECOSAR 두 예측 툴이 앞서 언급한 세 가지 비교 지표가 많은 차이를 나타내어 TOPKAT과 ECOSAR를 중점으로 설명한다. ECOSAR 에서는 물질의 log Kow 값이 5.0 이상일 경우 용해도가 48~96시간의 실험시간 동안 감소하여 “no effects at saturation” 결과를 초래할 수 있기 때문에 이를 고려하여 급성독성예측에 적용될 수 있는 log Kow기준을 5.0으로 제시하고 있다.8) 그러나 본 연구에 적용된 데이터에서는 모든 실험값에 대해 log Kow를 확보할 수 없었기 때문에 ECOSAR에서 제시한 log Kow 기준을 충족시킬 수 없었다. 화학물질을 작용기에 따라 분류하고 이들 화학물질범주를 기반으로 log Kow를 표현자로 하여 선형회귀분석을 통해 데이터를 예측하는 ECOSAR에서는 화학물질범주가 분류되지 않는 물질에 대해서는 중성유기물(neutral organics)에 기초하여 보수적인 기준독성값을 제시한다.11,15,24,25)

예측에 대한 전체적인 정확도의 경우 같은 데이터베이스를 기반으로 하는 ECOSAR와 T.E.S.T.가 약 8%의 차이(ECOSAR<T.E.S.T.)를 나타내었다. Melnikov et al.11), Sheffield et al.26)의 연구에서는 예측정확도가 T.E.S.T.에 비해 ECOSAR가 더 나은 예측력을 보였으며, 이와 같은 이유는 log Kow의 단일 표현자를 적용하여 예측값을 도출하는 ECOSAR에 비해 T.E.S.T.와 같이 다양한 분자매개변수 및 통계방식을 적용한 합의형성적 알고리즘(consensus algorithm)이 오히려 화학물질 범주 분류의 오류, 예측분석방식의 오류 등을 쉽게 유발하여 정확도를 감소시킬 수 있는 것으로 언급하고 있다. 그러나 본 연구에 적용된 test set (n=169) 중에서 ECOSAR에서 제공되는 화학물질범주에 적용되지 않는 물질들이 많은 것으로 나타나(neutral organics: 45%) 이에 따라 상당히 많은 보수적인 예측값이 적용되어 시험값과의 차이가 발생한 것으로 보인다. 따라서 이러한 요인에 의해 본 연구에서의 ECOSAR에 대한 정확도가 다른 두 모델에 비해 낮게 나타난 것으로 판단된다.

2. 급성물벼룩독성

급성물벼룩 독성시험값 또한 화평법에서 유독물질 지정을 위한 중요한 시험항목 중 하나이다. 시험값과 예측값을 비교한 그래프를 Fig. 1 (B)에 나타내었다. 정확도는 TOPKAT이 68.5%로 세 가지 예측 툴 중 가장 높게 나타났지만 ECOSAR (66.7%) 및 T.E.S.T. (64.8%)와 큰 차이를 나타내지 않았다. 민감도는 TOPKAT이 70.5%로 ECOSAR 및 T.E.S.T. (61.4%, 45.5%)에 비해 높게 나타났으나 T.E.S.T.의 경우 다른 두 예측 툴에 비해 현저히 낮은 결과를 나타내었다. 그러나 특이도의 경우 T.E.S.T.는 71.9%로 다른 두 예측 툴 TOPKAT 및 ECOSAR (67.8%, 68.6%)에 비해 다소 높게 나타났다.

물벼룩 시험값과 세 가지 예측 툴에 대한 예측값 분포 및 유독물질 지정 기준과 비교 결과는 그래프 Fig. 2. ((D); ECOSAR, (E); T.E.S.T., (F); TOPKAT)에 나타내었다. 위음성(FN)은 전체 물벼룩 대상 물질 중(n=165) TOPKAT, ECOSAR 및 T.E.S.T. 모델 별 각각 7.9%, 10.3% 및 14.5%로 TOPKAT이 다른 두 예측 툴에 비해 가장 낮게 나타났다. 위양성(FP)의 경우 세 가지 예측 툴 중 TOPKAT이 23.6%로 가장 높게 나타났으나 ECOSAR (22.5%) 및 T.E.S.T. (20.6%)와 큰 차이를 나타내지 않았다. 세 가지 예측 툴 별 정확도 및 위양성(FP)는 큰 차이를 나타내지 않았지만, 민감도 및 위음성(FN)의 경우 T.E.S.T.에 비해 TOPKAT이 더 나은 예측력을 보였다.

Golbamaki et al.12)의 물벼룩을 이용한 예측 툴 별 비교 연구에 따르면 TOPKAT이 ECOSAR에 비해 정확도 등 여러 척도에서 우수한 예측력을 나타내는 것으로 나타났으며, 예측 툴 별 예측력 차이가 발생하는 이유는 적용가능 영역 및 분자표현자의 차이에 의한 것으로 언급하고 있다.10,27-30) 앞서 3.1.에서 언급하였듯이 ECOSAR의 경우 log Kow만을 표현자로써 1차 회귀분석을 하고 있지만, TOPKAT의 경우 2차원모델 기반의 OPS를 기반으로 다중회귀분석을 하여 예측이 수행되고 있어 ECOSAR에 비해 TOPKAT이 조금 더 나은 예측력을 보인 것으로 판단된다.

이전 연구결과에서 수생생태 종별 예측력이 다른 것으로 보고되고 있다. Reuschenbach et al.31) 및 Golbamaki et al.12)에 따르면 어류급성독성에 비해 물벼룩급성독성의 예측력이 낮은 것으로 보고되고 있으며, 이는 ECOSAR, TOPKAT 및 T.E.S.T. 예측 툴이 보유하고 있는 database가 어류급성독성에 비해 물벼룩급성독성이 적은 것에 기인한 것으로 언급하고 있으며10,24) 또한 ECOSAR를 활용한 급성수생생태독성예측 결과는 물벼룩 및 조류에 비해 어류의 예측력 우수한 것으로 보고되고 있다.24)

본 연구를 통해 유독물질을 지정할 수 있는 기준 적용에 밀접한 관련이 있는 지표인 정확도, 민감도 및 위음성(FN)은 세 예측 툴 중 TOPKAT의 예측력이 다소 높은 것으로 나타났다. 그러나 이러한 몇 가지 예측 툴의 예측지표 비교만으로는 규제 목적에서 단일 예측 툴 적용 여부를 결정하기에는 한계점이 존재한다.32,33) 정확한 예측값을 요구하는 화학물질 규제 목적에서의 QSAR 적용에 대한 노력은 단일 예측 툴의 사용이 아닌 여러 예측 툴의 복수 적용을 통한 예측 신뢰도 향상에 주안점을 두고 다중 QSAR 모델링에 대한 연구가 최근 들어 활발히 이루어 지고 있는 실정이다.17,31,34-36) 따라서 단일 예측 툴로만 유독물질 지정을 위한 활용에 있어 여러 제한점이 수반될 수 있기 때문에 최근 연구동향과 같이 예측기반 및 예측특성이 다른 다중 예측 툴을 적용하여 단일 예측 툴을 통한 예측값의 한계점 극복을 위한 연구가 필요할 것으로 판단된다.18,37-40)

Ⅳ. 결 론

본 연구에서는 유해법에 의해 환경부에 등록 및 평가가 완료된 화학물질 중 어류 급성독성 데이터(n=169) 및 물벼룩 급성독성 데이터(n=165)에 대해 상용예측 툴인 TOPKAT과 미국 EPA에서 배포하는 ECOSAR, T.E.S.T.를 적용하여 유독물질 지정 기준을 바탕으로 예측력 비교연구를 수행하였다.

어류독성에 대한 예측결과 정확도, 위음성(FN) 및 민감도 등의 척도를 비교했을 때 ECOSAR 및 T.E.S.T.에 비해 TOPKAT이 다소 나은 예측력을 보였다. 특히, 유독물질 지정기준(LC50 또는 EC50≤ 1.0 mg/L)과 긴밀한 관계를 나타내는 민감도의 경우 TOPKAT이 가장 높은 예측력을 보였다. 이러한 차이는 화학물질범주 분류 없이 예측분석을 수행했을 경우 TOPKAT의 OPS 시스템이 다른 두 예측 툴의 분석기반 보다 정확히 작용하는 것으로 판단되었다. 물벼룩독성예측 또한 어류독성예측의 경우와 전체적으로 유사한 경향을 나타내었다.

각 예측 툴들이 보유하고 있는 database는 물벼룩독성에 비해 어류독성의 데이터가 더 많이 확보되어 있는 것으로 여러 문헌들을 통해 나타나 있으며, 따라서 유독물질 지정을 위한 예측 분석 시 물벼룩독성을 활용한 것 보다 어류독성을 적용할 경우 예측 신뢰도가 더 향상 될 수 있을 것으로 예상된다. 그러나 어류 및 물벼룩독성에 대한 예측 툴 별 예측결과 비교 연구는 여러 문헌들을 통해 보고되어왔지만 예측 적용 대상 화학물질, 기준 독성값 분류(classification for narcosis), MOA (mode of action) 및 검증 등 연구목적과 방법에 따라 적용 예측 툴 별 전체적인 예측 결과가 다른 것으로 나타난다. 따라서 어류와 물벼룩의 독성 결과에 대해 단순히 어떤 한 특정 예측 툴의 예측결과가 우수하다고 단정짓기 어려운 것으로 판단된다.

유해법 및 화평법을 통해 환경부에 등록된 화학물질들은 55가지 용도분류체계에 따라 다양한 용도로 분류되어 있다. 각 화학물질들의 용도에 따라 등록된 화학물질들은 물질의 구조, 분자량, 용해도 등 특성이 모두 다르고 따라서 화학물질범주 또한 매우 다양하다. 본 연구를 통해 이렇게 다양한 용도의 다양한 특성을 지닌 등록물질의 유독물질 지정을 위한 평가를 위해 단일 예측 툴 적용 시 TOPKAT 예측력이 더 나은 것으로 나타났지만, 이 예측 툴 만으로 유독물질 지정 평가와 같은 화학물질 규제 목적에 적용할 수 있는 단일 예측 툴 선정에는 많은 제약이 수반될 수 있다. 이에 따라 등록물질의 평가에 적용될 수 있는 본 연구보다 다양한 물질종수로 각기 다른 예측 특성을 지닌 여러 예측 툴의 복수 적용 가능성 연구 및 더 발전된 화학물질 규제목적에 적용할 수 있는 QSAR 지침 확립이 필요한 것으로 판단된다.

감사의 글

본 논문은 환경부의 재원으로 국립환경과학원의 지원을 받아 수행하였습니다(NIER-2019-01-01-012).

CONFLICT OF INTEREST

No potential conflict of interest relevant to this article was reported.

<저자정보>

강동진(전문위원), 장석원(환경연구사), 이시원(전문위원),

이재현(전문위원), 이상희(환경연구관), 김필제(과장),

정현미(부장), 성창호(팀장)

Fig 1.

Figure 1.Results of accuracy, sensitivity and specificity of TOPKAT, ECOSAR and T.E.S.T. prediction tools for acute fish (A) and Daphnia magna (B) toxicity
Journal of Environmental Health Sciences 2022; 48: 159-166https://doi.org/10.5668/JEHS.2022.48.3.159

Fig 2.

Figure 2.Comparison of experimental and predicted acute fish LC50 (mg/L) and Daphnia magna EC50 (mg/L) for the substances (n=169 and n=165) using predictive tools; (A, D) ECOSAR (v.2.0), (B, E) T.E.S.T., (C, F) TOPKAT. The central crossed solid lines indicate the standards for toxic substances based on the LC50 and EC50 (1 mg/L). The designation criteria of “Toxic chemical substance” by acute fish toxicity is less than or equal to 1 mg/L in AREC.
Journal of Environmental Health Sciences 2022; 48: 159-166https://doi.org/10.5668/JEHS.2022.48.3.159

Table 1 Summary of properties for predictive tools using QSAR models

ItemsTOPKAT (ver. 18)15)ECOSAR (ver. 2.0)10)T.E.S.T. (ver. 4.2)20)
Statistical methodMultivariate regression,
2D descriptor
Class-specific linear regressionConsensus method
Applicability domain; ADOPSa)Log Kowb)Quantitative AD measurement
DatabaseUS EPA ECOTOX, open literature for critical reviewUS EPA ECOTOXUS EPA ECOTOX
Test organism and outputFishFathead minnow, LC50 (96 h)Several fish, LC50 (96 h)Fathead minnow, LC50 (96 h)
InvertebrateDaphnia magna, EC50Daphnia magna, LC50Daphnia magna, LC50
EndpointAll tools predict short-term toxicity for endpoint
Freely availableNoYesYes

a)OPS: optimum predictive space, b)Log Kow: octanol–water partition coefficient


Table 2 Criteria for designation of toxic substances by acute aquatic toxicity in AREC

· Chemical substance with LC50 is equal to or less than 1.0 mg/L in fish acute toxicity test
· Chemical substance with EC50 is equal to or less than 1.0 mg/L in Daphnia magna acute toxicity test
· Chemical substance with EC50 (reduction in growth) is equal to or less than 1.0 mg/L in algae acute toxicity test

Table 3 Confusion matrix for prediction performance

ClassPredicted

TSn-TS
ExperimentalTSTP (toxic substances correctly classified as toxic substances)FN (toxic substances wrongly classified as non-toxic substances)
n-TSFP (non-toxic substances wrongly classified as toxic substances)TN (non-toxic substances correctly classified as non-toxic substances)

TS: toxic substances, n-TS: non-toxic substances, TP: True positive, TN: True negative, FP: False positive, FN: False negative


Table 4 Comparison results of references predictive models

Test organismTOPKATECOSART.E.S.T.References



Accuracy (%)Number of chemicalsAccuracy (%)Number of chemicalsAccuracy (%)Number of chemicals
Fish (fathead minnow)5221742719)
543955~771208)
15115115122)
5181486011)
6542531)
Daphnia magna1088)
5645310612)
5249231)

References

  1. Ministry of Environment. Toxic Chemicals Control Act, Rep. Sejong: Ministry of Environment; 2012.
  2. Ministry of Environment. Act on Registration, Evaluation, ETC. of Chemicals. Sejong: Ministry of Environment; 2018.
  3. Pizzo F, Lombardo A, Manganaro A, Benfenati E. In silico models for predicting ready biodegradability under REACH: a comparative study. Sci Total Environ. 2013; 463-464: 161-168.
    Pubmed CrossRef
  4. Dearden J. Prediction of environmental toxicity and fate using quantitative structure-activity relationships (QSARs). J Braz Chem Soc. 2002; 13(6): 754-762. https://www.researchgate.net/publication/26363837_Prediction_of_environmental_toxicity_and_fate_using_quantitative_structure-activity_relationships_QSARs
    CrossRef
  5. Ock HS. Developing trend of QSAR modeling and pesticides. Korean J Pestic Sci. 2011; 15(1): 68-85. https://www.koreascience.or.kr/article/JAKO201120661416295.view?orgId=anpor&hide=breadcrumb,journalinfo
  6. Lozano S, Lescot E, Halm MP, Lepailleur A, Bureau R, Rault S. Prediction of acute toxicity in fish by using QSAR methods and chemical modes of action. J Enzyme Inhib Med Chem. 2010; 25(2): 195-203.
    Pubmed CrossRef
  7. Kim J, Seo J, Kim T, Kim HK, Park S, Kim PJ. Prediction of human health and ecotoxicity of chemical substances using the OECD QSAR application toolbox. J Environ Health Sci. 2013; 39(2): 130-137. https://doi.org/10.5668/JEHS.2013.39.2.130
    CrossRef
  8. de Roode D, Hoekzema C, de Vries-Buitenweg S, van de Waart B, van der Hoeven J. QSARs in ecotoxicological risk assessment. Regul Toxicol Pharmacol. 2006; 45(1): 24-35.
    Pubmed CrossRef
  9. Khan K, Khan PM, Lavado G, Valsecchi C, Pasqualini J, Baderna D, et al. QSAR modeling of Daphnia magna and fish toxicities of biocides using 2D descriptors. Chemosphere. 2019; 229: 8-17. Erratum in: Chemosphere. 2019; 237: 124397.
    Pubmed CrossRef
  10. US EPA. Ecological Structure-Activity Relationships Program (ECOSAR) Methodology Document v2.0. Available: https://epa.gov/tsca-screening-tools/ecological-structure-activity-relationships-program-ecosar-methodology-document [accessed 8 April 2019]. https://epa.gov/tsca-screening-tools/ecological-structure-activity-relationships-program-ecosar-methodology-document
  11. Melnikov F, Kostal J, Voutchkova-Kostal A, Zimmerman JB, Anastas PT. Assessment of predictive models for estimating the acute aquatic toxicity of organic chemicals. Green Chem. 2016; 18: 4432-4445. https://doi.org/10.1039/C6GC00720A
    CrossRef
  12. Golbamaki A, Cassano A, Lombardo A, Moggio Y, Colafranceschi M, Benfenati E. Comparison of in silico models for prediction of Daphnia magna acute toxicity. SAR QSAR Environ Res. 2014; 25(8): 673-694.
    Pubmed CrossRef
  13. Kim HK, Kim JY, Park MY, Sung CH, Doo YK, Ki PJ. A Study on Structural Alerts and Application of (Q)SARs for Mutagenicity Screening. Incheon: National Institute of Environmental Research; 2011. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201300007514
  14. Lee JW, Park S, Jang SW, Lee S, Moon S, Kim H, et al. Toxicity prediction using three quantitative structure-activity relationship(QSAR) programs (TOPKAT®, Derek®, OECD toolbox). J Environ Health Sci. 2019; 45(5): 457-464.
  15. BIOVIA. Predictive Toxicology in Discovery Studio, Accelrys. Available: http://www.accelrys.com [accessed 12 April 2019].
  16. Netzeva T, Worth A. Classification of Phthalates According to Their (Q)SAR Predicted Acute Toxicity to Fish: A Case Study. Ispra: European Commission Directorate General Joint Research Centre; 2007. https://doi.org/10.2788/10931
  17. Rorije E, Loonen H, Müller M, Klopman G, Peijnenburg WJ. Evaluation and application of models for the prediction of ready biodegradability in the MITI-I test. Chemosphere. 1999; 38(6): 1409-1417.
    CrossRef
  18. Sung CH, Park SY, Choi YS, Kim HK, Sung MH, Moon SA, et al. Study on the Improvement of Genotoxicity Prediction Using QSARs Models. Incheon: National Institute of Environmental Research; 2017. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201900002677
  19. Tunkel J, Mayo K, Austin C, Hickerson A, Howard P. Practical considerations on the use of predictive models for regulatory purposes. Environ Sci Technol. 2005; 39(7): 2188-2199.
    Pubmed CrossRef
  20. US EPA. User’s Guide for T.E.S.T. 2016, Ver.4.2. Available: https://www.epa.gov/chemical-research/toxicity-estimation-software-tool-test [accessed 8 April 2019]. https://www.epa.gov/chemical-research/toxicity-estimation-software-tool-test
  21. Moore DR, Breton RL, MacDonald DB. A comparison of model performance for six quantitative structure-activity relationship packages that predict acute toxicity to fish. Environ Toxicol Chem. 2003; 22(8): 1799-1809.
    Pubmed CrossRef
  22. Cappelli CI, Cassano A, Golbamaki A, Moggio Y, Lombardo A, Colafranceschi M, et al. Assessment of in silico models for acute aquatic toxicity towards fish under REACH regulation. SAR QSAR Environ Res. 2015; 26(12): 977-999.
    Pubmed CrossRef
  23. Burden N, Maynard SK, Weltje L, Wheeler JR. The utility of QSARs in predicting acute fish toxicity of pesticide metabolites: a retrospective validation approach. Regul Toxicol Pharmacol. 2016; 80: 241-246.
    Pubmed CrossRef
  24. Talapatra SN, Konar S. Predictive acute toxicity comparison in Daphnia magna for common organic chemicals present in cosmetics by using two QSAR modeling softwares. World Sci News. 2016; 42: 101-118. http://www.worldscientificnews.com/wp-content/uploads/2015/10/WSN-42-2016-101-1181.pdf
  25. Schüürmann G, Ebert RU, Kühne R. Quantitative read-across for predicting the acute fish toxicity of organic compounds. Environ Sci Technol. 2011; 45(10): 4616-4622.
    Pubmed CrossRef
  26. Sheffield TY, Judson RS. Ensemble QSAR modeling to predict multispecies fish toxicity lethal concentrations and points of departure. Environ Sci Technol. 2019; 53(21): 12793-12802.
    Pubmed KoreaMed CrossRef
  27. Ferrari T, Lombardo A, Benfenati E. QSARpy: a new flexible algorithm to generate QSAR models based on dissimilarities. The log Kow case study. Sci Total Environ. 2018; 637-638: 1158-1165.
    Pubmed CrossRef
  28. Zuriaga E, Giner B, Valero MS, Gómez M, García CB, Lomba L. QSAR modelling for predicting the toxic effects of traditional and derived biomass solvents on a Danio rerio biomodel. Chemosphere. 2019; 227: 480-488.
    Pubmed CrossRef
  29. Di Marzio W, Saenz ME. Quantitative structure-activity relationship for aromatic hydrocarbons on freshwater fish. Ecotoxicol Environ Saf. 2004; 59(2): 256-262.
    Pubmed CrossRef
  30. Schultz TW. Relative toxicity of para-substituted phenols: log KOW and pKa-dependent structure-activity relationships. Bull Environ Contam Toxicol. 1987; 38(6): 994-999.
    Pubmed CrossRef
  31. Reuschenbach P, Silvani M, Dammann M, Warnecke D, Knacker T. ECOSAR model performance with a large test set of industrial chemicals. Chemosphere. 2008; 71(10): 1986-1995.
    Pubmed CrossRef
  32. Hrovat M, Segner H, Jeram S. Variability of in vivo fish acute toxicity data. Regul Toxicol Pharmacol. 2009; 54(3): 294-300.
    Pubmed CrossRef
  33. Devillers J, Mombelli E, Samsera R. Structural alerts for estimating the carcinogenicity of pesticides and biocides. SAR QSAR Environ Res. 2011; 22(1-2): 89-106.
    Pubmed CrossRef
  34. Cronin MT. (Q)SARs to predict environmental toxicities: current status and future needs. Environ Sci Process Impacts. 2017; 19(3): 213-220.
    Pubmed CrossRef
  35. Pradeep P, Povinelli RJ, White S, Merrill SJ. An ensemble model of QSAR tools for regulatory risk assessment. J Cheminform. 2016; 8: 48.
    Pubmed KoreaMed CrossRef
  36. Kim KY, Shin SE, No KT. Assessment of quantitative structure-activity relationship of toxicity prediction models for Korean chemical substance control legislation. Environ Health Toxicol. 2015; 30 Suppl: s2015007.
    Pubmed KoreaMed CrossRef
  37. Kim HK, Kim JY, Cha HK, Park MY, Sung CH, Kim PJ. Study on the Best Application of (Q)SARs to Predict Aquatic Toxicity of Organic Chemicals. Incheon: National Institute of Environmental Research; 2010. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201300007296
  38. Sung CH, Park SY, Kim KT, Kim KH, Sung MH, Moon SA, et al. Study on the Improvement of Mutagenicity Prediction Using QSAR Models. Incheon: National Institute of Environmental Research; 2016. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201700008027
  39. Sung CH, Park SY, Lee JW, Kim PJ, Yu SD, Sung MH, et al. A Study for the Improvement of a Prediction Using QSAR Models to Find Out Hazardous Substances(I). Incheon: National Institute of Environmental Research; 2018. https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO201900003829&dbt=TRKO
  40. Kim J, Choi K, Kim K, Kim D. QSAR approach for toxicity prediction of chemicals used in electronics industries. J Environ Health Sci. 2014; 40(2): 105-113. https://doi.org/10.5668/JEHS.2014.40.2.105
    CrossRef
The Korean Society of Environmental Health

Vol.48 No.3
June, 2022

pISSN 1738-4087
eISSN 2233-8616

Frequency: Bimonthly

Current Issue   |   Archives

Stats or Metrics

Share this article on :

  • line