Kernel-based Machine Learning forMolecular Energy Estimation
Matthias Rupp
ETH Zurich, Switzerland
CECAM workshop on Machine Learning in Atomistic SimulationsLugano, Switzerland, September 10–12, 2012
Outline
Introduction Motivation, previous work
Density functionals Statistical functionals
Direct energy estimates Chemical compound space
Selected aspects Representation, domain
J. C. Snyder, M. Rupp, K.Hansen, K.-R.Muller, K. Burke: Finding Density Functionals withMachine Learning, Phys. Rev. Lett. 108(25): 253002, 2012.
M. Rupp, A. Tkatchenko, K.-R.Muller, O. A. von Lilienfeld: Fast and Accurate Modeling ofMolecular Atomization Energies with Machine Learning, Phys. Rev. Lett. 108(5): 058301, 2012.
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 2
Introduction: motivation
Machine learning estimates of molecular energies
Idea:
I Similar geometries have similar energies
I Exploit this to save computational resources
Calculate refer-ence energies
→ Train machinelearning model
→ Estimates fornew geometries
I Applications: Virtual screening, de novo design, . . .
M. Johnson, G.Maggiora: Concepts and Applications of Molecular Similarity, Wiley, 1990.
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 3
Introduction: previous work
Moleculardynamics 2012
2011201020092008200720062005200420032002
199919981997199619951994
1992
698688743223512421
Chemicalcompoundspace
2012
201020092008
2005
20032002
1997
11111211
Electronicstructure 2012
2009
2004
2001
1997
1991
121111
© = parametric, � = non-parametric
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 4
Density functionals: introduction
Density functional theory (DFT):
I Popular method for electronic structure of atomic systems
I Functional = function of a function, e.g. density 7→ energy
Idea: Learn map from electron density to kinetic energy from data
A quanta of quantum
• Classical vs. quantum: position and momentum of electrons given as a probability distribution
• Heisenberg’s uncertainty principle
• Schrödinger’s equation
�−1
2
∂2
∂x2+ v(x)
�φ(x) = �φ(x)
∆x∆p ≥ �/2
�4 �2 0 2 40.0
0.1
0.2
0.3
0.4
x
n�x�
�4 �2 0 2 40.0
0.1
0.2
0.3
0.4
x
n�x�
v(x)
Tuesday, July 5, 2011
blue = potential v(x)red = density n(x)
Learn TML[n] given references(n1,T1), . . . , (nN ,TN)
H.Chen, A. Zhou: Orbital-Free Density Functional Theory for Molecular Structure Calcu-lations, Numer.Math. Theor.Meth. Appl. 1(1): 1–28, 2008K. Burke: Perspective on density functional theory, J. Chem. Phys. 136(15): 150901, 2012
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 5
Density functionals: proof-of-principle study
Toy system:
I 1d potential well
I Non-interacting electrons
I Gaussian mixture potential
0.0 0.2 0.4 0.6 0.8 1.0�8
�6
�4
�2
0
x
v�x�
0.0
0.5
1.0
1.5
2.0
n�x�
Approach:
I Discretized densities
I Kernel ridge regression
I Gaussian kernel k(n,n′) = exp(− ||n−n′||2
2σ2
)
I Model TML[n] =∑
i αik(ni ,n)
Results:
I MAE < 1 kcal/mol with < 100 references
J. C. Snyder, M. Rupp, K.Hansen, K.-R.Muller, K. Burke: Finding Density Functionals withMachine Learning, Phys. Rev. Lett. 108(25): 253002, 2012.
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 6
Density functionals: self-consistent densities
Use model gradient to find density with minimum energy
0 0.5 1-40
-20
0
20
40
MLAExact
x
−∇
nT
ML(n
)/∆x
0 0.5 1
-15
-10
-5
0
5
MLAExact
x
−P
m,`
(n)∇
nT
ML(n
)/∆x
I Model is limited to space of reference densities
I Projection to this space removes noise
I Gradient descent finds self-consistent densities
J. C. Snyder, M. Rupp, K.Hansen, K.-R.Muller, K. Burke: Finding Density Functionals withMachine Learning, Phys. Rev. Lett. 108(25): 253002, 2012.
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 7
Density functionals: summary
I Empirical map from electron density to kinetic energy
I Accuracy of 1 kcal/mol with few samples
I Allows for self-consistent densities
J. C. Snyder, M. Rupp, K.Hansen, K.-R.Muller, K. Burke: Finding Density Functionals withMachine Learning, Phys. Rev. Lett. 108(25): 253002, 2012.
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 8
Energy estimates: introduction
Idea: Use machine learning to directly map molecules to energies
Challenge: how to represent and compare different molecules?
Requirements:
I Invariance against translations and rotations, but not scaling
I Invariance against renumbering of atoms
I Resolve energetically different states
I Continuity; allow for derivatives
I Use only positions and proton numbers
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 9
Energy estimates: representation
I “Coulomb” matrix
I Encodes element and inverse distances
I Rows/columns sorted by Frobenius norm
Mij =
12Z
2.4i for i = j
ZiZj
|Ri−Rj | for i 6= j, d2(M,M′) =
∑i ,j|Mij −M′ij |2
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 10
Energy estimates: validation study [approach]
Setup:
I 7 165 small organic molecules (H,C,N,O,S; 1–7 non-H atoms)
I DFT PBE0 atomization energies
I Kernel ridge regression, Gaussian kernel k(M,M′) = exp(−d2(M,M′)
2σ2
)
Model:
Eest(M) =∑
iαik(Mi ,M) =
∑iαi exp
(−d2(Mi ,M)
2σ2)
L.C. Blum, J.-L. Reymond: 970 Million Druglike Small Molecules for Virtual Screening in theChemical Universe Database GDB-13, J. Am. Chem. Soc. 131(25): 8732–8733, 2009
M.Rupp, A. Tkatchenko, K.-R.Muller, O.A. von Lilienfeld:Fast and Accurate Modeling ofMolecular Atomization Energies with Machine Learning, Phys. Rev. Lett. 108(5): 058301, 2012
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 11
Energy estimates: validation study [results]
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
��
��
�
�
�
��
�
�
���
�
�
�
�
�
�
�
�
��
���
�
�
�
��
�
��
�
�
����
�
�
�����
���
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
��
�
�
��������
�
�
�
�
�
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
��
�
�
��
��
�
�
�
�
�
�
�
�
�
�������
�
�
�
�
�
�
�
�
��
�
�
�
�
��
��
��
�
�
�
���
�
��
�
�
�
�
�
�
�
�
�
��
���
�
�
�
�
�
�
���
�
����
�
��
�
�
�
�
�
���
�
�
��
���
������������
�����
��
�
��
��
�
�
�
��
�
���
���
�
�
�
��
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
��
�
�
�
�
�
��
��
�
�
��
�
�
�
�
��
������
��
�
�
�
�
�
�
�
�
�
�
�
�
��
��
�
��
��
�
������
�
���
��
��
�
�
���
�
�
��
�
�
�
�
�
��
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
��
�
�
���
�
�
���
�
�
��
�
�
�
�
��
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
��
�
�
�
�
�
��
��
�
�
�
��
�����
��
��
���
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
���
�
�
�
�
��
�
�
��
��
�
��
����
�
��
�
��
�
�
��
�
�
��
�
��
���
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
��
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
��
�
�
�
�
�
�
�
�
�
�
��
�
�
��
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
��
�
�
�
�
����
�
�
��
��
�
��
����
�
�
�
�
��
�
�
�
�
�
�
���
��
�
���
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
��
�
�
��
��
�
�
�
�
�
�
��
��
�
��
�
�
��
�
�
��
�
�
���
�
�
��
�
�
�
��
�
�
��
�
�
��
�
���
�
�
�
�
�
�
��
��
��
�
�
�
�
��
�
�
�
�
��
�
��
�
��
�
�
�
�
�
�
�
���
�
�
�
��
�
�
�
�
�
�
�
�
��
����
�
��
�
��
�
�
���
�
��
�
�
�
�
�
�
��
�
�
�
��
�
�
�
�
��
��
����
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
��
�
�
�
�
�
���
��
�
�
��
�
��
�
�
�
�
�
��
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
��
�
�
�
��
�
�
�
�
�
�
�
�
���
�
�
��
�
����
��
�
�
��
�
�
�
�
��
�
�
�
�
�
��
�
�
�
�
�
�
���
��
��
�
��
��
���
����
�
�
��
��
��
�
�
��
�
�
��
��
��
��
�
�
���
�
�
�
�
�
�
�
�
������
���
����
�
�
�
��
�
�
�
�
��
�
�
�
�
�
���
�
�
�
�
�
�
�
�
�
�
�
�
��
��
���
�
��
�
�
�
��
�
�
��
�
�
�
�
�
���
��
�
�
��
�
�
���
�
�
�
�
�
�
�
�
�
��
�
��
�
�
�
���
��
��
�
�
�
�
�����
�
�
���
��
�
� ��
�������
�
��������
���
�
�������������������������
���������
��
������
�
��
�
����
��
�����
�
�
�
�
�
�
�
��
�
��
�
�
�
����
�
�
��
�
�
���
���
��
����
�
�����
��
��
�
��
�����
�
�
�
�
�
�
�
���
���
�
���
��
�
�
��
�
���
���
�
�
�
��
�
�
�
��
�
�
�
�
�����
��
��
�
�
��
�
�
��
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
��
�
�
�
�
�
��
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
��
�
�
�
�
�
��
��
�
�
��
�
�
�
� ��
�
�
�
����
�
�
�
�
���
�
��
������������
�
��
���
��
��� �
�
�
���
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
����
�
�
�
�
��
�
�
�
���
�
��
�
�������
�
�
�
�������
�
��
�
�
���
�
��
�
��
�
�
��
�
��
�
��
�
�
��
��
��
���
��
�
�
��
�
��
���
��
�
��
���
�
��
��
�
�
�
�
�
�
�
��
�
�
�
�
��
�
�
��
��
��
��
�
��
�
�
��
�
����
�����
�
�
��
��
�
��
�
�
�
�
��
�
�
���
�
��
��
�
�
�
�
�
�
�
�
�
�
�
���
�
�
�
�
����
�
�
�
�
�
�
�
���
�
�
�
�
�
���
���
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
��
�
�
�
�
�
�
�
�
�����
�
�
��
�
�
�
��
��
��
�
�
�
����
�
����
�
�
��
�
��
�
��
�
�
�
��
�
��
�
�
�
��
�
�
����
�
�
�
�
�
�����
�
�
�����
�
�
���
��
��
�
��
�����
�
�
�
�
�
����
�
�
�
�
�
������
�
�
���
�
�
�
����
�
��
�
��
��
�
�
�
�
�
��
�
�
�
�
�
�
�
��
�
��
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
��
��
�
��
�
�
�
�
�
�
��
�
�
�
�
�
�
���
�
�
��
�
�
�
�
����
�
�
�
��
��
�
�
�
�
���
��
��
�
�
�
��
�
�
�
�
�
��
�
�
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
���
�
�
�
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
��
�
�
�
��
���
�
�
�
�
�
�
�
�
�
���
�
�
�
�
�
��
��
�
�
�
�
��
���
�
�
������������
�����
�
�
����
�����
���
��
���
�
�
�
���
��
��
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
��
�
�
�
�
�
��
�
�
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
���
�
�
��
�
�
�
��
�
��
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
���
��
��
�
�
�
�
�
�
�
��
��
�
�
���
����
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
��
����
�������
���
���
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
���
�
�
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�
����
�
�
�
�
�
�
�
�
�
�
�
�
�
���
�
�
��
��
�������
�
�
�
�
�
�
�
�
�
�
��
�
�
�
��
�
��
�
��
��
�
�
��
�
��
�
��
�
�
�
�
�
�
�
��
�
���
�
�
�
�
��
��
��
��
���
��
�
���
�
�
�
��
�
�
���
���
��
�
�
�
�
�
�
��
���
�
���
�
�
��
����
�������
���
���
�
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
���
�
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
��
�
�
������
�
��
�
�
�
�
�
�
�
�
�
�
�������
��
�
�
�
�
��
�
��
�
�
�
�
�
�
�
�
�
�
��
���
��
�
�
�
�
�����
�
�
�
����
�
��
��
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
���
���
�
�
��
�
��
�
�
�
���
�
�
�
�
�
���
���
�
�
�
�
�
�
�
�
���
��
�
���
���
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
��
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
��
�
�
��
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
��
�
�
�
���
��
�
�
��
����
�
��
�
�
��
�
�
�
�
�
��
�
�
�
�
��
��
�
�
�
�
�
�
��
�
�
�
�� ���
���
�
�
�
�
����������
��
�
�
�
���� �
��
�
�
�
�
�
�
�
��
�
��
���
��
�
�
�
��
��
��
����
�
�
�
�
�
�
�����
�
��
�
�
�
�
��
�
�
��
�
���
�
����
���
��
��
��
�
��
�
�
��
�
��
�
��
���
�
��
��
�
��
�
�
��
�
��
�
�
�
�
�
�
��
�
�
�
�
��
�
�
�
���
�
����
�
�����
�
��
��
�
�
��
���
�
�
�
���
�
�
���
�
�
�
�
�
�
����
�
���
�
�
�
�
�
��
�
�
�
�
�
��
�
�
��
�
��
�
�
�
��
�
�
��
��
�
�
�
�
���
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
��
��
�
���
�
��
��
�
�
�
�
�
�
��
������
�
���
�
�
��
�
���
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
��
��
�
��
�
�
�
����
�
�
��
��
�
�
�
��
�
�
�
�
�
��
�
��
��
�
�
�
��
��
����
���
�
�
��
�
��
�
�
�
�
�
�
�
�
�
���
�
��
�
�
�
�
�
�
���
��
�
�
�
��
�
�
�
�
�
�
�
���
�
��
�
�
�
�
�
��
�
�
���
��
�
�
�
��
�
��
�
��
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
��
�
�
�
��
�
��
�
�
�
�
��
�
�
�
�
�
��
��
�
��
�
�
��
�
�
�
�
�
�
���
�
�
��
�
�
�
�
����
�
�
�
��
��
�
�
�
�
���
�
��
�
�
�
�
��
���
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
���
�
�
�
��
����
�
��
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
��
�
�
�
�
��
��
�
�
��
��
����
�
�
�
�
�
�
��
�
�
��
��
�
�
�
�
��
�
�
�
�
��
�
���
�
�
��
�
��
�
�����
��
��
��
�
�
�
�
��
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
���
�
�
�
�
�
�
�
�
�����
�
�
�
�
��
�
�
���
�
�
����
�
�
��
�
�
��
�
�
�
�
�
��
���
�
��
�
��
�
�
��
�
�
�
�
���
���
���
�
�
��
�
��
�
�
�
�
�
�
�
�
�
��
�
��
��
�
�
�
�
�
��
��
�
��
��
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
��
�
�
�
�
�
��
�
���
�
�
��
���
�
�
�
����
��
��
�����
�
�
��
�
�
��
�
�
�
�
��
���
�
���
��
���
�
��
�
�
��
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
��
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
��
�
�
��
�
�
�
��
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
���
�
�
�
�
��
�
��
���
���
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
��
�
�
��
�����
�
��
�
�
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
��
��
����
�
�
�
�
�
�
���
�
�
�
��
�
�
�
�
��
�
�
�
��
�
�
�
���
��
�
�
�
��
��
�
�
�
�
�
�
�
�
�
��
� ���
�
�
�
�
����
�
�
��
�
�
���
�
�
�
��
��
��
�
���
�
��
�
�
�
�
�
���
�
�
�
�
�
����
�
�
�
��
�
�
�
��
��
�
��
�
�
�
�
�
�
�����
���
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
���
��
�
�
�
�
�
�
�
�
��
��
����
�
���
�
�
�
�
�
�
�
�
�
�
�
���
��
�
���
��
�
�
�
�
��
��
�
�
�
�
��
��
�
��
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
�
�
�
��
��
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
��
�
���
�
�
�
�
��
�
�
��
�
�
��
�
�
��
�
�
�
��
�
�
��
�
�
�
�
�
�
�
�
�����
�
��
�
�
��
�
�
����
��
��
�
�
�
��
�
��
�
�
� �
�
��
��
�����
�
�� �
��
��
��
��
�
�
�
�
�
��
���
���
�
��
��
�
�
�
���
�
��
�
���
�
��
�
��
�
�
�
�
��
��
�
�
���
�
�
�
�
����
�
�
�
�
�
�
�
�
�
�
�
��
�
��
���
��
���
�
�
�
�
�
�
�
�
�
���
�
��
��
�
��
�
��
�
�
��
���
��
�
��
��
�
�
�
�
�
��
��
�
�
�
�
�
�
�
����
�
�
�
�
��
��
�
���
���
��
��
��
�
�
�
�
�
�
�
��
�
�
��
�
��
���
�
�
��
�
���
�
�
��
��
�����
�
�
�
�
��
�
��
��
�
�
�
�
�
�
��
��
��
�
����
��
�
�
�
�
�
��
�
�
�
��
���
� ��
�
�
���
�
�
�
�
�
�
����
�
�
��
����
��
��
�
�
�
�
�
�
����
��
�
�
�
�
�
�
���
��
�
��
����
�
���
�
�
��
��
�
���
��
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
���
�
�
�
��
���
���
��
��
��
���
�
�
����
��
��
�
��
�
��
���
�
��
��
��
�
�
��
�
��
�
��
�
���
�
�
��
�
���
�
�
�
�
��
�
�
�
����
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
��
�
�
����
��
�
�
�
��
��
��
�
��
��
�
�
�
�
�
��
�
�
�
��
�
����
��
���
�
�
�
�
�
�
����
��
��
��
��
��
�
��
��
���
�
�
���
������
���
�
��
���
�
�
���
�
�
�
�
�
���
��
�
��
��
�
��
�
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
��
�
��
���
�
�
����
������
������
���
��
��
� ��
��
��
���
�
�
�
�
�
�
�
��
��
����
��
��
����
�
��
�
��
��
�
�
�
�
�
�
��
�����������
�
�
�
��
��
��
�
�
�
�
���
�
�
�
�
��
��
���
���
��
�
�
��
����
��
�
��
����
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
����
��
�
��
�
�
�
�
�
��
�
�
�
�
���
�
���
���
�
���
�
��
��
�
�
�
�
�
���
��
���
��
��
�
����
��
����
��
�
�
��
�
��
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�����
�
���
���
���
�
���
�
��
�
�
�
�
�
��
�
�
��
�
��
��
��
�
�
�
�
�
��
��
�
���
��
�
��
�
�
�
��
�
�
���
���
�
�
���
����
���
��
��
��
�
�
�
��
���
�
�
��
�
�
�
�
�
�
��
��
�
�
��
�
�
���
�
�����
�
��
�
�
��
��
�
����
�
�
�
�
��
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
��
�
�����������
�
�
�
�
��
�
�
���
�
�
�
�
�
���
�
�
�
��
�
�
�
�
��
���
���
��
���
�
��
��
�
�
�
�����
�
�
�
�
��
����
��
�
��
�
�
�
��
�
�
�
�
�
�
�
��
��
�
�
�
��
�
�
���
��
����
�
�
�������
�
����
�
�
�
�
�
��
��
��
�
�
�
�
��
�
�
�
��
��
��
��
��
�
�
��
�
�
��
�
�
��
��
��
�
�
���
���
�
�
�
��
�
�
��
�
���
���
�
�
�
�
��
�
���
�
�
�
��
�
��
�
�
�
��
�
��
�� �
�
���
�
�
��
�
��
��������
��
�
�
��
�
�
�
��
���
�
�
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
�����
�����
��
��
�
��
���
���
�
�
�
�
��
�
��
�
���
��
�
��
��
�
�
��
�����
��
�
��
�
�
�
�
�
�
�
��
��
��
�
�
��
�
�
�
�
�
�
�
�
��
�
�
�
�
�
���
�
�
���
��
��
�
��
���
�
�������
���
�
��
�
��
�
�
��
�
��
��
�
�
�
�
��
��
���
���
� �
�
�
�
���
�
�
�
�
��
�
�
�
�
�
�
�
��
�
�
��
�
�
�
�
�
��
�
�
�
��
�
�
�
�
�
�
����
�
�
�
���
�
���
�
��
�
�
��
����
�
�
�
�
�
�� ���
�
��
�
�
�
�
��
��
�
�
�
��
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
���
�
�
�
�
�
��
�
�
�
�
�
���
�
�
�
�
�
�
�
��
����
�
�
��
�
��
��
�
�
�
��
�
�
�
�
�
��
�
�
��
��
�
��
�
��
�
��
��
�
��
��
�
�
��
�
���
��
�
�
�
��
�
���
�
�
�
�
�
�
�
��
�
�
��
�
��
��
���
��
��
�
�
��
����
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��� ��
��
�
������
�
�
�
�
�
�
��
�
�
��
�
�
�
�
���
�
�
�
�
�
��
��
�
���
�
�
��
�
�
�
��
�
�
�
�
�
�
��
�
��
�
�
�
�
����
�
��
����
�
�
�
�
�
��
����
�
��
�
�
�
�
�
�
�
�����
�
�
�
���
�����
�
��
�
�
�
�
���
��
�
�
���
�
�
��
�
�
�
�
�
��
����
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
��
��
�
�
�
��
�
��
�
�
�
�
�
�
�
��
�
��
�
���
�
�
�
�
�
�
�
�
�
�
�
�
�����
�
��
�
��
�
�
�
�
�
�
�
��
�
�
�� �
��
��
��
�
�
���
�
�
���
�
�
�
�
�
��
�
� ��
������
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
��
�
��
�
��
�
�
�
��
��
�
�
�
�
��
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
��
�
�
��
�
���
��
��
�
�
���
�
�
�
�
�
�
�
�
�
��
�
���
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
���
�
�
��
�
�
���
���
�
��
�
�
��
�
���
�
�
��
�
��
�
�
�
��
�
�
��
�
��
�
������
�
��
�
��
��
�
��
�
�
���
�
�
�
�
�
�
��
��
�
�
�
��
��
�
���
�
�
�
�
�
��
�
�
�
�
�
��
�
�
�
����
�
��
�
�
�
�
�
�
�
������
�
�
�����
�
�
�
�
�
�
�
���
��
�
���
�
��
�
���
��
��
��
��
�
�
����
��
��
�
��
�
��
���
��
�
��
�
��
��
��
��
��
���
���
�
��
����
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
��
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
��
����
�
�
�
��
�
�
�
��
�
�
�
��
�
�
�� �
�
�
�
�
�
��
�
���
�
�
���
�
��
�
�
�
������
����
�
�
�
�
�
�
�
�����
�
�
�
�
��
�
��
��
�
���
���
��
��
���
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
���
���
�
���
�
�
��
�
�
��
�
�
��
�
�
�
�
�
��
��
�
�
�
�
�
�
�
��
��
��
��
�
���
�
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
çç
ç
ç
çç
çç
ç
çç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
çç
ç
çç
çç
çç
ç
ç
ç
ç
ççç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çççç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
çççç
ç
çç
ç
ç
çç
ç
ç
ççç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ççççççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççççççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çççç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
çç
çç
ç
çççç
ç
çç
ç
ççç
çç
çç
ç
ç
ç
ççç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ççç
ç
ç
ç
ççç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ççççç
çç
çç
çççç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
çç
çççç
çç
çç
ç
çç
ç
ç
çççç
ç
ç
çç
ç
çç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
çç
ç
ç
çç
çç
çç
ç
ç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çççç
ç
ç
çç
ç
çç
ç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
çççç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ççç
ç
çç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
çççç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
ç
ç
çç
çç
çç
ççç
ç
ç
ççç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
çç
ççç
ççç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ççç
ç
ç
çç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ççç
ç
çç
çç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
çç
ççç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ççççççç
ç
ççççç
ççççç
ç
ç
ç
çççç
çççç
ç
ç
ççç
çç
ççç
ç
ç
ç
ç
ççç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
çç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
çççç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
çççç
çç
ç
ççççç
ççç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
çç
çç
çççççççç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
çç
ç
çç
çç
çç
ç
çç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
çç
çç
ççç
çç
ççç
çç
ç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
ççç
ççç
çç
ç
çç
ç
ç
ç
ç
çç
ççç
ç
çççç
ç
ç
çç
ççç
ç
ç
ççççççç
çç
ç
çç
ççç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ççç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çççççç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ççççç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ççç
çç
ç
ç
ç
ç
ç
ççççç
ç
ç
ç
ç
ç
ççç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ççç
çç
çç
ç
ç
çç
ç
çç
ç
çç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ççç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
ççç
çç
ç
ç
ççç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
çççç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
çççççççç
çç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ççç
çç
çç
ç
ç
çç
ç
çç
ç
çç
ççç
ç
ç
ç
ç
ç
ç
ççç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
çççç
çç
ç
çç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ççç
ç
ç
çç
çç
ç
çç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
çç
ç
ççç
ç
çççç
ç
ç
ççççç
ç
çç
ç
ç
ç
ç
ç
çç
ççç
ç
ç
ç
ç
ççç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
çççç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
çç
ç
ççç
ç
ç
çç
çç
ç
ç
ç
ç
ç
çç
çç
çç
çççç
ç
ç
ç
çç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
çç
çç
ç
çç
ç
çç
çç
ççç
ç
ç
ççç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
çç
ç
ççç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
ç
çç
çç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
çççç
ç
çç
ç
ç
çç
çç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
çççç
ç
ç
çç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
ç
çç
ç
ççççç
ç
çç
çç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ççç
ç
çç
ç
ç
ç
ç
ç
ç
ççç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ççç
ç
ç
çççç
ç
çç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ççç
ç
çç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ççç
ççç
ççç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
çç
ç
çç
ç
çç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
ççç
ççç
ç
ç
ç
çççç
ç
çç
çç
ççççç
çç
ç
çç
ç
ç
çç
ç
ç
çç
ç
çç
ççç
ç
ççç
ççç
ççç
ç
çç
ç
çç
ç
çç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
çç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
çç
ççççç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
çç
çççç
ç
ç
ç
çç
ç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
çç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ççççç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ççç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
ç
çç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççççç
ç
çç
ç
ç
ç
çç
ç
ç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
çç
çç
ç
ç
ççççç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ççç
ç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ççç
çç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ççç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
çç
ç
çç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ççç
ç
ç
çç
ç
ç
ç
ççç
ç
ç
çç
çç
çç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
çç
çç
çç
ç
ç
ç
ççç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
çç
ç
ç
çç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
çç
ç
ç
çç
çç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ççç
ç
ç
ç
ççç
ç
ç
çç
çç
ç
ç
ççç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ççç
ç
ç
çç
çç
çç
çç
çççç
ç
ç
çççç
çç
ç
ç
çç
çç
ç
çç
ççç
ç
ç
çç
çç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ççç
ç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
çç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
çççç
çç
ççç
ç
ç
ç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
çç
çç
çç
ç
ç
ç
ç
ç
çç
çç
çççç
çç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ççç
ç
çç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
çç
ç
ç
çç
ççç
ç
ç
çç
ç
çç
çççççç
ç
ç
ç
çççç
çççç
çç
ç
ç
ç
ç
çç
çç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ççç
ç
ç
ç
ç
ççç
ç
ç
ç
çç
ç
ççç
çç
ç
ç
ç
ç
ç
ç
ççç
çççççççççç
ç
ç
ç
ç
ç
çç
çç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ççç
çç
çç
çç
ç
ç
çç
ççç
ç
ç
ç
çç
ç
ç
ç
çç
ççç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ççç
çç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ççç
ç
ççç
ççç
ç
ç
ççç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
ç
ç
çç
çç
çç
ç
ççç
ç
ç
çç
çççç
çç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ççç
ç
çç
ç
ç
ççç
çç
ç
ç
çç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
çç
ç
ç
ç
ççç
çç
ç
ç
ç
ççç
çç
çç
ç
ç
ç
ç
ç
ç
çç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ççççç
ç
ç
ç
ç
ç
ç
çç
çç
ç
çç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
çççççççç
ç
ç
ç
ç
ç
çç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
çç
ç
ç
ççç
ç
çç
ççç
ç
çç
çç
ç
ç
ç
ççç
ç
çç
ç
ç
ç
ç
çç
çç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
çç
çç
ç
ç
ç
ççççç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
çç
çç
ç
ç
ç
ççç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ççççççç
ç
ç
çç
ç
ç
çç
ç
ç
çç
çç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ççççç
ç
ç
çççç
çç
çç
ç
ç
ç
ççç
ç
ççç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ççç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çççç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ççççççç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
çç
çç
çç
ç
ç
ç
ç
ç
çç
çç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ççç
ç
çççç
ç
çç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
çç
ç
ç
ç
ç
çç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
çç
ç
çç
ç
çç
ç
ç
ç
çç
çç
ç
çç
çç
ç
ç
ç
çç
ç
ç
çç
çç
çç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
çç
çç
ççç
ççç
çç
ç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
çç
ççççç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
ç
çç
çççç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çççç
ç
ç
ç
ççç
ç
ççççç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çççç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
çç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ççç
çç
çç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
çç
ç
ççç
ç
ççç
ç
çç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççççç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
çç
çç
ç
ççç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
çç
çç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
ç
ç
ç
ç
ç
çççççç
ç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
ççççç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
çç
ç
ççç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ççç
çç
ç
ç
ç
ç
ççç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
çççççç
ç
ç
çç
ç
ç
ç
çç
ççç
çç
ç
ç
ç
çççç
çç
çççç
ç
ç
çç
ç
ç
çç
ç
çç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ç
çç
ç
ç
ççççç
ç
ç
ç
ç
ç
çççççç
ç
ç
ççççç
ç
ç
ç
ççç
çç
çç
ç
ç
çç
ççç
çç
ç
ç
ç
ç
ç
ç
çççç
ç
ç
ç
çç
ç
çççççç
ç
ç
ç
ççç
ç
ç
ç
çççç
çç
çç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
çç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ççç
çç
ç
çç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ççç
çç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
çç
ç
çç
ç
çç
ç
ç
ç
çç
çç
ç
ç
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õõ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ õ
õ
õõ
õ
õ
õ
õõ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õõõ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õõõ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õõ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õõ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õõ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õõ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õõ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õõ
õ
õõ
õ
õ
õ
õ
õõ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ õ
õ
õ
õ
õ
õ
õõõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõõ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õõ
õõ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õõ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
������������
�����
��������������������������
�
��
�
��
�
��������������
� ��
�������
�
��������
���
�
�������������������������
���������
�
����� �
�
��
�
�� ��
��
�����
�
�
�
�
�
�
�
����
�
�
�
����
�
�
��
�
�
���
���
��
����
�
�����
��
��
�
��
�����
�
�
�
�
�
��
���
�
�
��
�
���
���
�
�
�
��
�
�
���
�����
��
��
����
�
��
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
���
�
��
��
��
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
���
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
��
�
�
�
��
��
�
�
�
�
�
��
��
�
��
�
�
�
���
��������� ���
�
� ��
���
��� ��
�
�
��
� ��
�
�
���
�
��
������
�
��
��
�
�������
�
��
�
������
��
��
��
�
�
�
����
�
�
��
���
�
��
��
�
�
�
�
�
���
�
�
�
�
��
���
��
��
��
�
��
��
����
�����
��
�
��
��
��
�
�
��
��
��
�
���
�
�
�
�
�
��
��
�
���
����
�
�
�
�
�
�
�
�����
�
�
�
�
�
�����
�
�
��
���
��
�
�
�
���
����
������
��
������
�
�
�����
�
�
�����
�
��
���
��
�
������
�
���
�
����
�
�
��
��
��
�
�
��
�
��
�
��
��
��
��
��
�
�
�
�
�
�
�
��
��
���
����
�
��
���
��
�
����
�����
�
�
�
��
�
�
�
���
�
��
��
�
�
�
�
��
�
�
�
�
��
���
�
�
�
�
�
�
��
��
�
�
�
����
��
�
�
�
��
���
�
�
�
�
�
�
�
�
���
�
�
�
�
��
��
�
�
�
��
���
�
�
��
��
���
��
��
���
��
��
�
��
����
�
����
���
�
��
�
�
��
�
�
�
�
�
�
�
��
�
�
�
�
��
�
�
�
�
�
��
��
�
�
��
�
��
�
���
�
�
��
��
�
��
�
�
�
�
�
��
���
�
��
�
��
�
��
���
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
��
�
�
�
���
��
��
�
�
�
��
�
��
��
�
�
���
�
��
�
�
��
�
�
�
��
��
�
�
�
�
�
�
�
��
��
����
�������
���
���
�
��
�
�
�
��
�
�
�
�
���
�
�
�
�
�
�
�
�
��
��
���
�
�
�
�
�
�
�
�
�
�
���
���
�
�
�
�
���
����
�
�
�����������
�
�
�
���
�
�
�
�
��
��
���
��
�
�
����
���
���
��
�
�
�
�
�
� �����
�
��
����
�������
���
���
�
��
��
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�
�
��
��
�
�
�
��
��
�
�
�
�
�
�
�
�
�
��
��
�
�����
�
���
�
�
�
�����
��
�
�
���
�
�
�
����
���
�
�
�
��
����
����
��
�
�
���
���
�
��
�
�
� �����
���
�
�
�
���
����
�
���
�
�
�
�
���
�
�
����
�
������
�
�
�
����������
�������
�������� �� ���� ���
�
�
�
���
�
��������������
��
���
�
���
���
�
��
��
�
��
�
�
�
���
�
��
�
��
�
�����
�
��
��
����
�
�
���
�
�
�
��
�
�
�
���
�
�����
�
��
����
�
�
�
�
�
�
�
����
�
�
��
������
�
��
�
��
������
���
��
�
�
�
����
��
�
��
���
�
�����
����
��
�
�����
�
�
���
��
�
��
���
�
�
���
��
�
�
��
��
�
�
��
��
�
�
��
�
��
��
���
����
���
��
�
����
�����
�
�
�
��
�
�
�
���
����
��
�
�
��
�
��
�
���
�
�
��
����
�
��
�
�
�
��
�
�
�
��
�����
��
�
�
��
��
����
�
�
�
�
�
�
��
�
�
��
�
�
�
�
��
�
�
�
��
�
���
�
�
��
�
��
�
����
�
��������
��
��
�
�
�
�
�
���
�
�
�
���
�
�
�
�
�
�
�
����
�
��
�
���
�
��
�
��
�
��
�
�
�
����
���
�
�
���
�
��
�
�����
�
�
�
��
��
��
��
�
��
�
�
�
�
�
�
��
�
�
�
��
�
�
��
��
�� �
�
�����
��
���� �
�
�
��
�
��
�
�
��
���
�����
�
��
�
�
�
��
�
��
�
�
�
��
��
��
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
��
��
�
�
����
�
�
�
��
���
����
�
�
�
���
�
�
�
�
�
�
�
��
����
��
�
��
�
���
�
����
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
�
�
�
�
�����
�
�
�
�
�
���
��
�
�
��
���
�����
�
�
�
�������
�����
��
�
�
����
���
�
��
�
����
������
�
�
���
�
����
�������
�
�
�
��������
��������� ��� ���������������������������������������������������������
�
��
�
�
�
���
����
�
��
�
�
�
��
�
�
�
���
���
���
�
�
����
���
�� �
�
�
��
��� �
�
�
����
�
��
���
�
��
�
�
��
�
�
�������������
��
��
����
� ��
�
�
�
��
�
�������
��������������
��
��
��
��
���
���
�
��
�����
�����������������������������
��
��
��
�
�
����
��
�
�
��
��
��
�
������
��
� ��������������������
�
�����
�
�
��
��
���
����
�
��
������
���������������������
�
�����������
��
�� �������
���
�����������
�
çç
ç
ççççç
çççç
ç
ç
çççççççççç
çç
ç
çç
ç
çç
ç
ç
çççççççççç
ç
ç
ç
ç
çç
ççççççççççççççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
çç çç
ç
ç
ççç
ç
çç ççç
ç
çç
çç
ç
ç
çç
çççç
ç
ç
çççç
ççç
ç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
çç
ççç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
çç
ç
çç
ç
ç
çç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ççç
çç
ç
çç
ç
ç
çç
ç
ç
çç
çç
çç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
çççç
çç
ç
ççççç
çç
ç
ççç
ç
ç
ç
çç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
çç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ççç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çççç
ç
ç
çç
ç
çç
çç
çççççççç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
çç
ççç
ççç
çç
ç
ç
ç
çççç
ççç
ççç
çç
ç
çç
ç
ç
ç
ççççççç
ç
çç
ççç
ç
ç
çççççç
ç
çççç
ççç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ç
ç
ç
çç
ç
çç
çç
ç
ç
ççççç
çç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ççç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ççç
ççç
ç
ç
ç
ç
çç
ççççç
ççç
ç
ç
çç
ç
ç
ççç
ç
ç
çç
ç
çç
ç
çç
ç
ç
çç
ç
ççç
çç çç
ç
ç
ç
ç
ççç
çççç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ççç
çç
ç
çççç
ç
çç
çç
ç
ç
ç
ç
çç
çç
ç
çççç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
çç
ç
ç
ççç
ççç
çç
ç
ç
çççç
ç
çç
ç
ç
ç
ççç
ç
ç
çççççççç
ç
ççç
ççç
çç
çç
ç
ç
ç
ç
ç
ççç
ççç
ç
çç
çç
ç
çç
ç
ç
ç
ççç
ç
çç
ç
ç
çç
ç
ç
ççççç
ç
çç
çç
çççç
ç
ç
ççç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ççççç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ç
çç
çççç
ç
ç
ç
ç
çç
ç
çç
ç
ç
çç
ç
ç
çç
çç
ç
ç
çç
ç
ç
ç
çççç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ççççç
ç
ç
ççç
çç
ç
ççççç
ç
ç
ç
ççç
ç
çç
ç
ç
çç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
çç
çç
ç
ç
çç
ç
ç
ç
ç
çç
ççç
çççç
ççç
çç
ç
ç
çççç
ç
ç
çççç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
çççç
çç
ç
ç
ç
çç
ç
çç
ç
çççç
ç
çç
çççç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
çç
çççç
ç
ç
çç
ç
ç
ç
ç
ç
ç
çç
çççç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çççç
ç
ç
ççç
ç
çççç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
çç
ç
çç
ç
ç
ç
çç
ç
ç
çç
ç
çç
ç
ç
ç
ç
çççç
ççç
ç
ç
ççç
ç
ç
çç
ç
ççç
çç
çç
ç
ç
ç
çç
ç
çç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
ç
çç
ç
ç
ççççç
çç
ççç
ç
ç
çç
ç
çç
ç
çç
ç
ç
çç
ççç
ççççç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ç
ç
ç
çç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ççç
ç
ç
ç
çç
ççç
ç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ççç
ç
ç
ç
ç
çç
ç
ç
ççç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
çç
ç
ç
çç
ç
ç
çççç
çç
ç
ç
ç
çç
çç
çç
ççç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
ççç
ç
çç
ç
ççç
ç
ç
ç
ç
ç
ç
ç
çççç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ç
çç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ççç
ç
ç
çççç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ççç
ç
çç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çç
ç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ççççççç
çççççç
çç
ççççç
çç
ç
çççççççççç
ççççç
çç
ç
ç
çç
ç
ççççç
ç
ççç
ççç
ç
çç
ç
ç
çç
ç
ç
çç
ç
ççççç
ç
ç
ç
çç
ççç
ç
ç
ççç
ç
çççç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
ççç
ççç
ç
ç
ç
çç
ççç
ç
ç
çç
çç
ç
ç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
çç
ççç
ç
çç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ççççççççççç
ç
ç
çç
çç
çç
ç
çç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
ççççç
çç
çç
ç
ç
ç
ççççç
ç
çççç
çç
ç
ç
çç
ç
çç
çç
ç
çç
ççç
ç
ççç
ç
ç
ç
ç
ççç
ç
ç
çç
çç
ç
ççç
ç
ççç
ç
ç
ç
ççç
ççççççççççç
ç
çççççççç
ç
ç
ç
çç
çç
ç
ç
çççç
çç
ç
ç
çç
ç
ç
çç
çç
ç
ç
çç
ç
çç
ç
çç
çç
ç
ç
çç
ç
ç
ç
çç
ç
çç
ç
ç
çççççç
ç
ççç
ç
ççççççç
ç
çç
ç
ççççç
ç
ç
çç
çç
ççç
ç
çççç
ç
ç
ç
çç
ç
çççç
ç
ççç
ç
çç
ç
ç
ç
ç
ç
ççççç
ç
çç
çç
ç
ç
ç
ç
ç
ç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çççç
ç
ç
ç
ç
çççç
ç
ç
ç
çç
ç
çç
ç
ççç
ç
çç
ç
çç
ççç
ç
ççç
ç
ççç
çç
ç
ç
ç
ç
ç
çç
ççç
ç
ç
ç
çç
ç
çç
ç
ç
ç
ç
ç
ç
ç
ç
çç
ççç
ççç
ç
ç
ç
ç
ççç
ç
çç
ç
ç
ç
ç
ç
ç
ç
çç
çç
ç
ç
ç
çç
ç
çç
çç
ç
ççç
ç
ç
ç
ç
çç
ç
ç
ç
çç
çç
ç
ç
çç
çççç
ç
ç
ç
ç
ç
ç
ç
ç
çççççç
ç
çç
ç
ç
ç
ç
ççççç
ç
ç
ç
çç
ççç
ççç
ç
ç
çç
ççç
çç
ç
çç
ççç
çç
ççç
çç
çç
ççççç
ç
ç
çç
çççç
ç
ç
çççç
ç
ç
ç
ççç
ç
ç
çç
ççç
ç
çççççç
çç
ççç
ç
çççç
çç
ç
çç
çç
ç
çç
ç
ç
ç
ççç
ç
çç
çç
ç
ç
ç
çç
ççç
çç
çç
ç
ç
ç
ç
ç
çç
ç
ç
çç
ççç
ççç
çç
ç
çç
ç
çç
ççç
ççç
ç
çççç
çççççç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
çç
ç
ç
ç
çç
çç
çç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çççç
ç
ç
ç
ç
ç
ç
ç
çç
ç
ç
ç
ç
ç
çç
çççç
çç
ç
ç
ç
çç
çç
ç
ç
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õõõ
õ
õ
õõõ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õõ
õ
õõ
õ
õ
õ
õ
õõ
õ
õ
õ
õõ
õõ
õõ
õ
õ
õ
õ
õ
õõ
õ
õ
õ
õõ
õ
õ
õ
õ
õ õ
õ
õ
õõ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ
õ õ
õ
õ
õ
õ
õ
� — Bond countingç — PM6õ — ML
-2 -1.5 -1 -0.5
-2
-1.5
-1
-0.5
Eref @103kcal�molD
Ees
t @103 kc
al�m
olD
Scatter plot
æ
æ
æ æ
ææ
æ æ ææ æ æ
æ ææææ
æææææææææææ
à
à
à
à
àà
àà à
à à à à à
à
à
ààà
à
à
à
à
àà
à
àà
RMSE
MAE
500 1000 2000 500010
20
log2HNL
Err
or@k
cal�m
olD
Saturation
M.Rupp, A. Tkatchenko, K.-R.Muller, O.A. von Lilienfeld:Fast and Accurate Modeling ofMolecular Atomization Energies with Machine Learning, Phys. Rev. Lett. 108(5): 058301, 2012
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 12
Energy estimates: summary
I Good estimates, without electrons
I Simple representation
I Ansatz in principle allows other levels of theory than DFT,non-relaxed geometries, and excited state properties
M.Rupp, A. Tkatchenko, K.-R.Muller, O.A. von Lilienfeld:Fast and Accurate Modeling ofMolecular Atomization Energies with Machine Learning, Phys. Rev. Lett. 108(5): 058301, 2012
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 13
Aspects
I Non-parametric approach:Number of training samples and performance
I Simple representation:Permutation invariance
I Domain of applicability:Confidence into individual predictions
I Constructive approaches:Beyond prediction
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 14
Acknowledgments
Machine learningKatja Hansen, Klaus-Robert Muller
Density functionalsJohn Snyder, Kieron Burke
Energy estimatesO. Anatole von Lilienfeld, Alexandre Tkatchenko
ETH ZurichGisbert Schneider, Gerd Folkers
Institute for Pure and Applied MathematicsProgram on Chemical Compound Space
European UnionIEF Grant 273039
Matthias Rupp: Kernel-based machine learning for molecular energy estimation 15